Бразилия: как робот ALICE проверяет каждую госзакупку

ALICE работает как непрерывный аудит закупок. Каждый день система автоматически собирает сведения о процедурах, которые идут прямо сейчас, оценивает набор рисков и рассылает сигналы, чтобы направить внимание аудиторов и руководителей к случаям, которые отклоняются от эталона.

Главное отличие от выборочной проверки во времени. ALICE смотрит на торги, пока они еще идут, поэтому аудитор может вмешаться до подписания контракта, а не искать деньги после оплаты. Так устроен мониторинг в реальном времени: проверка идет вместе с потоком документов.

Вручную такой поток не прочитать: в Бразилии каждый день публикуется больше 500 объявлений о закупках. ALICE читает их все, а людям передает только те, где сработали признаки риска.

Технически ALICE начиналась как роботизированная автоматизация процессов (RPARPA RPA (robotic process automation, роботизация процессов) это программные роботы, которые повторяют действия человека в интерфейсе программ: открывают окна, копируют данные, заполняют поля по заданному сценарию. Подробнее в словаре). Сейчас CGU описывает ее как сочетание ИИ и RPA, а для разбора текстов закупок управление написало собственный алгоритм, потому что готовых инструментов анализа текста не хватало.

ALICE берет данные с основных площадок федеральных закупок. CGU называет три источника: портал Compras.gov.br, обязательный для федерального правительства, систему закупок Banco do Brasil под названием Licitações-e и официальный вестник Diário Oficial da União.

Все три источника публичные и обновляются каждый день. Системе не нужен доступ к закрытым базам, чтобы увидеть отклонение в самих документах закупки: в условиях, сроках, цене, составе участников.

Закупки в Бразилии занимают около 10% ВВП, а в пандемию их доля доходила почти до 20%. Поэтому даже небольшая доля рискованных процедур означает крупные суммы, и сплошная проверка окупается быстрее выборочной.

Важное условие для любой страны: данные должны выходить в одном формате и без задержки. Если объявление публикуется через неделю после решения, система реального времени превращается в проверку задним числом.

CGU сводит проверки ALICE примерно к 40 типам рисков (типологиям). Каждый тип описывает признак, который можно проверить по данным закупки, а не вывод о нарушении.

В открытой карточке проекта на сайте ОЭСР полного перечня типологий нет. По смыслу признаки в закупках, на которые опираются такие системы, делятся на четыре группы:

1. Условия торгов: срок подачи заявок, требования к участникам, описание предмета закупки.

2. Цена: начальная цена рядом с ценами похожих закупок того же периода.

3. Участники: повторяющиеся победители, связи между компаниями и с заказчиком.

4. Ход процедуры: отмены, изменения условий, повторные объявления.

Как устроены такие признаки и почему их удобно описывать списком, разобрано на странице о красных флагах. Сам по себе флаг ничего не доказывает: закупка отличается от эталона, и ее стоит посмотреть, а решение принимает аудитор.

Сигналы ALICE адресные. Их получают больше 500 пользователей: сотрудники CGU, других органов исполнительной власти, судебной системы, прокуратуры, контрольных органов штатов и муниципалитетов.

Не каждый сигнал становится проверкой. CGU пишет, что в аудиторскую работу перерастают наиболее критичные сигналы. Так очередь аудиторов не забивается мелкими отклонениями, а ресурс уходит на закупки с крупной суммой и сильными признаками.

Создатели системы называют ключом к успеху не алгоритм, а организацию: результаты ALICE встроили в обычную работу CGU при сильной поддержке руководства. Сигнал без получателя и срока реакции так и остается строкой в отчете.

Такая схема отвечает на частый страх перед ИИ в контроле. Машина никого не наказывает, она ставит закупку в очередь к человеку, который знает предмет и отвечает за вывод. Любой такой системе полезно записывать несогласие аудитора с сигналом: по этим отметкам потом уточняют правила и убирают ложные срабатывания.

За 2019-2022 годы по сигналам ALICE приостановлены или отменены торги больше чем на 9,7 млрд реалов. Финансовой выгодой за тот же период CGU учла больше 1,3 млрд реалов.

В 2023 году ALICE проанализировала 190 923 закупки на основных площадках. Анализ и сигналы аудиторам дали 203 аудиторские работы по закупкам на общую сумму 27 млрд реалов.

Сильнее всего меняется скорость. Превентивный аудит по сигналу ALICE занимает 8 календарных дней, а традиционная оценка в среднем идет больше 400 дней.

Разница между суммами тоже важна. Приостановленные торги показывают, сколько денег прошло через проверку до подписания контракта, а финансовая выгода показывает, сколько удалось сохранить для бюджета по итогам. Для отчета перед руководством нужны обе цифры, а еще число проверок, которые сигнал запустил, и доля сигналов, которые подтвердились.

Опыт ALICE переносится не как программа, а как порядок работы. Четыре решения, которые стоит взять:

1. Проверять закупку до подписания контракта. ALICE ценна тем, что смотрит торги в день публикации, а в России закупки уже публикуются в открытом виде в ЕИС.

2. Начинать с описанных признаков риска. Около 40 типов рисков ALICE понятны аудиторам, их можно обсуждать и оспаривать.

3. Встраивать сигналы в работу людей. У каждого сигнала должен быть получатель и срок реакции, иначе 8 дней превентивного аудита превращаются в те же 400 дней.

4. Выбирать объекты проверки по модели, а не наугад. Исследование на бюджетных данных бразильских муниципалитетов показало: при том же числе проверок модель указывает почти в два раза больше муниципалитетов с коррупцией, чем случайный выбор.

Как такие системы устроены в других странах, собрано на странице о мировом опыте.