Почему боятся ИИ-контроля: прозрачность и ИИ в госуправлении

Первый страх: ошибка машины станет обвинением. Сотрудник представляет, что алгоритм отметил его закупку, а доказывать невиновность придется ему самому, без объяснения, почему система так решила.

Второй страх: контроль превратится в слежку. Если неясно, кто видит сигналы и что с ними делают, любая отметка выглядит как досье, а не как повод проверить документ.

Третий страх: под удар попадут исполнители, а не те, кто принимал решения. Специалист по закупкам видит, что система смотрит на его подпись, и не видит, смотрит ли она на того, кто согласовал условия.

Четвертый страх тише остальных: ИИ покажет, сколько ошибок было всегда. Руководитель опасается не машины, а цифры в первом отчете, за которую спросят с него.

Пятый страх касается данных: сведения о сотрудниках и их родственниках попадут не в те руки. Его снимает простое правило: система получает только данные, нужные для выбранной схемы, и работает на серверах организации.

Все пять страхов снимаются не обещаниями, а правилами. Open Contracting Partnership, которая описала 73 красных флага для всех этапов закупки, прямо пишет: флаг означает риск, а не доказательство нарушения.

Система Zero Trust сопоставляла большие данные о госслужащих в 30 округах и городах Китая. По данным South China Morning Post, она отметила 8 721 чиновника.

Эксперимент встретил сопротивление чиновников. Для темы этой страницы сопротивление важнее цифры: даже работающая система останавливается, если люди внутри не понимают ее правил.

Отсюда практический вывод для любой страны. Сопоставить данные технически несложно, трудно другое: заранее договориться, что считается сигналом, кто его видит, как сотрудник узнает основание и может ли он его оспорить.

Поэтому внедрение начинают не с модели, а с регламента работы с сигналами. Без регламента точная система разделит судьбу неточной: ее остановят те, кому она мешает работать, и те, кто ее просто не понял.

Для честного сотрудника сплошная проверка выгоднее выборочной. Когда машина смотрит каждую закупку по одним правилам, проверка перестает зависеть от того, кто и почему выбрал именно его.

Сигнал по правилам можно закрыть документом. Если система отметила торги с одним участником, сотрудник прикладывает обоснование, проверяющий снимает отметку, и в журнале остается запись, что вопрос разобран.

Ровный контроль защищает и от оговора. Когда признаки риска считаются для всех одинаково, жалоба на конкретного человека проверяется по тем же данным, а не по слухам.

Прозрачность защищает бюджет. Деньги, которые не ушли по сомнительному контракту, не нужно возвращать через суд, а честному поставщику не приходится соревноваться с тем, кто договорился заранее.

Есть выгода и для руководителя: о проблеме он узнает от своей системы и успевает ее исправить, а не читает о ней в акте внешней проверки.

Еврокомиссия описывает свою систему Arachne+ так же: она ищет признаки мошенничества, конфликта интересов и нарушений с бюджетом ЕС по 78 индикаторам риска, использует данные о владельцах компаний и публичных должностных лицах, но не принимает автоматических решений.

Правила пишут до первого сигнала, а не после первого скандала. Минимальный набор умещается на двух страницах и утверждается руководителем вместе со службой безопасности и юристом.

1. Что считается сигналом: перечень индикаторов риска с порогами, например доля одного поставщика у заказчика или рост цены после заключения контракта.

2. Кто видит сигналы: поименный круг проверяющих. Руководитель подразделения, чья закупка отмечена, не получает список отметок по своим сотрудникам до решения проверяющего.

3. Что делает проверяющий: запрашивает документы, проверяет основание и закрывает сигнал или передает материалы дальше. Каждое действие записывается в журнал.

4. Что знает сотрудник: какой признак сработал и какие документы снимают вопрос. Отметка без объяснения не допускается.

5. Чего система не делает: не наказывает, не публикует имена, не передает данные за пределы утвержденного круга. У Arachne+ этот принцип записан прямо: автоматических решений нет, решают люди.

6. Сколько хранится отметка: закрытый сигнал не висит на сотруднике годами. Срок хранения и порядок удаления записываются в тот же регламент.

Как не превратить флаг в обвинение, подробно разобрано на странице о рисках и ошибках.

Доверие появляется, когда люди видят результат на своих данных. Поэтому первый квартал стоит потратить на одну схему нарушений, а не на всю систему сразу.

Первый месяц: выбрать одну схему и несколько признаков из 73 флагов Open Contracting, прогнать по ним закупки прошлого года и сверить отметки с тем, что проверяющие уже знают.

Второй месяц: включить ежедневную проверку новых закупок и разбирать каждый сигнал по регламенту. Ложные отметки тоже считают: их доля показывает, где правила нужно уточнить.

Третий месяц: отчет руководителю в цифрах. Сколько закупок проверено, сколько сигналов разобрано, сколько закрыто документами, по скольким начата проверка и сколько времени ушло на каждый.

Такой отчет убеждает сильнее презентации: в нем видно, что честные сотрудники закрыли свои отметки за минуты, а сомнительные случаи нашлись до оплаты. Пошаговый план описан на странице о том, как внедрить ИИ-контроль.

Гражданам и бизнесу нужна не сама система, а уверенность, что торги честные. Open Contracting Partnership строит свои 73 флага на открытых данных закупок: проверить их может любой, кто умеет читать таблицы.

Для бизнеса прозрачный контроль означает понятные правила. Поставщик знает, какие признаки вызывают вопросы, и может заранее приложить обоснование цены или сроков.

Для граждан важно, что машина не решает их судьбу. Сигнал о риске разбирает человек, а основание отметки можно проверить по документам.

Открытость правил важна не меньше открытости данных. Если перечень индикаторов риска опубликован, поставщик видит, что проверяют признаки в данных закупки, а не выбирают неудобных участников.

Чем больше данных открыто, тем меньше подозрений, что контроль избирателен. Реестры, на которых работают такие проверки, описаны на странице об открытых данных.