Ошибки алгоритмов в госуправлении: как не обвинить невиновных

С 2013 года налоговая служба Нидерландов проверяла заявки на пособия на детей с помощью модели оценки риска. Одним из факторов было гражданство: заявители без нидерландского гражданства получали более высокий балл риска.

Модель была самообучающейся. По данным Amnesty International, она подстраивалась под накопленный опыт и тем самым закрепляла ошибки своего устройства.

Проверяющий, который вручную разбирал отмеченные заявки, не знал, почему система поставила высокий риск. Пособия приостанавливали, а родителям годами не объясняли, в чем их вина.

Последствия для семей: долги, потеря работы, выселения. Десятки тысяч родителей, в основном из семей с низким доходом, ложно обвинили в мошенничестве, и в январе 2021 года скандал привел к отставке правительства.

Здесь сошлись четыре ошибки: запрещенный признак в модели, отметка вместо основания, нет объяснения человеку, нет внешней проверки модели. Каждой из них посвящен раздел ниже.

Open Contracting Partnership описала 73 красных флага для всех этапов закупки, от планирования до исполнения контракта. В том же документе прямо сказано: флаг означает риск, а не доказательство нарушения.

У флага часто есть честное объяснение. Торги с одним участником бывают на узком рынке, рост цены контракта бывает из-за изменения объема работ, срочная закупка бывает из-за аварии.

Поэтому слова имеют значение. В отчетах и в интерфейсе системы пишут «система отметила», «признак риска», «сигнал для проверки» и никогда «нарушитель» или «выявлено хищение».

Отметка не попадает в личное дело и не становится основанием для санкций. Она открывает проверку, а закрывает ее проверяющий: документом, объяснением или передачей материалов тем, кто вправе решать.

Как индикаторы складываются в балл и почему балл тоже не обвинение, разобрано на странице о риск-скоринге.

Система Еврокомиссии Arachne+ работает с 78 индикаторами риска, данными о владельцах компаний, санкционных списках и публичных должностных лицах. При этом она не принимает автоматических решений: она готовит материал для человека.

В России тот же принцип записан в законе. Статья 16 закона 152-ФЗ запрещает принимать решения, которые порождают юридические последствия для человека или иначе затрагивают его права, только на основании автоматизированной обработки его персональных данных.

На практике это значит три вещи. Проверяющий видит не только балл, но и признаки, из которых он сложился. Он может снять отметку с объяснением. И у него есть время на разбор, а не план по числу закрытых сигналов.

Опасность в другом: человек решает формально, а на деле подписывает то, что предложила машина. В Нидерландах ручная проверка была, но проверяющий не видел основания и не мог с ним спорить.

Против этого помогает повторная выборочная проверка. Часть закрытых и часть подтвержденных сигналов пересматривает второй проверяющий, и расхождения разбирают вместе.

Нидерландская модель показала, что один признак может испортить всю систему. Гражданство попало в модель как фактор риска, и система чаще отмечала людей по происхождению, а не по их действиям.

Amnesty International по итогам разбора призвала запретить данные о гражданстве и этническом происхождении в оценке риска при проверках на мошенничество.

До запуска составляют перечень запрещенных признаков: гражданство, национальность, пол, возраст, место рождения, состояние здоровья. Модель не получает их ни прямо, ни через заменители, например через язык заявления или район проживания.

Проверка на дискриминацию простая по смыслу: сравнить долю отмеченных среди разных групп людей или организаций. Если малые поставщики или один регион отмечаются в разы чаще без разницы в подтвержденных нарушениях, модель исправляют до того, как она начнет работать.

В закупках риск ниже, чем в пособиях: признаки относятся к процедурам и компаниям, а не к семьям. Но и здесь проверяют, не отмечает ли система новых поставщиков только за то, что они новые.

В Нидерландах родителям годами не отвечали на вопрос, что они сделали не так. Именно это превратило ошибку модели в беду для семей.

Статья 16 закона 152-ФЗ обязывает оператора разъяснить человеку порядок принятия решения на основании автоматизированной обработки и его возможные юридические последствия, дать возможность заявить возражение и рассмотреть его в течение 30 дней.

Для системы контроля это превращается в простое требование: каждая отметка ведет к документу. Проверяющий и сотрудник видят, какой признак сработал, на каких данных и какие документы снимают вопрос.

Модель, которая не может показать основание своей отметки, не подходит для проверок, где затронуты права людей. Amnesty International призывает отказаться от «черных ящиков» и самообучающихся алгоритмов там, где решения существенно влияют на права человека.

Требования к данным и моделям в госсекторе, включая 243-ФЗ, собраны на странице о требованиях и безопасности.

Модель проверяют так же, как сотрудника: по результатам. Исследование Ash, Galletta и Giommoni на бюджетных данных муниципалитетов Бразилии показало, что модель при том же числе проверок находит почти в два раза больше муниципалитетов с коррупцией, чем случайный выбор.

Это и есть правильный вопрос к любой системе: насколько она точнее случайного выбора или нынешней практики отбора. Ответ дает сравнение на прошлых проверках, итог которых уже известен.

1. До запуска: прогнать модель на закрытых делах и посчитать, сколько подтвержденных нарушений она отметила и сколько честных закупок задела.

2. После запуска: каждый квартал считать долю сигналов, которые проверяющие закрыли как ложные. Рост этой доли значит, что изменились данные или практика.

3. Раз в год: внешняя проверка модели и оценка ее влияния на права людей. Amnesty International называет обязательную оценку влияния на права человека условием до использования подобных систем.

4. Всегда: журнал изменений модели. Кто, когда и зачем поменял признак или порог, должно быть видно так же, как изменения в регламенте.

Страхи сотрудников и граждан, которые стоят за этими правилами, разобраны на странице о том, почему ИИ в контроле встречает сопротивление.