Словарь ИИ
Что такое ИИ-аудит
Коротко
ИИ-аудит это проверка того, как в компании работает искусственный интеллект: насколько точно и безопасно ведут себя системы, по каким правилам и кто за них отвечает.
Бизнес и внедрение · AI audit
Михаил МозгПроверено: 1 минута чтения
Ребенку
Раз в год в школу приходит проверка. Она смотрит, крепкие ли парты, работают ли огнетушители, правильно ли заполнены журналы. Никто никого не ругает, просто ищут, что исправить, пока не случилась беда. Умные программы во взрослой работе тоже проверяют: не ошибаются ли они, не обижают ли кого-то и бережно ли хранят чужие секреты.
Простыми словами
Под этим словом понимают две похожие вещи. Первая: проверка систем, которые уже работают. Смотрят, как часто модель ошибается, не отвечает ли она по-разному разным группам клиентов, куда уходят сведения, кто может их увидеть и кто отвечает за ошибки. Вторая: аудит компании перед внедрением, когда ищут процессы, где ИИ принесет пользу. Обе похожи на медосмотр: его проходят, пока ничего не болит, чтобы заметить проблему рано.
Для бизнеса
Проверка нужна, когда ИИ уже принимает решения, которые влияют на клиентов и деньги: одобряет заявки, отвечает в поддержке, считает цены. Ошибка такой системы повторяется тысячи раз, прежде чем ее заметят. Аудит охватывает качество ответов на реальных примерах, утечки данных, соответствие 152-ФЗ, права доступа, зависимость от поставщика и человека в контуре для спорных случаев. Стоимость зависит от числа систем и глубины тестирования. Итог: список рисков с оценкой и планом исправления. Если ИИ в компании еще не запущен, похожий разбор процессов и данных проводят как комплексную проверку перед внедрением.
Для специалиста
ИИ-аудит (AI audit, algorithmic audit) это систематическая оценка ИИ-системы по критериям точности, надежности, справедливости (fairness), безопасности, прозрачности и соответствия требованиям. Различают внешний аудит, который проводит независимая сторона после запуска, и внутренний, встроенный в жизненный цикл разработки. Raji и соавторы в статье «Closing the AI Accountability Gap» (ACM FAT* 2020) предложили рамку сквозного внутреннего аудита: каждый этап разработки оставляет документы, которые вместе составляют отчет и сверяются с заявленными принципами организации. Практическая основа процедур: NIST AI RMF (2023) с функциями Govern, Map, Measure и Manage. Инструменты включают наборы тестовых сценариев, проверку смещений по группам, тесты на промпт-инъекции и анализ журналов работы модели.
Пример
Лизинговая компания проверила модель оценки заявок и обнаружила, что она чаще отказывает клиентам из небольших городов. Этот признак убрали из данных, модель переобучили, а спорные заявки теперь смотрит сотрудник.
Связанные термины
Вопросы и ответы
Чем аудит ИИ отличается от обычного ИТ-аудита?
Как часто проводить такую проверку?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений