Словарь ИИ

Что такое объяснимый ИИ

Коротко

Объяснимый ИИ (explainable AI, XAI) это набор методов, которые показывают, почему модель приняла конкретное решение и какие данные сильнее всего на него повлияли.

Безопасность и право · explainable AI

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Когда учитель ставит оценку, ты можешь спросить, за что снизили балл, и он покажет ошибку в задаче. Тогда понятно, что исправить в следующий раз. Умные программы тоже ставят свои «оценки»: решают, кому дать скидку или какое письмо важнее. Объяснимый ИИ похож на учителя, который не просто ставит отметку, а показывает, из-за чего она такая.

Простыми словами

Многие нейросети работают как черный ящик: на входе данные, на выходе ответ, а как он получился, не видно даже разработчику. Объяснимость добавляет к ответу пояснение. Например, система отклонила заявку на рассрочку, и рядом с отказом видно, что сильнее всего повлияли короткий стаж и прошлые просрочки, а район проживания почти не сыграл роли. Такое пояснение не раскрывает модель целиком, но показывает, на какие признаки она опиралась в этом случае. По нему человек может проверить, разумно ли решение, и оспорить его.

Для бизнеса

Пояснения к решениям модели нужны там, где ИИ влияет на людей и деньги: найм, кредит, скидки, отбор поставщиков, подсказки врачу. По 152-ФЗ компания, которая принимает решение о человеке только автоматически, обязана разъяснить ему порядок такого решения и его последствия. Без объяснимости это трудно сделать, а спор с клиентом или проверку легко проиграть. Пояснения полезны и внутри компании: по ним видно, что модель опирается на случайный признак, еще до того, как это ударит по выручке. Стоимость зависит от типа модели: у простых моделей объяснение почти ничего не стоит, для больших нейросетей нужны отдельные инструменты и время инженеров. Требование к пояснениям записывают в техническое задание еще на пилоте.

Для специалиста

Объяснимость (explainability) объединяет методы, которые делают поведение модели понятным человеку. Различают модели, понятные по устройству (линейная регрессия, деревья решений, правила), и объяснения постфактум (post-hoc) для черных ящиков. Локальные методы объясняют одно предсказание: LIME (Ribeiro и др., 2016) обучает простую интерпретируемую модель на окрестности конкретного примера, SHAP (Lundberg, Lee, 2017) распределяет вклад между признаками по значениям Шепли и объединяет шесть ранее известных подходов. Для нейросетей применяют карты значимости (saliency maps) и градиентные атрибуции, глобальные методы описывают модель целиком через важность признаков и графики частичной зависимости. Механистическая интерпретируемость (mechanistic interpretability) ищет внутри сети схемы, отвечающие за поведение. Статья 86 Регламента ЕС 2024/1689 дает человеку право на ясное объяснение роли высокорисковой системы в решении, которое его затронуло. Ограничение: объяснение постфактум приближенное и может расходиться с настоящим механизмом модели.

Пример

Банк ввел модель, которая одобряет кредитные лимиты. Клиент пожаловался на отказ, и сотрудник по пояснению к решению увидел, что главную роль сыграла старая просрочка, давно закрытая. Сведения в базе обновили, решение пересмотрели.

Связанные термины

Вопросы и ответы

Зачем нужен объяснимый ИИ, если модель и так точная?

Высокая точность в среднем не говорит, почему модель решила именно так в вашем случае. Пояснение показывает, на что она опиралась, и помогает поймать ошибку или перекос раньше клиента.

Можно ли объяснить решения большой языковой модели?

Частично. Модель можно попросить пояснить ответ или показать источники, но такое пояснение не всегда отражает ее настоящий ход вычислений. Поэтому важные решения проверяют по данным и документам, а не по словам модели.

Источники

Где это применяют в компании

ИИ для подбора персонала: разбор откликов и первое интервью

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений