Словарь ИИ

Что такое предвзятость ИИ

Коротко

Предвзятость ИИ (AI bias) это систематическая ошибка, из-за которой модель хуже или несправедливо обходится с одними группами людей или случаями по сравнению с другими.

Безопасность и право · AI bias

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты учишься узнавать собак только по картинкам с белыми пуделями. Потом ты видишь черную таксу и говоришь, что это не собака. Ты не злой, просто тебе показывали мало разных собак. С компьютерным помощником бывает так же: если его учили на однобоких примерах, он чаще ошибается с теми, кого видел редко. Поэтому его ответы нужно проверять.

Простыми словами

Нейросеть учится на примерах, которые собрали люди. Если в этих примерах одних случаев много, а других мало, модель запоминает перекос и переносит его в свои решения. Например, система отбора резюме, обученная на прошлых наймах, может занижать оценки тем, кого раньше брали редко, хотя их опыт подходит. Никто не программировал это специально: перекос пришел из данных. Иногда его добавляют и сами люди, когда выбирают, что считать хорошим результатом.

Для бизнеса

Перекос в решениях модели бьет по бизнесу трижды: несправедливые решения о клиентах и кандидатах, жалобы и проверки, потеря доверия. Чаще всего риск возникает в найме, кредитном скоринге, оценке клиентов и модерации. По 152-ФЗ решение, которое порождает юридические последствия для человека, нельзя принимать только на основе автоматической обработки без его письменного согласия или прямого основания в федеральном законе. Поэтому до запуска проверяют, одинаково ли модель ошибается на разных группах, оставляют человека в спорных случаях и записывают, по каким признакам она решает. Такую проверку закладывают в пилот, а не откладывают на потом.

Для специалиста

Предвзятость ИИ (AI bias) это систематическое отклонение результатов модели, ведущее к неравным ошибкам или исходам для групп. NIST SP 1270 (Schwartz и др., март 2022) выделяет три категории: системную, статистическую и вычислительную, человеческую, и подчеркивает, что нулевого риска предвзятости не бывает. Источники: смещение выборки (sampling bias), исторический перекос в разметке, прокси-признаки, связанные с защищенными атрибутами, выбор целевой метрики. Классический пример: исследование Gender Shades (Buolamwini, Gebru, 2018) нашло у трех коммерческих систем ошибку определения пола до 34,7% для женщин с темной кожей при максимуме 0,8% для мужчин со светлой. Метрики справедливости (fairness): demographic parity, equalized odds, калибровка по группам. Методы снижения: аудит и перебалансировка данных, ограничения при обучении, подбор порогов после обучения, оценка по срезам (sliced evaluation) и человек в контуре.

Пример

Сервис рассрочки заметил, что модель чаще отказывает жителям отдельных районов. Проверка показала, что адрес в обучающих данных заменял доход; признак убрали, а спорные отказы теперь пересматривает сотрудник.

Связанные термины

Вопросы и ответы

Откуда берется предвзятость ИИ?

Чаще всего из данных: модель повторяет перекосы примеров, на которых училась. Добавляют ее и неудачно выбранные признаки и цель обучения.

Как проверить модель на предвзятость?

Сравнить долю ошибок и решений модели на разных группах клиентов или кандидатов на одном тестовом наборе. Если разрыв заметный, меняют данные, признаки или пороги, а спорные случаи оставляют человеку.

Источники

Где это применяют в компании

Ошибки ИИ в бизнесе: как снизить риск и кто отвечает

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений