Словарь ИИ
Что такое red teaming
Коротко
Red teaming (состязательное тестирование) это проверка ИИ-системы, при которой отдельная команда намеренно ищет в ней слабые места, пока их не нашли злоумышленники или клиенты.
Безопасность и право · red teaming
Михаил МозгПроверено: 1 минута чтения
Ребенку
Перед тем как пустить детей в новый игровой городок, взрослые сами лазают по горкам, трясут перила и ищут, где можно зацепиться курткой. Они не ломают городок, а проверяют, чтобы никто не поранился. С умными программами поступают так же: специальные люди заранее ищут, где программа может ошибиться или сказать что-то плохое, и это чинят до того, как ей начнут пользоваться.
Простыми словами
Название пришло из военных учений, где «красная команда» играет за противника. В ИИ так называют проверку, при которой люди специально пытаются заставить модель или чат-бота вести себя неправильно: выдать чужие данные, нагрубить, дать опасный совет, нарушить правила компании. Каждую найденную проблему записывают, разработчики ее закрывают, а потом проверку повторяют. Обычный тест смотрит, работает ли система, когда ею пользуются как задумано. Здесь смотрят на обратное: что будет, когда кто-то действует против правил.
Для бизнеса
Компании проводят такую проверку перед запуском ИИ-агента к клиентам и после крупных изменений: новой модели, новых инструментов, доступа к CRM. Цель простая: узнать о рисках раньше, чем о них напишут в отзывах. Проверяют утечку персональных данных и коммерческих сведений, обход ограничений, реакцию на провокации, ложные обещания скидок и сроков. Цена зависит от числа сценариев, глубины доступа агента к системам и от того, кто проверяет: своя команда, внешние эксперты или автоматические генераторы тестов. Итог оформляют списком проблем с приоритетами, и запуск откладывают, пока критичные не закрыты. На пилоте такую проверку проводят на реальных сценариях вашего процесса.
Для специалиста
Состязательное тестирование ИИ (AI red teaming) профиль NIST AI 600-1 для генеративного ИИ (июль 2024) определяет как структурированное упражнение, которое ищет недостатки и уязвимости системы: неточные, вредные или дискриминирующие ответы. Профиль различает проверки силами широкой публики, экспертов предметной области, смешанных команд и связок человека с генеративной моделью. Ganguli и др. (2022) описали ручное тестирование моделей на 2,7, 13 и 52 млрд параметров, опубликовали 38 961 записанную попытку и показали, что модели после RLHF с ростом размера труднее склонить к вредным ответам. Perez и др. (2022) предложили генерировать тестовые случаи другой языковой моделью и оценивать ответы классификатором, что дешевле ручной работы. Процесс включает модель угроз, план покрытия рисков, сессии тестирования, разметку находок, исправление (дообучение, ограничители, фильтры) и повторную проверку. Результат не доказывает безопасность системы: он показывает только найденные классы сбоев.
Пример
Перед запуском ИИ-агента поддержки интернет-магазина команда проверяет его на рискованных сценариях: не покажет ли он чужой заказ, не пообещает ли скидку вне правил, удержится ли в своей теме. Агент несколько раз пообещал несуществующую скидку; в инструкцию добавили запрет, и повторная проверка прошла чисто.
Связанные термины
Вопросы и ответы
Чем red teaming отличается от обычного тестирования?
Кто проводит red teaming?
Источники
- NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, июль 2024nvlpubs.nist.gov
- Ganguli и др., Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned, 2022arxiv.org
- Perez и др., Red Teaming Language Models with Language Models, 2022arxiv.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений