Словарь ИИ
Что такое джейлбрейк
Коротко
Джейлбрейк это попытка обойти защитные правила нейросети, чтобы она выдала то, что ей запрещено: опасные инструкции, оскорбления, закрытые сведения.
Промпты · jailbreak
Михаил МозгПроверено: 1 минута чтения
Ребенку
У каждой игры во дворе есть правила, которые берегут игроков: например, нельзя толкаться на горке. Иногда кто-то пытается уговорить вожатого разрешить запрещенное. ИИ тоже учат говорить «нет» на опасные просьбы, а некоторые люди пытаются его переубедить. Поэтому взрослые постоянно укрепляют эти правила и следят, чтобы ИИ оставался безопасным для всех.
Простыми словами
Создатели нейросетей учат их отказываться от вредных просьб: не помогать с оружием, мошенничеством, травлей. Джейлбрейком называют любые попытки обойти эти отказы, чтобы модель забыла о своих ограничениях. Такое возможно, потому что модель одновременно старается быть полезной и соблюдать правила, а эти цели иногда спорят. Разработчики закрывают найденные лазейки, но появляются новые. Для пользователя вывод простой: ответ, полученный в обход защиты, может быть опасным или незаконным, и отвечает за его применение тот, кто его получил.
Для бизнеса
Для компании этот риск касается собственных ИИ-ассистентов: если клиент сумеет обойти правила, бот от имени бренда может выдать грубость, ложное обещание, чужие данные или запрещенный контент. Это репутационный и юридический ущерб, вплоть до претензий по 152-ФЗ при утечке персональных данных. Защита: модель с сильным обучением безопасности, отдельные фильтры на входе и выходе, узкая роль ассистента, журнал диалогов и регулярное тестирование командой, которая ищет слабые места раньше клиентов. Фильтры добавляют задержку и вычисления, это закладывают в бюджет. Сотрудникам в политике использования ИИ отдельно запрещают обходить ограничения публичных сервисов.
Для специалиста
Джейлбрейк (jailbreak) это вход, который заставляет модель, прошедшую выравнивание (alignment), выдать ответ вопреки ее политике безопасности. OWASP в редакции 2025 года рассматривает его как разновидность промпт-инъекции, цель которой полностью отключить защитные правила. Wei, Haghtalab и Steinhardt (2023) объяснили устойчивость таких атак двумя причинами: конфликтом целей (competing objectives), когда полезность спорит с безопасностью, и несовпадением обобщения (mismatched generalization), когда обучение безопасности не покрывает всех областей, где у модели есть способности. Авторы считают, что масштабирование само проблему не решит, и требуют паритета безопасности и возможностей. Защиты: RLHF и обучение по принципам, иерархия инструкций, классификаторы входа и выхода. Anthropic (февраль 2025) сообщила, что конституционные классификаторы на автоматической оценке снизили долю успешных попыток джейлбрейка с 86% до 4,4% ценой 23,7% дополнительных вычислений.
Не путать. Не путать с джейлбрейком смартфона: снятием ограничений производителя с телефона или планшета.
Пример
Банк запускает чат-бот для клиентов и до релиза отдает его внутренней команде тестирования. Найденные обходы правил закрывают фильтрами и правкой инструкции, а все диалоги пишутся в журнал для разбора инцидентов.
Связанные термины
Вопросы и ответы
Чем опасен джейлбрейк для компании?
Как защитить чат-бот от джейлбрейка?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений