Словарь ИИ
Что такое ограничители
Коротко
Ограничители (guardrails) это проверки и правила вокруг языковой модели, которые не пускают в нее опасные запросы и не выпускают из нее недопустимые ответы и действия.
ИИ-агенты · guardrails
Михаил МозгПроверено: 1 минута чтения
Ребенку
На горке в аквапарке есть бортики: катишься быстро и весело, но не вылетишь в сторону. А у входа стоит спасатель и не пускает тех, кому еще рано. У умных программ тоже есть такие бортики. Они не мешают помогать людям, но не дают сказать грубость, выдать чужой секрет или сделать что-то опасное.
Простыми словами
Инструкция в промпте просит модель вести себя аккуратно, но надеяться только на нее нельзя: модель можно запутать, а иногда она ошибается сама. Поэтому вокруг нее ставят отдельные проверки. Одни смотрят на входящий вопрос: нет ли в нем попытки обойти правила или лишних персональных данных. Другие проверяют ответ: не выдуманы ли цифры, не ушел ли разговор от темы, нет ли грубости. Третьи следят за действиями: агент поддержки не оформит возврат больше заданной суммы. Если проверка сработала, ответ блокируют, переписывают или передают человеку.
Для бизнеса
Без ограничителей компания отвечает за любые слова и действия ИИ от своего имени: обещание несуществующей скидки, совет вне компетенции, раскрытие внутренних данных. Набор проверок зависит от процесса. Для чата с клиентами важны тема разговора, тон и запрет на обещания по цене. Для внутреннего ассистента важнее не выпустить наружу персональные данные и коммерческую тайну. Каждая проверка добавляет задержку, а если ее выполняет отдельная модель, то и стоимость. Слишком строгие правила начинают отказывать в нормальных запросах. Поэтому правила настраивают на реальных диалогах и пересматривают по журналу срабатываний. С чего начать защиту, подскажет обзор безопасности данных при внедрении агентов.
Для специалиста
Ограничители (guardrails) это программные проверки во время работы приложения, независимые от выравнивания самой модели при обучении. По месту различают входные (input rails), выходные (output rails), диалоговые, которые держат разговор в заданном сценарии, и ограничители действий для агентов: белые списки инструментов, лимиты сумм, подтверждение человеком. Реализации бывают на правилах (регулярные выражения, списки, схемы), на классификаторах и на отдельных моделях-судьях. Набор NeMo Guardrails (Rebedea и др., 2023) задает программируемые правила поверх любой модели и подчеркивает, что они не зависят от модели и поддаются интерпретации. Llama Guard (Inan и др., 2023) это модель на базе Llama 2 7B, дообученная классифицировать и запросы пользователя, и ответы модели по таксономии рисков. Такие проверки снижают, но не исключают риск промпт-инъекций и джейлбрейков, поэтому их сочетают с минимальными правами и мониторингом.
Не путать. Не путать с ограничителями в технике и электрике, например ограничителем скорости: здесь речь о правилах для ИИ.
Пример
Покупатель просит чат-бота магазина подтвердить скидку, о которой ему якобы сказал менеджер. Выходной ограничитель видит, что такой акции нет в справочнике, и не пропускает обещание, а бот предлагает действующие условия или связь с менеджером.
Связанные термины
Вопросы и ответы
Что такое guardrails в контексте LLM?
Хватит ли системного промпта вместо отдельных проверок?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений