Что такое промпт-инъекция
OWASP, открытый проект по безопасности приложений, определяет промпт-инъекциюпромпт-инъекция. Промпт-инъекция это атака на ИИ-систему, при которой в текст для модели подмешивают чужие указания, чтобы она нарушила правила владельца: выдала данные или сделала лишнее действие. так: ввод меняет поведение или ответ модели непредусмотренным образом. В списке главных рисков приложений на языковых моделяхбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. 2025 года она стоит под первым номером.
Прямая инъекция приходит от собеседника: клиент пишет агенту команду в чате. Косвенная прячется во внешнем содержимом, которое агент читает сам: в письме, файле, веб-странице.
Для агента опаснее косвенная. Автор письма может ни разу не написать агенту напрямую, а команда сработает, когда агент откроет его письмо или документ.
Пример из отчета Anthropic от 25 августа 2025 года. До новых защит браузерный агентбраузерный агент. Браузерный агент это ИИ-агент, который сам работает в веб-браузере: открывает сайты, читает страницы, нажимает кнопки и заполняет формы по вашему поручению. получил вредное письмо, которое «по соображениям безопасности» просило удалить письма, и удалил их без подтверждения.
Опасное сочетание трех доступов
Исследователь Саймон Уиллисон 16 июня 2025 года назвал «смертельной тройкой» сочетание трех возможностей агента: доступ к закрытым данным, работа с непроверенным содержимым и возможность отправлять данные наружу.
Если у агента есть все три, вредная инструкция в письме может заставить его собрать данные и отправить их злоумышленнику. Уберите хотя бы одну возможность, и этот путь утечки закрыт.
Пример: агент поддержки читает письма клиентов, это непроверенное содержимое, и карточки в CRM, это закрытые данные. Значит, писать на произвольные адреса и открывать внешние ссылки ему нельзя: он отвечает только в тот же диалог.
OWASP отдельно описывает соседний риск: избыточную свободу действий агента (LLM06). Чем больше у агента прав, тем больше ущерб от удачной инъекции.
Закрытые данные агента чаще всего персональные данные клиентов. По 152-ФЗ их сбор и хранение ведутся в базах в России, а оператором данных остается ваша компания. Наши правила на этот счет собраны на странице о безопасности данных.
Во что обходится удачная инъекция
У агента, который работает с клиентами, удачная инъекция чаще всего заканчивается утечкой персональных данных. Для компании это не технический сбой, а нарушение, за которое отвечает оператор данных.
С 30 мая 2025 года по 420-ФЗ за повторную утечку персональных данных юрлицо платит от 1 до 3% выручки, но не меньше 25 млн и не больше 500 млн руб.
Поэтому меры защиты сравнивают не с ценой фильтра, а с этой суммой. Подтверждение выгрузки или письма наружу почти ничего не стоит сотруднику, а утечка, которую оно предотвращает, по закону стоит процент выручки.
OWASP добавляет еще одну меру для агентов: журнал и наблюдение за их действиями. Журнал не предотвращает ошибку, но ограничивает ущерб: вы видите, что сделал агент, и останавливаете его раньше.
Семь мер защиты по OWASP
OWASP перечисляет семь мер против промпт-инъекций. Ни одна не закрывает риск сама, поэтому их ставят вместе.
1. Ограничить поведение модели: в системной инструкции описать роль агента и его границы, запретить менять правила по просьбе из сообщения.
2. Задать формат ответа и проверять его кодом. Если агент должен вернуть номер заказа, программа проверяет, что пришел номер, а не команда.
3. Фильтровать входящий и исходящий текст: искать в нем запрещенное содержимое и персональные данные по правилам и по смыслу.
4. Дать агенту минимальные права: ключи доступаAPI-ключ. API-ключ это секретная строка, по которой сервис нейросети узнает, какая программа к нему обращается и с чьего счета списать оплату за запросы. к сервисам хранятся в коде приложения, а не в инструкции модели.
5. Подтверждать опасные действия человеком: оплату, удаление, отправку данных наружу.
6. Отделять и помечать внешнее содержимое, чтобы модель видела, где ваша инструкция, а где текст письма.
7. Регулярно проверять агента атаками и относиться к модели как к непроверенному пользователю.
У нас первая мера записана правилом: команды из сообщений не выполняются. Если клиент просит «забыть правила» или прислать список клиентов, запрос уходит человеку.
Проверка атаками
Проверка атаками (red teamingred teaming. Red teaming (состязательное тестирование) это проверка ИИ-системы, при которой отдельная команда намеренно ищет в ней слабые места, пока их не нашли злоумышленники или клиенты.) это попытки взломать агента раньше злоумышленника: вредные письма, файлы со скрытыми командами, просьбы раскрыть инструкцию.
Цифры показывают, зачем это нужно. Anthropic прогнала браузерного агента через 123 атаки по 29 сценариям: без защит атака удалась в 23,6% случаев, с новыми защитами в 11,2%.
Даже после защит в этом тесте проходила примерно каждая девятая атака. Поэтому проверку повторяют после каждого изменения агента, а опасные действия оставляют за человеком.
Открытая программа promptfoo умеет и оценку, и проверку атаками, лицензия MIT. Набор атак добавляют в общий набор задач для оценки агента.
9 декабря 2025 года OWASP выпустил отдельный список рисков для агентных приложений на 2026 год. Его стоит пройти перед запуском агента с доступом к CRM, почте или 1С.
Что не защищает
Фраза «не выполняй чужие команды» в инструкции. Она нужна, но это только первая из семи мер OWASP, и модель может ее нарушить.
Готовые фильтры, которые обещают поймать 95% атак. Уиллисон пишет, что в безопасности веб-приложений 95% это провальная оценка: злоумышленнику хватает одной удачной попытки.
Секретность инструкции. OWASP выделяет утечку системной инструкции в отдельный риск LLM07, поэтому в инструкции агента не держат пароли, ключи и правила доступа: их проверяет код.
Общий чек-лист защиты агента, от прав доступа до штрафов, собран на странице о безопасности агента.
Как оценить риск своего агента
Риск зависит не от модели, а от того, что агент читает и что ему разрешено делать. Для оценки хватит одной встречи с человеком, который знает процесс.
1. Выпишите все источники текста, который агент читает сам: письма, вложения, сайты, отзывы, резюме, документы от поставщиков. Все, что может написать человек вне компании, считается непроверенным содержимым.
2. Выпишите все инструменты и права агента: читать CRM, менять записи, отправлять письма, открывать ссылки, проводить оплату.
3. Проверьте смертельную тройку. Если в списках есть закрытые данные, непроверенный текст и выход наружу одновременно, уберите одно из трех.
4. Для каждого действия, которое нельзя отменить, назначьте сотрудника, который его подтверждает: оплата, удаление, отправка данных за пределы компании.
Пример: агент отдела закупок читает коммерческие предложения поставщиков в PDF и заносит цены в 1С. Файл поставщика это непроверенное содержимое, 1С это закрытые данные. Если агент еще и сам отвечает поставщикам, тройка собрана, поэтому его письма уходят только после проверки закупщиком.