Словарь ИИ
Что такое промпт-инъекция
Коротко
Промпт-инъекция это атака на ИИ-систему, при которой в текст для модели подмешивают чужие указания, чтобы она нарушила правила владельца: выдала данные или сделала лишнее действие.
Промпты · prompt injection
Михаил МозгПроверено: 1 минута чтения
Ребенку
Бывает, что хитрый человек пытается обмануть ИИ-помощника, чтобы тот послушался не хозяина, а его. Это опасно: помощник может рассказать чужой секрет или сделать что-то плохое. Поэтому взрослые учат ИИ держаться своих правил и не верить каждому прочитанному слову. Так и тебя учат не открывать дверь незнакомцам, даже если они говорят ласково.
Простыми словами
Языковая модель получает одним потоком и правила владельца, и текст, с которым работает: письмо клиента, страницу сайта, файл. Отличить инструкцию от данных ей трудно. Злоумышленник пользуется этим и прячет команды для модели в обычном на вид тексте. Если ассистент сам читает почту или сайты, такая команда может попасть к нему без участия пользователя. Итог: модель раскрывает конфиденциальные сведения, искажает ответ или выполняет действие, которого никто не просил. Полностью убрать эту уязвимость пока нельзя, ее снижают защитой в несколько слоев.
Для бизнеса
Для компании это ключевой риск ИИ-ассистентов и агентов, которые читают внешние письма, документы и сайты и при этом имеют доступ к CRM, почте или платежам. Ущерб: утечка персональных данных, неверные ответы клиентам от имени компании, лишние операции в системах. Защиту дешевле заложить при проектировании, чем добавлять после инцидента. Что проверить до внедрения: агент получает минимум прав; рискованные действия подтверждает человек; ключи и пароли хранятся в коде, а не в инструкции модели; внешний контент помечен как недоверенный; ответы проходят фильтры; систему регулярно тестируют на атаки. Эти пункты входят в оценку безопасности данных перед запуском.
Для специалиста
Промпт-инъекция (prompt injection) это класс уязвимостей приложений на LLM, при котором входные данные меняют поведение модели вопреки замыслу разработчика; в OWASP Top 10 for LLM Applications 2025 года он стоит первым (LLM01). Различают прямую инъекцию, когда вредные указания приходят во вводе пользователя, и косвенную (indirect prompt injection), когда они заложены во внешний контент, который модель читает: веб-страницы, файлы, ответы инструментов. Greshake и др. (2023) показали, что такие приложения стирают границу между данными и инструкциями. Корень проблемы в том, что у модели нет надежного разделения каналов, поэтому защита многослойная: иерархия инструкций при обучении (Wallace и др., 2024), минимальные привилегии и подтверждение человеком, изоляция и маркировка недоверенного контента, проверка формата вывода детерминированным кодом, фильтры на входе и выходе, регулярное состязательное тестирование (red teaming). Джейлбрейк считают частным случаем, нацеленным на обход защитных правил модели.
Пример
Ассистент отдела продаж сам читает входящие письма и создает задачи в CRM. Компания дает ему права только на чтение карточек и черновики, а отправку писем и изменение сделок подтверждает менеджер. Даже если в письме окажутся чужие указания, ассистент ничего не отправит сам.
Связанные термины
Вопросы и ответы
Чем промпт-инъекция отличается от джейлбрейка?
Как защитить ИИ-агента от таких атак?
Источники
- OWASP, LLM01:2025 Prompt Injection, OWASP Top 10 for LLM Applications 2025genai.owasp.org
- Greshake и др., Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection, 2023arxiv.org
- Wallace и др., The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions, 2024arxiv.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений