Словарь ИИ
Что такое промпт-инъекция
Коротко
Промпт-инъекция это атака на ИИ-систему, при которой в текст для модели подмешивают чужие указания, чтобы она нарушила правила владельца: выдала данные или сделала лишнее действие.
Промпты · prompt injection
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Бывает, что хитрый человек пытается обмануть ИИ-помощника, чтобы тот послушался не хозяина, а его. Это опасно: помощник может рассказать чужой секрет или сделать что-то плохое. Поэтому взрослые учат ИИ держаться своих правил и не верить каждому прочитанному слову. Так и тебя учат не открывать дверь незнакомцам, даже если они говорят ласково.
Простыми словами
Языковая модельбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. получает одним потоком и правила владельца, и текст, с которым работает: письмо клиента, страницу сайта, файл. Отличить инструкцию от данных ей трудно. Злоумышленник пользуется этим и прячет команды для модели в обычном на вид тексте. Если ассистент сам читает почту или сайты, такая команда может попасть к нему без участия пользователя. Итог: модель раскрывает конфиденциальные сведения, искажает ответ или выполняет действие, которого никто не просил. Полностью убрать эту уязвимость пока нельзя, ее снижают защитой в несколько слоев.
Для бизнеса
Для компании это ключевой риск ИИ-ассистентовИИ-ассистент. ИИ-ассистент это помощник на нейросети, который по просьбе человека отвечает на вопросы, готовит тексты и выполняет простые поручения в рабочих программах. и агентов, которые читают внешние письма, документы и сайты и при этом имеют доступ к CRM, почте или платежам. Ущерб: утечка персональных данных, неверные ответы клиентам от имени компании, лишние операции в системах. Защиту дешевле заложить при проектировании, чем добавлять после инцидента. Что проверить до внедрения: агент получает минимум прав; рискованные действия подтверждает человек; ключи и пароли хранятся в коде, а не в инструкции модели; внешний контент помечен как недоверенный; ответы проходят фильтры; систему регулярно тестируют на атаки. Эти пункты входят в оценку безопасности данных перед запуском.
Для специалиста
Промпт-инъекция (prompt injection) это класс уязвимостей приложений на LLM, при котором входные данные меняют поведение модели вопреки замыслу разработчика; в OWASP Top 10 for LLM Applications 2025 года он стоит первым (LLM01). Различают прямую инъекцию, когда вредные указания приходят во вводе пользователя, и косвенную (indirect prompt injection), когда они заложены во внешний контент, который модель читает: веб-страницы, файлы, ответы инструментов. Greshake и др. (2023) показали, что такие приложения стирают границу между данными и инструкциями. Корень проблемы в том, что у модели нет надежного разделения каналов, поэтому защита многослойная: иерархия инструкций при обучении (Wallace и др., 2024), минимальные привилегии и подтверждение человеком, изоляция и маркировка недоверенного контента, проверка формата вывода детерминированным кодом, фильтры на входе и выходе, регулярное состязательное тестированиеred teaming. Red teaming (состязательное тестирование) это проверка ИИ-системы, при которой отдельная команда намеренно ищет в ней слабые места, пока их не нашли злоумышленники или клиенты. (red teaming). Джейлбрейк считают частным случаем, нацеленным на обход защитных правил модели.
Пример
Ассистент отдела продаж сам читает входящие письма и создает задачи в CRM. Компания дает ему права только на чтение карточек и черновики, а отправку писем и изменение сделок подтверждает менеджер. Даже если в письме окажутся чужие указания, ассистент ничего не отправит сам.
Связанные термины
Вопросы и ответы
Источники
- OWASP, LLM01:2025 Prompt Injection, OWASP Top 10 for LLM Applications 2025genai.owasp.org
- Greshake и др., Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection, 2023arxiv.org
- Wallace и др., The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions, 2024arxiv.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений