Словарь ИИ
Что такое утечка данных через ИИ
Коротко
Утечка данных через ИИ это ситуация, когда сведения компании или клиентов попадают к посторонним из-за нейросети: через запросы сотрудников, ответы модели или подключенные системы.
Безопасность и право · data leakage
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты рассказал секрет другу, а он записал его в общую тетрадь, которую читает весь класс. Друг не хотел плохого, просто не подумал. Компьютерный помощник иногда похож на такую тетрадь: то, что в него написали, может увидеть кто-то еще. Поэтому взрослые договариваются, какие секреты ему рассказывать нельзя, и следят, кто может читать его записи.
Простыми словами
Чаще всего это происходит без всякого взлома. Сотрудник копирует в публичный чат-бот договор, таблицу с клиентами или код, чтобы быстрее закончить работу. Эти сведения уходят на серверы чужой компании, могут там храниться, а иногда попадают в обучение будущих моделей. Бывает и иначе: ИИ-ассистент компании подключен к документам и по ошибке показывает человеку то, что ему видеть не положено. Защита начинается с простых правил: что можно отправлять в нейросеть, что нельзя и какими сервисами пользоваться.
Для бизнеса
Последствия измеряются деньгами: штрафы за персональные данные, потеря коммерческой тайны, претензии клиентов. Источники риска: публичные сервисы, которыми сотрудники пользуются без разрешения, ассистенты с избыточным доступом к файлам, интеграции, которые отдают модели больше полей, чем нужно. Меры по стоимости растут так: политика использования ИИ и обучение сотрудников, корпоративные тарифы с отказом от обучения на ваших данных, маскирование персональных данных перед отправкой, своя модель в контуре для особо чувствительных сведений. Начинают с инвентаризации: какие сервисы уже используют сотрудники и что туда попадает.
Для специалиста
OWASP относит раскрытие чувствительной информации (sensitive information disclosure) к ключевым рискам LLM-приложений, пункт LLM02 в редакции 2025 года: персональные, финансовые и медицинские сведения, коммерческие данные, учетные данные и юридические документы могут оказаться в выводе модели. Каналы: передача данных во внешний API, хранение запросов у поставщика, запоминание обучающих данных, слишком широкий доступ ассистента в RAG и агентных системах, промпт-инъекция через подключенные документы. Carlini и др. (2020) показали, что из GPT-2 можно извлечь дословные фрагменты обучающего набора, включая имена, телефоны и адреса почты, причем крупные модели уязвимее мелких. Меры по OWASP: очистка и маскирование данных до обучения и отправки, принцип наименьших привилегий, разграничение доступа к источникам, дифференциальная приватность и федеративное обучение, понятные правила хранения и отказ пользователя от обучения на его данных. Запреты в системном промпте сами по себе ненадежны.
Пример
Менеджер вставил в публичный чат-бот выгрузку из CRM с телефонами клиентов, чтобы получить сводку. После этого компания подключила корпоративный доступ к модели с маскированием телефонов и запретила загружать выгрузки в личные аккаунты.
Связанные термины
Вопросы и ответы
Как сотрудники допускают утечку данных через нейросети?
Как защитить компанию от утечек через ИИ?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений