Словарь ИИ
Что такое дезинформация и ИИ
Коротко
Дезинформация и ИИ это использование нейросетей для массового создания ложных новостей, фальшивых отзывов, поддельных видео и голосов, которые выдают за правду.
Безопасность и право · AI disinformation
Михаил МозгПроверено: 1 минута чтения
Ребенку
Помнишь игру в испорченный телефон? Слово передают по кругу, и в конце получается совсем не то. А теперь представь, что кто-то нарочно шепчет неправду, да еще очень похожую на правду. Умные программы могут помочь такому обманщику сочинять много убедительных выдумок. Поэтому, если новость тебя сильно удивила или напугала, спроси взрослых и проверь ее вместе с ними.
Простыми словами
Ложь существовала всегда, но раньше для потока правдоподобных фальшивых постов нужен был целый штат людей. Нейросеть пишет такие тексты за минуты, на любом языке и в разном стиле, а еще рисует фото событий, которых не было, и подделывает голоса. Из-за этого фальшивок становится больше, и выглядят они убедительнее. Отличать их помогают простые привычки: искать первоисточник, сверять новость с несколькими независимыми изданиями, с подозрением относиться к роликам, которые давят на эмоции и просят срочно что-то сделать.
Для бизнеса
Для бизнеса угроза приходит с разных сторон: фальшивые отзывы и посты о компании, поддельное видео с руководителем, ложное сообщение о проблемах с продуктом, которое расходится раньше официального ответа. Всемирный экономический форум в докладе о глобальных рисках за январь 2024 года назвал ложную информацию главным риском на ближайшие два года. Помогают мониторинг упоминаний, заранее подготовленный порядок ответа на кризис, официальные каналы, которые клиенты знают в лицо, и подпись подлинности для собственных материалов. Если вы сами публикуете сгенерированный контент, маркируйте его, чтобы не попасть под подозрение. Порядок действий при атаке на репутацию входит в разбор рисков ИИ для компании.
Для специалиста
Дезинформацией (disinformation) называют заведомо ложные сведения, которые распространяют намеренно, в отличие от ошибочных (misinformation). Генеративные модели снижают стоимость операций влияния (influence operations): Goldstein и др. (2023) описали, как языковые модели меняют состав участников, приемы и сам контент таких операций, и предложили меры на четырех этапах: создание модели, доступ к ней, распространение контента и формирование убеждений. По их выводу, ни одна мера по отдельности угрозу не снимает. Технические средства: водяные знаки и метаданные происхождения (C2PA), детекторы синтетического контента, модерация на платформах, выявление скоординированного неаутентичного поведения по сетевым признакам. Нормативные: статья 50 Регламента ЕС 2024/1689 требует раскрывать дипфейки и сгенерированные тексты на общественно значимые темы. Детекторы ошибаются, поэтому основная защита строится на проверке источника и подписи подлинного контента.
Пример
В соцсетях появляется ролик, где «директор» сети магазинов объявляет о закрытии и распродаже. Компания в тот же день публикует опровержение в официальных каналах, прикладывает оригинальные записи выступлений и подает жалобы площадкам.
Связанные термины
Вопросы и ответы
Как ИИ помогает распространять ложные новости?
Как распознать фальшивку, созданную нейросетью?
Источники
- Goldstein и др., Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations, 2023arxiv.org
- World Economic Forum, The Global Risks Report 2024, январь 2024www3.weforum.org
- Регламент (ЕС) 2024/1689, статья 50, AI Act Service Desk Европейской комиссииai-act-service-desk.ec.europa.eu
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений