Словарь ИИ

Что такое галлюцинации нейросети

Коротко

Галлюцинация это ответ нейросети, который звучит уверенно, но содержит выдуманные или неверные факты.

Языковые модели · hallucination

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Бывает, ты не знаешь ответа, но очень хочешь ответить и придумываешь что-то похожее на правду. Нейросеть иногда делает так же: говорит уверенно, но выдумывает. Взрослые называют это галлюцинацией.

Простыми словами

Нейросеть не ищет правду в базе, а подбирает самые вероятные следующие слова. Обычно это дает верный ответ, но иногда получается гладкий текст с несуществующей цифрой, ссылкой или фамилией. Модель не врет специально, она просто не отличает знание от правдоподобной догадки. Поэтому важные факты из ответа нейросети нужно проверять.

Для бизнеса

Для бизнеса галлюцинация это риск неверной цены, условия договора или юридического ответа клиенту. Снижают его так: ИИ отвечает только по вашим документам через RAG, должен показывать источник, на вопросы вне базы говорит «не знаю» и передает человеку. Долю ошибок измеряют на наборе реальных вопросов до запуска и после каждого изменения.

Для специалиста

Галлюцинацией называют генерацию, бессмысленную или не соответствующую исходному контексту (Ji и др., 2023, обзор); для языковых моделей сюда же относят ответы, противоречащие фактам о мире. Различают внутренние (противоречат исходному контексту) и внешние (не проверяются по нему). Причины: максимизация правдоподобия следующего токена без механизма проверки, пробелы и шум в обучающих данных, сдвиг распределения запросов, стратегии декодирования. Методы снижения: заземление через RAG с требованием цитат, ограничение ответа контекстом, самопроверка и самосогласованность, внешние проверяющие модели, калибровка уверенности и отказ отвечать. Метрики: faithfulness и groundedness на размеченных наборах.

Пример

ИИ-ассистент магазина без доступа к прайсу называет цену, которой нет. После подключения RAG он берет цену из каталога и дает ссылку на товар.

Связанные термины

Вопросы и ответы

Можно ли полностью избавиться от галлюцинаций?

Полностью нельзя, но их долю можно сильно снизить: ответы только по проверенным документам, ссылки на источник и передача человеку, если ответа в базе нет.

Почему нейросеть выдумывает ссылки и цифры?

Она подбирает правдоподобное продолжение текста, а не проверяет факт. Если нужного факта нет в контексте, модель может сочинить похожий.

Источники

Ji и др., Survey of Hallucination in Natural Language Generation, 2023arxiv.org

Где это применяют в компании

Ошибки ИИ: как их ловят до клиента

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений