Словарь ИИ
Что такое галлюцинации нейросети
Коротко
Галлюцинация это ответ нейросети, который звучит уверенно, но содержит выдуманные или неверные факты.
Языковые модели · hallucination
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Бывает, ты не знаешь ответа, но очень хочешь ответить и придумываешь что-то похожее на правду. Нейросеть иногда делает так же: говорит уверенно, но выдумывает. Взрослые называют это галлюцинацией.
Простыми словами
Нейросеть не ищет правду в базе, а подбирает самые вероятные следующие слова. Обычно это дает верный ответ, но иногда получается гладкий текст с несуществующей цифрой, ссылкой или фамилией. Модель не врет специально, она просто не отличает знание от правдоподобной догадки. Поэтому важные факты из ответа нейросети нужно проверять.
Для бизнеса
Для бизнеса галлюцинация это риск неверной цены, условия договора или юридического ответа клиенту. Снижают его так: ИИ отвечает только по вашим документам через RAG, должен показывать источник, на вопросы вне базы говорит «не знаю» и передает человеку. Долю ошибок измеряют на наборе реальных вопросов до запуска и после каждого изменения.
Для специалиста
Галлюцинацией называют генерацию, бессмысленную или не соответствующую исходному контексту (Ji и др., 2023, обзор); для языковых моделей сюда же относят ответы, противоречащие фактам о мире. Различают внутренние (противоречат исходному контексту) и внешние (не проверяются по нему). Причины: максимизация правдоподобия следующего токенатокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. без механизма проверки, пробелы и шум в обучающих данных, сдвиг распределения запросов, стратегии декодирования. Методы снижения: заземление через RAG с требованием цитат, ограничение ответа контекстом, самопроверка и самосогласованностьсамосогласованность. Самосогласованность (self-consistency) это прием, при котором языковая модель решает одну задачу несколько раз разными путями, а итоговым считают ответ, к которому пришло большинство решений., внешние проверяющие модели, калибровка уверенности и отказ отвечать. Метрики: faithfulness и groundedness на размеченных наборах.
Пример
ИИ-ассистентИИ-ассистент. ИИ-ассистент это помощник на нейросети, который по просьбе человека отвечает на вопросы, готовит тексты и выполняет простые поручения в рабочих программах. магазина без доступа к прайсу называет цену, которой нет. После подключения RAG он берет цену из каталога и дает ссылку на товар.
Связанные термины
Вопросы и ответы
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений