Словарь ИИ
Что такое обоснованность ответа
Коротко
Обоснованность ответа это свойство ответа ИИ, при котором каждое его утверждение подтверждается документами, переданными модели для ответа.
Поиск и RAG · groundedness
Михаил МозгПроверено: 1 минута чтения
Ребенку
Ты рассказываешь классу про вулканы и говоришь: «Так написано в энциклопедии на странице десять». Учитель открывает книгу и видит, что так и есть. Значит, твой рассказ обоснован. А если в книге этого нет, рассказ придуман. Обоснованность показывает, взял ли ИИ свои слова из книги или сочинил сам.
Простыми словами
Когда ИИ-ассистент отвечает по документам компании, мало того, чтобы ответ звучал правдоподобно. Нужно, чтобы каждое утверждение в нем можно было найти в тех документах, которые система ему передала. Это и называют обоснованностью. Проверяют так: ответ делят на отдельные утверждения и для каждого ищут подтверждение в найденном тексте. Если подтверждено девять из десяти, обоснованность девяносто процентов. Например, ассистент написал, что возврат возможен за четырнадцать дней, а в регламенте сказано про семь: ответ не обоснован, даже если звучит уверенно.
Для бизнеса
Для компании это главный показатель доверия к ассистенту: необоснованный ответ клиенту о сроках, ценах или условиях договора создает юридический и репутационный риск. Метрику можно считать автоматически, второй моделью-проверяющей, без ручной разметки каждого ответа, поэтому ее отслеживают постоянно, а не только при запуске. Важно понимать границу: обоснованный ответ не обязательно верный. Если в базе лежит устаревший регламент, ассистент честно перескажет ошибку. Поэтому обоснованность считают вместе с качеством базы и долей вопросов, на которые нужный документ нашелся. Порог, ниже которого ответ уходит человеку, согласуют заранее, и такие правила проверяют на пилоте.
Для специалиста
Обоснованность (groundedness), в литературе по оценке RAG также верность контексту (faithfulness), означает, что утверждения ответа выводимы из предоставленного контекста; это не то же самое, что фактическая верность относительно мира. Во фреймворке RAGAS (Es и др., 2023) метрика считается так: языковая модель разбивает ответ на короткие утверждения S, для каждого проверяет, следует ли оно из контекста, и оценка равна |V|/|S|, где V множество подтвержденных утверждений. Там же определены релевантность ответа и релевантность контекста, и все три метрики не требуют эталонных ответов, размеченных людьми (reference-free). Обоснованность связана с внутренними галлюцинациями, противоречащими исходному контексту. Способы повысить ее: ограничение ответа контекстом в инструкции, требование цитат, самопроверка в стиле Self-RAG, где модель отмечает поддержку сегмента найденным пассажем, и отбор выдачи, как в Corrective RAG. Проверка через LLM-судью сама ошибается, поэтому ее калибруют на выборке с ручной разметкой.
Пример
Ассистент отвечает клиенту, что доставка бесплатна от пяти тысяч рублей. Проверка находит в переданном фрагменте другую сумму, помечает ответ как необоснованный и передает диалог оператору.
Связанные термины
Вопросы и ответы
Чем обоснованность отличается от правильности ответа?
Как измерить обоснованность ответов?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений