Словарь ИИ

Что такое Corrective RAG

Коротко

Corrective RAG (CRAG) это схема поиска по документам, в которой отдельная модель сначала оценивает найденное и при плохой выдаче исправляет ее: отбрасывает лишнее или ищет в других источниках.

Поиск и RAG · CRAG

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Ты пришел в библиотеку за книгой про пиратов, а библиотекарь по ошибке дал книгу про пиратские игрушки. Внимательный ученик сначала пролистает ее и поймет, что это не то. Тогда он попросит другую книгу или посмотрит в энциклопедии. Corrective RAG учит компьютер так же проверять, что ему принесли, прежде чем отвечать на вопрос.

Простыми словами

Обычная схема доверяет поиску: что нашлось, то модель и читает. Если нашлось не то, ответ получится уверенным и неверным. Corrective RAG ставит между поиском и ответом проверяющего. Небольшая модель смотрит на каждый найденный фрагмент и решает, подходит ли он к вопросу. Если подходит, из него оставляют только нужные предложения. Если все мимо, система ищет в другом источнике. Если непонятно, берет и то и другое. Например, на вопрос о новом тарифе, которого еще нет в базе, ассистент не станет пересказывать старый прайс.

Для бизнеса

Схема полезна, когда база знаний неполная или устаревает быстрее, чем ее обновляют: каталоги, тарифы, изменения в законах. Проверяющая модель небольшая, поэтому добавляет немного задержки и затрат, а главный выигрыш в том, что плохая выдача не превращается в уверенный ответ. Риск в шаге с поиском в интернете: внешние сайты бывают неточными, а запрос наружу раскрывает, о чем спрашивают сотрудники. Для внутренних задач этот шаг часто заменяют поиском по второй базе или честным ответом «в документах этого нет». Пороги проверяющего подбирают на ваших вопросах, это обычная часть настройки ИИ-ассистента по документам.

Для специалиста

Corrective Retrieval Augmented Generation предложен в работе Yan, Gu, Zhu, Ling (2024) как надстройка, совместимая с разными конвейерами RAG. Легкий оценщик извлечения (retrieval evaluator) на основе T5-large, около 0,77 млрд параметров, ставит каждой паре «вопрос и документ» оценку от -1 до 1. По двум порогам выбирается действие. Correct: хотя бы один документ выше верхнего порога, и внутренние знания уточняются. Incorrect: все ниже нижнего, документы отбрасываются и заменяются результатами веб-поиска, для которого вход переписывают в запрос из ключевых слов. Ambiguous: используются оба источника. Уточнение идет алгоритмом «разложить и собрать» (decompose-then-recompose): документ делится на полоски знаний (knowledge strips) по несколько предложений, оценщик отсекает нерелевантные, остальные склеиваются по порядку. Эксперименты проведены на PopQA, Biography, PubHealth и Arc-Challenge, пороги подобраны эмпирически для каждого набора. Вариант поверх Self-RAG авторы называют Self-CRAG.

Пример

Сотрудник спрашивает о тарифе, который запустили вчера, а база знаний обновится только через неделю. Проверяющая модель видит, что найденные фрагменты описывают старые тарифы, и система вместо уверенного неверного ответа ищет на сайте компании.

Связанные термины

Вопросы и ответы

Чем Corrective RAG отличается от Self-RAG?

В Self-RAG проверки встроены в саму генерирующую модель. В Corrective RAG выдачу оценивает отдельная небольшая модель, поэтому схему можно добавить к уже работающему конвейеру.

Обязательно ли искать в интернете?

Нет. В исходной работе при плохой выдаче используется веб-поиск, но в компании его часто заменяют второй внутренней базой или ответом «в документах этого нет». Так сведения о вопросах сотрудников не уходят наружу.

Источники

Yan, Gu, Zhu, Ling, Corrective Retrieval Augmented Generation, 2024arxiv.org

Где это применяют в компании

ИИ-ассистент, который отвечает сотрудникам по документам компании

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений