Словарь ИИ

Что такое кросс-энкодер

Коротко

Кросс-энкодер это модель, которая читает вопрос и документ вместе, одним текстом, и выдает одно число: насколько документ отвечает на вопрос.

Поиск и RAG · cross-encoder

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Учительница проверяет, подходит ли ответ к вопросу. Можно отдельно глянуть на вопрос и отдельно на ответ. А можно положить их рядом и прочитать вместе, слово за словом. Второй способ дольше, зато ошибок меньше. Кросс-энкодер всегда читает вопрос и ответ рядом, поэтому хорошо понимает, подходят ли они друг другу.

Простыми словами

Есть два способа сравнить вопрос с текстом. Можно отдельно превратить каждый в числа и сравнить числа: это быстро. А можно склеить вопрос и текст в одну строку и дать модели прочитать их вместе. Так она видит, как каждое слово вопроса связано с каждым словом текста, и замечает тонкости: «можно вернуть» и «нельзя вернуть» для нее разные вещи. Это точнее, но на каждую пару нужен свой прогон. Поэтому такая модель не ищет по всей базе, а пересортировывает несколько десятков уже найденных фрагментов.

Для бизнеса

Эту модель ставят вторым шагом поиска, когда ассистент находит почти то, что нужно, но отвечает по соседнему пункту. Вычисления идут на каждую пару «вопрос и фрагмент», поэтому сортируют не всю базу, а несколько десятков кандидатов, и задержка ответа растет в зависимости от оборудования. Открытые модели работают на своем сервере, облачные берут плату за запросы. Проверьте, учили ли модель на русских текстах: с отраслевой лексикой англоязычные варианты справляются слабее. Эффект измеряют простым сравнением: доля правильных фрагментов в первой пятерке до и после. Такой замер удобно заложить в план пилота.

Для специалиста

Кросс-энкодер (cross-encoder) кодирует пару последовательностей совместно: запрос и документ подаются в трансформер одной строкой через разделитель, полное самовнимание (self-attention) работает по обеим частям, а классификационная голова выдает оценку релевантности. Обе схемы сравнили Humeau и др. (2019) в работе о поли-энкодерах: авторы отмечают, что кросс-энкодер обычно точнее, но слишком медленный для практического применения, а поли-энкодер занимает промежуточное положение. Классический пример: BERT как переранжировщик пассажей у Nogueira и Cho (2019), превзошедший прежний результат на MS MARCO на 27% по MRR@10 (относительный прирост). Стоимость линейна по числу кандидатов, а представления документов нельзя посчитать заранее, поэтому модель ставят на втором этапе после BM25 или би-энкодера. Кросс-энкодер также служит учителем: его оценками размечают пары для дистилляции в быстрые би-энкодеры.

Пример

Поиск по базе знаний вернул три десятка фрагментов на вопрос о возврате товара без чека. Кросс-энкодер поднимает наверх пункт правил именно об этом случае, а общие слова о возвратах уходят вниз.

Связанные термины

Вопросы и ответы

Чем кросс-энкодер отличается от би-энкодера?

Би-энкодер превращает вопрос и документ в векторы по отдельности, поэтому работает быстро. Кросс-энкодер читает их вместе и точнее оценивает связь, но медленнее, поэтому его применяют только к короткому списку кандидатов.

Кросс-энкодер и реранкер это одно и то же?

Чаще всего реранкер устроен как кросс-энкодер. Но в роли реранкера может работать и большая языковая модель, а кросс-энкодер применяют и в других задачах, например для разметки пар.

Источники

Где это применяют в компании

Пилот ИИ-агента с заранее заданной метрикой

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений