Словарь ИИ

Что такое HyDE

Коротко

HyDE (Hypothetical Document Embeddings) это прием поиска, при котором модель сначала пишет примерный ответ на вопрос, а система ищет документы, похожие на этот ответ, а не на сам вопрос.

Поиск и RAG · hypothetical document embeddings

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Ты ищешь в альбоме фотографию с моря, но не помнишь, где она. Тогда ты рисуешь на листке примерно то, что помнишь: песок, волны, зонтик. Потом листаешь альбом и ищешь снимок, похожий на рисунок. Рисунок может быть неточным, но он помогает найти настоящее фото. HyDE поступает с текстами так же.

Простыми словами

Короткий вопрос и длинный абзац документа написаны по-разному, поэтому поиск по смыслу не всегда их сближает. HyDE решает это обходным путем. Сначала нейросеть пишет на вопрос выдуманный ответ, похожий на страницу из справочника. Он может содержать ошибки, это не страшно. Затем этот текст переводят в числа и ищут в базе настоящие документы, близкие к нему. Находится то, что по форме и словам похоже на ответ. Например, на вопрос «как подключить кассу к учетной программе» модель пишет абзац в стиле инструкции, и поиск находит реальные разделы руководства.

Для бизнеса

Прием полезен, когда у вас нет размеченных примеров «вопрос и правильный документ» и нет времени дообучать поиск: он работает с готовыми моделями. Он задуман для коротких вопросов к длинным формальным документам. Цена: перед каждым поиском нужен вызов генеративной модели, ответ становится дороже и медленнее. Есть риск в узких темах: если модель плохо знает предмет, выдуманный ответ уводит поиск в сторону, а при ошибке в терминах находятся не те документы. Выдуманный текст пользователю не показывают, он нужен только для поиска. Стоит ли такая надбавка к задержке, проверяют на наборе реальных обращений до запуска ассистента.

Для специалиста

HyDE (Hypothetical Document Embeddings) предложен Gao, Ma, Lin, Callan (2022) для плотного поиска без размеченных пар релевантности (zero-shot dense retrieval). Конвейер из двух шагов. Генеративная модель, следующая инструкциям (в статье пример InstructGPT), по запросу пишет гипотетический документ: он может содержать фактические ошибки, но передает шаблон релевантности. Затем энкодер, обученный без учителя контрастным способом (пример Contriever), кодирует этот документ, и поиск идет по близости его вектора к векторам корпуса. По замыслу авторов, плотное узкое место энкодера отфильтровывает лишние детали выдуманного текста. По их данным, HyDE заметно превосходит Contriever и сопоставим с дообученными ретриверами на веб-поиске, вопросно-ответных задачах, проверке фактов и на нескольких языках. В статье генерируют N гипотетических документов и усредняют их векторы, в одном из вариантов вместе с вектором самого запроса. Прием относится к оптимизации запроса до извлечения, рядом с переписыванием и расширением запроса.

Пример

Клиент пишет «касса не видит учетку». Модель сочиняет абзац в стиле инструкции о настройке обмена между кассой и учетной программой, и поиск находит нужный раздел руководства, хотя слов клиента в нем нет.

Связанные термины

Вопросы и ответы

Почему HyDE работает, если выдуманный ответ может быть неверным?

Для поиска важна не точность фактов, а форма и словарь текста. Выдуманный ответ похож на настоящие документы по стилю и терминам, поэтому его вектор оказывается ближе к ним, чем вектор короткого вопроса.

Когда HyDE не стоит применять?

Когда модель плохо знает тему и выдумывает не те термины, а также когда важна каждая доля секунды. Каждый поиск требует дополнительного вызова генеративной модели.

Источники

Gao, Ma, Lin, Callan, Precise Zero-Shot Dense Retrieval without Relevance Labels, 2022arxiv.org

Где это применяют в компании

ИИ-агент поддержки, который отвечает клиентам по базе знаний

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений