Словарь ИИ

Термины RAG и поиска

Как ИИ находит ответ в документах компании: эмбеддинги, векторные базы, RAG и его виды, переранжирование.

Михаил МозгПроверено: 16 октября 20264 минуты чтения

Термины категории

RAGRAG это схема, в которой ИИ сначала находит нужные фрагменты в ваших документах, а потом отвечает, опираясь на них.
база знаний для ИИБаза знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы.
агентный RAGАгентный RAG это схема, в которой ИИ-агент сам решает, нужно ли искать, где искать и хватает ли найденного, и при необходимости ищет снова.
би-энкодерБи-энкодер это схема поиска, в которой вопрос и документы превращаются в векторы по отдельности, а потом сравниваются по близости чисел.
векторная база данныхВекторная база данных это хранилище, которое держит тексты, картинки и товары в виде эмбеддингов и быстро находит записи, близкие по смыслу к запросу.
векторный поискВекторный поиск это поиск по смыслу: запрос и документы переводят в наборы чисел и находят тексты, чьи числа ближе всего к запросу.
гибридный поискГибридный поиск это сочетание поиска по словам и поиска по смыслу, результаты которых объединяют в один список.
граф знанийГраф знаний это база, где факты записаны как объекты и связи между ними: «клиент заключил договор», «договор относится к проекту».
косинусное сходствоКосинусное сходство это мера близости двух векторов по углу между ними: чем меньше угол, тем выше значение и тем больше похожи тексты, которые эти векторы описывают.
кросс-энкодерКросс-энкодер это модель, которая читает вопрос и документ вместе, одним текстом, и выдает одно число: насколько документ отвечает на вопрос.
модульный RAGМодульный RAG это подход, при котором систему поиска по документам собирают из независимых блоков и переставляют их под задачу, как детали конструктора.
наивный RAGНаивный RAG это первая и простейшая схема RAG: система один раз находит похожие фрагменты документов и сразу отдает их модели для ответа.
обоснованность ответаОбоснованность ответа это свойство ответа ИИ, при котором каждое его утверждение подтверждается документами, переданными модели для ответа.
переписывание запросаПереписывание запроса это шаг поиска, на котором модель переформулирует вопрос пользователя в запрос, удобный для поисковой системы, до того как искать.
переранжированиеПереранжирование это второй этап поиска, на котором отдельная модель заново сортирует найденные фрагменты по тому, насколько точно каждый отвечает на вопрос.
приближенный поиск соседейПриближенный поиск соседей (ANN) это способ быстро находить в огромной базе векторы, близкие к запросу, ценой небольшой доли точности: часть настоящих ближайших соседей может не попасть в выдачу.
продвинутый RAGПродвинутый RAG это схема поиска по документам, в которой вопрос дорабатывают до поиска, а найденное отбирают и сортируют после него.
семантический чанкингСемантический чанкинг это нарезка документов на фрагменты по смыслу: границу ставят там, где текст переходит к новой теме, а не через фиксированное число слов.
цитирование источниковЦитирование источников это способность ИИ-системы указывать в ответе, из какого документа и какого места взято каждое утверждение, чтобы его можно было проверить.
чанкингЧанкинг это нарезка документов на небольшие фрагменты (чанки), по которым потом ищет система RAG.
эмбеддинг-модельЭмбеддинг-модель это нейросеть, которая превращает текст, картинку или другой объект в эмбеддинг, то есть набор чисел, по которому можно сравнивать смысл.
BM25BM25 это формула ранжирования для поиска по словам: она оценивает документ по тому, сколько раз в нем встречаются слова запроса, насколько эти слова редкие и какой длины сам документ.
CAGCAG (cache-augmented generation, генерация с кэшированием) это способ, при котором все нужные документы заранее загружают в контекст модели и сохраняют ее промежуточное состояние, а поиск при ответе не нужен.
Corrective RAGCorrective RAG (CRAG) это схема поиска по документам, в которой отдельная модель сначала оценивает найденное и при плохой выдаче исправляет ее: отбрасывает лишнее или ищет в других источниках.
GraphRAGGraphRAG это вариант RAG, в котором ИИ сначала строит по документам граф знаний о людях, компаниях и связях между ними, а потом отвечает по этому графу и сводкам к нему.
HyDEHyDE (Hypothetical Document Embeddings) это прием поиска, при котором модель сначала пишет примерный ответ на вопрос, а система ищет документы, похожие на этот ответ, а не на сам вопрос.
RAG-FusionRAG-Fusion это способ поиска по документам, при котором модель придумывает несколько вариантов вопроса, ищет по каждому и сводит результаты в один список.
Self-RAGSelf-RAG это метод, при котором языковая модель сама решает, нужен ли ей поиск по документам, и сама оценивает найденные фрагменты и свой ответ.

Термины категории

Все категории словаря