Словарь ИИ
Что такое эмбеддинг-модель
Коротко
Эмбеддинг-модель это нейросеть, которая превращает текст, картинку или другой объект в эмбеддинг, то есть набор чисел, по которому можно сравнивать смысл.
Поиск и RAG · embedding model
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь волшебную наклейщицу. Она читает любую записку и клеит на нее цветную наклейку. Записки про котиков получают похожие наклейки, про машинки совсем другие. Потом по наклейкам легко собрать все записки про котиков в одну кучку. Эмбеддинг-модель и есть такая наклейщица, только вместо цветов у нее длинные ряды чисел.
Простыми словами
Чтобы компьютер искал по смыслу, каждый кусок текста нужно перевести в числа. Этим занимается отдельная нейросеть. Она получает фразу или абзац и выдает список из сотен или тысяч чисел. Ее заранее учили на огромном количестве пар похожих и непохожих текстов, поэтому близкие по смыслу фразы получают близкие списки. Одна и та же модель обрабатывает и документы, и вопросы, иначе их нельзя сравнить. Например, «как продлить отпуск» и «перенос отпускных дней» окажутся рядом, хотя общих слов почти нет.
Для бизнеса
От этой модели зависит, найдет ли ассистент нужный документ. Выбирают ее по трем вопросам: как она понимает русский язык и вашу отрасль, где работает и сколько стоит пересчет. Облачная модель берет плату за объем текста и отправляет документы наружу; открытую можно запустить на своем сервере, и данные не покидают компанию. Смена модели означает пересчет всей базы, поэтому выбирают тщательно. Публичные рейтинги полезны как ориентир, но авторы бенчмарка MTEB сами пишут, что ни один метод не выигрывает во всех задачах. Сравните две-три модели на своих документах и вопросах. Когда база совсем маленькая, модель может не понадобиться: подходит CAG. Запуск такой модели внутри своего контура разбирают в разделе о суверенном ИИ.
Для специалиста
Эмбеддинг-модель (embedding model) это энкодер, который отображает вход в плотный вектор фиксированной размерности так, чтобы мера близости, обычно косинусное сходство, отражала смысловую связь. Для текстов распространена схема Sentence-BERT (Reimers, Gurevych, 2019): сиамская или триплетная сеть поверх предобученного трансформера с пулингом токенов (pooling). Авторы показали масштаб выигрыша: поиск наиболее похожей пары среди 10 000 предложений занимает около 65 часов у BERT, которому нужно подавать оба предложения вместе, и около 5 секунд у Sentence-BERT. Современные модели обучают контрастными функциями потерь на парах «запрос и релевантный текст» с трудными отрицательными примерами (hard negatives), часто с инструкцией-префиксом для типа задачи. Качество сравнивают на MTEB (Muennighoff и др., 2022): 8 типов задач, 58 наборов данных, 112 языков; авторы не нашли метода, который доминирует во всех задачах. Практические параметры выбора: размерность вектора, максимальная длина входа, языки, лицензия весов и скорость кодирования.
Пример
Компания сравнивает две модели на реальных вопросах сотрудников. Первая промахивается на отраслевых терминах, вторая находит нужный документ заметно чаще, и всю базу пересчитывают на второй.
Связанные термины
Вопросы и ответы
Чем эмбеддинг-модель отличается от языковой модели?
Можно ли запустить эмбеддинг-модель на своем сервере?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений