Словарь ИИ
Что такое эмбеддинг в нейросети
Коротко
Эмбеддинг это список чисел, по которому компьютер понимает смысл текста или картинки и находит похожие.
Языковые модели · embedding
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь большую карту, где каждое слово живет в своем домике. Похожие слова живут рядом: «кошка» рядом с «котенком», а «машина» далеко от них. Адрес домика на этой карте и есть эмбеддинг.
Простыми словами
Компьютер не понимает смысл слов, он работает с числами. Поэтому слово, фразу или целый документ превращают в длинный список чисел. Его подбирают так, чтобы у текстов с похожим смыслом списки были похожи. Тогда компьютер может найти похожие тексты, даже если в них разные слова: «вернуть деньги» и «оформить возврат» окажутся рядом.
Для бизнеса
Эмбеддинги нужны, когда ИИ должен искать по документам компании: договорам, базе знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы., переписке. Тексты один раз превращают в эмбеддинги и кладут в векторную базу данных. На вопрос клиента система находит самые близкие по смыслу фрагменты и отдает их модели. Так работает RAG. Качество поиска зависит от выбранной эмбеддинг-модели и от того, как нарезаны документы, поэтому это проверяют на пилоте до внедрения.
Для специалиста
Эмбеддинг это отображение объекта (токена, предложения, документа, изображения) в плотный вектор фиксированной размерности, обученное так, чтобы геометрическая близость отражала семантическую. Ранние методы обучали векторы слов по контексту (word2vec, GloVe). Современные модели строят контекстные эмбеддинги трансформером и обучают их контрастными функциями потерьфункция потерь. Функция потерь это формула, которая превращает ошибку модели в одно число: чем оно меньше, тем ближе ответы модели к правильным. на парах похожих и непохожих текстов. Близость обычно считают косинусным сходством или скалярным произведением, а поиск по миллионам векторов делают приближенными методами вроде HNSWприближенный поиск соседей. Приближенный поиск соседей (ANN) это способ быстро находить в огромной базе векторы, близкие к запросу, ценой небольшой доли точности: часть настоящих ближайших соседей может не попасть в выдачу..
Пример
Запрос «как вернуть товар» и абзац договора «порядок оформления возврата» получают близкие эмбеддинги, хотя общих слов у них почти нет. Поэтому поиск находит нужный абзац.
Связанные термины
Вопросы и ответы
Источники
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений