Словарь ИИ
Что такое энкодер
Коротко
Энкодер это часть нейросети, которая читает входные данные целиком и превращает их в набор чисел, удобный для поиска, сравнения или дальнейшей генерации.
Языковые модели · encoder
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что ты прочитал длинную книгу и рассказываешь другу ее суть в трех предложениях. Друг книгу не открывал, но по твоему пересказу понимает, о чем она, и решает, интересна ли она ему. В нейросети есть часть, которая делает такой пересказ, только не словами, а секретным списком чисел, понятным другим частям сети.
Простыми словами
Энкодер получает текст, картинку или звук и прочитывает их полностью, учитывая каждое слово в связи со всеми остальными, и слева, и справа. На выходе получается набор чисел, в котором сжат смысл. Дальше с этими числами работают другие программы: сравнивают два вопроса клиентов и понимают, что они об одном и том же, относят письмо к нужной категории, ищут похожий документ. Сам он новый текст не пишет. Например, поиск по базе знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. находит инструкцию «Как оформить возврат» по запросу «хочу вернуть деньги», потому что кодировщик выдал для них близкие числа.
Для бизнеса
Такие модели почти незаметны, но на них держатся поиск по документам, классификация обращений и проверка дублей. Они заметно меньше чат-моделейчат-модель. Чат-модель это языковая модель, дообученная вести диалог: она понимает роли собеседников, следует инструкциям и отвечает на реплики, а не просто продолжает текст., работают на обычном сервере и отвечают за доли секунды, поэтому их выгодно ставить внутри компании: тексты не покидают контур, а стоимость запроса близка к нулю. Слабое место в языке: модель, обученная в основном на английских текстах, хуже различает смысл русских формулировок и отраслевых терминов. Перед запуском поиска соберите сотню реальных запросов сотрудников с правильными ответами и посчитайте, как часто нужный документ попадает в первую тройку. Такую проверку делают до выбора модели для ИИ-ассистентаИИ-ассистент. ИИ-ассистент это помощник на нейросети, который по просьбе человека отвечает на вопросы, готовит тексты и выполняет простые поручения в рабочих программах. по документам.
Для специалиста
Энкодер (encoder) отображает входную последовательность в последовательность скрытых представлений (hidden states). В схеме кодировщик-декодер (encoder-decoder) Cho и соавторов (2014) одна рекуррентная сетьрекуррентная нейросеть. Рекуррентная нейросеть (RNN) это нейросеть, которая читает данные по одному элементу и хранит внутреннюю память о прочитанном, поэтому подходит для текста, речи и рядов чисел. сжимала фразу в вектор фиксированной длины, а вторая разворачивала его в выходную последовательность. В трансформере Vaswani и соавторов (2017) энкодер состоит из слоев самовнимания без маски: каждый токентокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. видит весь контекст в обе стороны. Класс моделей только из энкодера (encoder-only) представляет BERT (Devlin и соавторы, 2018): предобучение маскированным языковым моделированием (masked language modeling), при котором скрывают 15% токенов и учат их восстанавливать; BERT-base содержит 110 млн параметров. Такие модели дообучают для классификации, извлечения сущностей и ранжирования, с контрастным обучением из них получают эмбеддинг-модели, а кросс-энкодеры (cross-encoders) оценивают пару «запрос и документ» для переранжирования. Генерировать связный текст они не умеют, поэтому для ответа их соединяют с декодером.
Не путать. Не путать с энкодером в станках и двигателях: там так называют датчик угла поворота вала.
Пример
Служба поддержки получает тысячу писем в день. Небольшая модель-энкодер за доли секунды относит каждое к теме «доставка», «возврат» или «оплата», и письмо сразу попадает к нужному сотруднику.
Связанные термины
Вопросы и ответы
Чем энкодер отличается от декодера?
Источники
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений