Словарь ИИ
Что такое энкодер
Коротко
Энкодер это часть нейросети, которая читает входные данные целиком и превращает их в набор чисел, удобный для поиска, сравнения или дальнейшей генерации.
Языковые модели · encoder
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты прочитал длинную книгу и рассказываешь другу ее суть в трех предложениях. Друг книгу не открывал, но по твоему пересказу понимает, о чем она, и решает, интересна ли она ему. В нейросети есть часть, которая делает такой пересказ, только не словами, а секретным списком чисел, понятным другим частям сети.
Простыми словами
Энкодер получает текст, картинку или звук и прочитывает их полностью, учитывая каждое слово в связи со всеми остальными, и слева, и справа. На выходе получается набор чисел, в котором сжат смысл. Дальше с этими числами работают другие программы: сравнивают два вопроса клиентов и понимают, что они об одном и том же, относят письмо к нужной категории, ищут похожий документ. Сам он новый текст не пишет. Например, поиск по базе знаний находит инструкцию «Как оформить возврат» по запросу «хочу вернуть деньги», потому что кодировщик выдал для них близкие числа.
Для бизнеса
Такие модели почти незаметны, но на них держатся поиск по документам, классификация обращений и проверка дублей. Они заметно меньше чат-моделей, работают на обычном сервере и отвечают за доли секунды, поэтому их выгодно ставить внутри компании: тексты не покидают контур, а стоимость запроса близка к нулю. Слабое место в языке: модель, обученная в основном на английских текстах, хуже различает смысл русских формулировок и отраслевых терминов. Перед запуском поиска соберите сотню реальных запросов сотрудников с правильными ответами и посчитайте, как часто нужный документ попадает в первую тройку. Такую проверку делают до выбора модели для ИИ-ассистента по документам.
Для специалиста
Энкодер (encoder) отображает входную последовательность в последовательность скрытых представлений (hidden states). В схеме кодировщик-декодер (encoder-decoder) Cho и соавторов (2014) одна рекуррентная сеть сжимала фразу в вектор фиксированной длины, а вторая разворачивала его в выходную последовательность. В трансформере Vaswani и соавторов (2017) энкодер состоит из слоев самовнимания без маски: каждый токен видит весь контекст в обе стороны. Класс моделей только из энкодера (encoder-only) представляет BERT (Devlin и соавторы, 2018): предобучение маскированным языковым моделированием (masked language modeling), при котором скрывают 15% токенов и учат их восстанавливать; BERT-base содержит 110 млн параметров. Такие модели дообучают для классификации, извлечения сущностей и ранжирования, с контрастным обучением из них получают эмбеддинг-модели, а кросс-энкодеры (cross-encoders) оценивают пару «запрос и документ» для переранжирования. Генерировать связный текст они не умеют, поэтому для ответа их соединяют с декодером.
Не путать. Не путать с энкодером в станках и двигателях: там так называют датчик угла поворота вала.
Пример
Служба поддержки получает тысячу писем в день. Небольшая модель-энкодер за доли секунды относит каждое к теме «доставка», «возврат» или «оплата», и письмо сразу попадает к нужному сотруднику.
Связанные термины
Вопросы и ответы
Чем энкодер отличается от декодера?
Где используют модели-энкодеры?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений