Словарь ИИ
Что такое декодер
Коротко
Декодер это часть нейросети, которая создает выходную последовательность по одному элементу, каждый раз опираясь на уже написанное.
Языковые модели · decoder
Михаил МозгПроверено: 1 минута чтения
Ребенку
Помнишь игру, где каждый по очереди добавляет к истории одно слово? Ты слышишь начало и придумываешь следующее слово так, чтобы рассказ не развалился. Потом следующий игрок делает то же самое. Часть нейросети, которая пишет ответы, играет в эту игру сама с собой: слово за словом, пока история не закончится.
Простыми словами
Когда чат-бот печатает ответ, работает декодер. Он смотрит на ваш вопрос и на уже написанную часть ответа, оценивает, каким может быть следующий кусочек текста, выбирает один и добавляет в конец. Затем повторяет все снова, уже с новым кусочком. Подсматривать вперед ему запрещено: при обучении будущие слова закрыты, иначе модель научилась бы списывать. Поэтому длинный ответ пишется дольше короткого, а текст появляется на экране постепенно, а не целиком.
Для бизнеса
Почти все модели, которые пишут тексты, код и письма, построены только на декодере. Отсюда растут знакомые бизнесу свойства. Ответ оплачивается за каждый сгенерированный токен, поэтому многословность модели стоит денег. Скорость печати ограничена тем, что токены создаются один за другим, и длинные отчеты требуют времени и мощных видеокарт. Модель выбирает правдоподобное продолжение, а не проверенный факт, отсюда выдумки. Если сотрудникам нужен короткий ответ, ограничьте длину и попросите формат таблицы: это сразу снижает счет и время ожидания. Как ставить такие задачи генеративному ИИ, разбирают при обучении команды.
Для специалиста
Декодер (decoder) в трансформере Vaswani и соавторов (2017) состоит из слоев с маскированным самовниманием (masked self-attention): маска запрещает позиции смотреть на последующие и сохраняет авторегрессионное свойство (auto-regressive property). В исходной схеме кодировщик-декодер каждый слой содержит еще перекрестное внимание (cross-attention) к выходу энкодера; так устроена T5 (Raffel и соавторы, 2019), где любую задачу сводят к формату «текст на входе, текст на выходе». Модели только из декодера (decoder-only) убирают перекрестное внимание и обучаются предсказывать следующий токен (next-token prediction) на сыром тексте; так построены семейство GPT и большинство современных LLM. Генерация делится на префилл промпта и пошаговое декодирование, а KV-кэш избавляет от повторного расчета ключей и значений прошлых токенов. Выбор очередного токена из распределения задают стратегии декодирования: жадная, лучевой поиск (beam search), сэмплирование с top-k и top-p.
Не путать. Не путать с телевизионным декодером, приставкой для приема цифрового сигнала.
Пример
Менеджер просит модель написать письмо клиенту. Первое слово «Добрый» появляется почти сразу, остальные идут друг за другом: декодер выпускает по одному токену и каждый раз перечитывает все написанное.
Связанные термины
Вопросы и ответы
Почему большинство чат-моделей состоят только из декодера?
Почему ответ нейросети появляется по словам?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений