Словарь ИИ

Что такое трансформер

Коротко

Трансформер это архитектура нейросети, которая читает весь текст сразу и с помощью механизма внимания решает, какие слова важны для понимания каждого слова.

Языковые модели · transformer

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь класс, где учительница задает вопрос, и каждый ученик может сразу посмотреть на всех одноклассников, а не только на соседа по парте. Так легче понять, кто знает ответ и кому помочь. Нейросеть, устроенная по этому правилу, видит все слова предложения одновременно и замечает, какие из них дружат друг с другом.

Простыми словами

Раньше нейросети читали текст как человек вслух: слово за словом, и к концу длинного абзаца начало забывалось. Трансформер работает иначе. Он смотрит на все слова сразу и для каждого вычисляет, на какие другие стоит обратить внимание. В предложении «Кошка не запрыгнула на шкаф, потому что он был высоким» он связывает «он» со шкафом. Такую схему удобно раскладывать на множество параллельных вычислений видеокарты, поэтому на ней удалось обучить огромные модели. По этой схеме устроены почти все современные чат-боты и переводчики.

Для бизнеса

Почти все языковые модели, которые компании подключают по API или ставят на свои серверы, построены по этой архитектуре. Для бизнеса отсюда следуют практичные вещи. Стоимость и время ответа растут с длиной запроса, потому что модель сопоставляет каждый токен с каждым. Работа требует видеокарт с большим объемом памяти, на обычных процессорах крупная модель отвечает слишком медленно. Плюс общей архитектуры в том, что инструменты запуска, сжатия и дообучения взаимозаменяемы, и модель одного разработчика несложно заменить другой. При выборе сервера и модели эти ограничения разбирают заранее, их учитывают в карте ИИ-решений.

Для специалиста

Трансформер (Transformer) предложили Vaswani и соавторы в статье «Attention Is All You Need» (2017): архитектура полностью отказалась от рекуррентных и сверточных слоев в пользу внимания. Исходная модель состоит из энкодера и декодера, каждый слой включает многоголовое самовнимание (multi-head self-attention), полносвязный блок (feed-forward), остаточные связи и нормализацию слоя (layer normalization). Порядок токенов передается позиционным кодированием. На переводе WMT 2014 английский-французский модель получила 41,8 BLEU после 3,5 дня обучения на восьми GPU. Позже сложились три семейства: только энкодер, как BERT (Devlin и соавторы, 2018), для понимания текста; только декодер, как GPT и большинство чат-моделей, для генерации; энкодер-декодер для преобразования текста. Современные варианты добавляют вращательные позиционные кодировки (RoPE), групповое внимание (grouped-query attention), смеси экспертов и нормализацию RMSNorm.

Не путать. Не путать с электрическим трансформатором и с роботами-трансформерами из мультфильмов.

Пример

Онлайн-переводчик получает фразу «Банк одобрил кредит, потому что он проверил доходы» и правильно понимает, что «он» относится к банку. За это отвечает внимание внутри трансформера.

Связанные термины

Вопросы и ответы

Почему архитектура называется трансформер?

Авторы статьи 2017 года, где модель впервые описана, происхождение названия не объясняют. Обычно его связывают с задачей модели: она преобразует, то есть трансформирует, одну последовательность в другую, например фразу на английском во фразу на русском.

Чем трансформер отличается от рекуррентной нейросети?

Рекуррентная сеть читает текст по одному слову и передает память дальше по цепочке, поэтому медленно учится и забывает начало. Трансформер обрабатывает все слова параллельно и напрямую связывает любые два из них через внимание.

Источники

Где это применяют в компании

Генеративный ИИ в работе: как сотрудникам ставить задачу

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений