Словарь ИИ

Что такое Attention Is All You Need

Коротко

Attention Is All You Need это научная статья 2017 года, в которой восемь авторов предложили архитектуру трансформер, ставшую основой современных языковых моделей.

История ИИ · Attention Is All You Need

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты читаешь сказку и, встретив слово «она», сразу понимаешь, что речь о принцессе, а не о карете. Раньше компьютер читал строчку за строчкой и забывал начало. Несколько ученых написали работу, где предложили смотреть на все слова сразу и замечать, какие из них связаны. Эта идея помогла сделать помощников, которые пишут и переводят тексты.

Простыми словами

Это название научной работы, а не программы. В 2017 году исследователи предложили собрать модель для перевода целиком из механизма внимания: каждое слово само решает, на какие слова фразы ему смотреть. До этого тексты обрабатывали рекуррентные сети, которые читали по одному слову и плохо делили работу между вычислителями. Новая схема, трансформер, быстрее обучалась и переводила точнее. Через несколько лет на ней построили модели, которые отвечают в чатах, пишут код и пересказывают документы. Отсюда и слава названия: с него начинается родословная почти всех современных чат-ботов.

Для бизнеса

Руководителю эта статья важна не формулами, а последствиями. Предложенная в ней схема стала общим стандартом отрасли, поэтому модели разных разработчиков похожи по устройству, а программы для их запуска и настройки подходят ко многим из них. Отсюда меньше зависимости от поставщика: модель можно сменить, не переписывая весь проект. Ограничения пришли из той же работы. Внимание сопоставляет каждое слово с каждым, поэтому длинные документы обрабатываются дольше и дороже, а свой сервер требует видеокарты с большой памятью. Эти особенности учитывают, когда решают, где запускать модель: в облаке или на своем оборудовании.

Для специалиста

Статья Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser и Polosukhin выложена на arXiv 12 июня 2017 года и опубликована в трудах NIPS 2017 (Advances in Neural Information Processing Systems 30). Авторы отказались от рекуррентности и сверток: энкодер и декодер состоят из слоев многоголового самовнимания (multi-head self-attention) и позиционно применяемых полносвязных блоков (position-wise feed-forward), а порядок слов задает позиционное кодирование (positional encoding). Без последовательного прохода по токенам обучение хорошо распараллеливается на GPU. На задаче WMT 2014 английский-немецкий трансформер получил 28,4 BLEU, больше чем на 2 пункта выше прежних результатов, включая ансамбли. Из этой архитектуры выросли модели только с энкодером, такие как BERT, и только с декодером, такие как GPT, а затем большие языковые модели.

Пример

Инженер выбирает модель для поиска по договорам и видит в описании «decoder-only transformer». Он понимает, что это потомок архитектуры из статьи 2017 года, и сразу проверяет, какой длины документы модель принимает и сколько памяти займет на сервере.

Связанные термины

Вопросы и ответы

Кто написал Attention Is All You Need?

Восемь исследователей: Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорайт, Ллион Джонс, Эйдан Гомес, Лукаш Кайзер и Илья Полосухин. Статья вышла на arXiv в июне 2017 года.

Что такое трансформер в этой статье?

Это архитектура нейросети, где связи между словами вычисляет механизм внимания, без рекуррентных и сверточных слоев. На ней построены почти все современные языковые модели.

Источники

Где это применяют в компании

Генеративный ИИ в работе: как научить сотрудников ставить задачу

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений