Словарь ИИ

Кто такой Ашиш Васвани

Коротко

Ашиш Васвани это исследователь, первый автор статьи «Attention Is All You Need» 2017 года, где описан трансформер.

Люди · Ashish Vaswani

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Когда ты читаешь сказку, то понимаешь, кто такой «он» в конце предложения, потому что мысленно смотришь назад на нужные слова. Ашиш Васвани вместе с другими исследователями научил компьютер делать так же: замечать, какие слова в тексте связаны друг с другом. Эта идея стала основой программ, которые сегодня переводят, пишут и отвечают на вопросы.

Простыми словами

Васвани работал в команде Google Brain и в 2017 году вместе с семью соавторами выпустил статью «Attention Is All You Need», то есть «Внимание это все, что вам нужно». В ней описан трансформер: нейросеть, которая обрабатывает все слова предложения сразу и для каждого слова решает, на какие другие слова обратить внимание. Прежние модели читали текст по одному слову, и это было медленно. Трансформер быстрее учится и точнее держит смысл длинных фраз. Когда переводчик в телефоне правильно согласует слова в длинном предложении, он опирается на эту идею.

Для бизнеса

Почти все языковые модели, которые компании подключают сегодня, от чат-ботов поддержки до поиска по документам, построены на трансформере из статьи Васвани и соавторов. Для руководителя отсюда следуют практические вещи. Цена работы модели зависит от длины текста в токенах: механизм внимания сравнивает слова попарно, поэтому длинные документы обходятся дороже и обрабатываются дольше. Архитектура описана публично, поэтому похожие модели выпускают многие разработчики, и у компании есть выбор между облачным сервисом и открытой моделью на своем сервере. Риск в том, что модель уверенно ошибается, если ей не дать нужных данных. Как устроены слои ИИ в компании, от данных до действий, объяснено на отдельной странице.

Для специалиста

Статья «Attention Is All You Need» (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin) отправлена на arXiv 12 июня 2017 года и вошла в труды NIPS 2017 (Advances in Neural Information Processing Systems 30). Васвани указан с аффилиацией Google Brain. В сноске авторы пишут, что вклад равный, а порядок имен случайный; Ашишу вместе с Ильей Полосухиным приписаны проектирование и реализация первых моделей трансформера. Архитектура отказывается от рекуррентных и сверточных слоев и строится только на механизме внимания (attention): кодировщик (encoder) и декодировщик (decoder) из слоев самовнимания (self-attention) и полносвязных сетей. На машинном переводе WMT 2014 модель получила 28,4 BLEU для пары английский и немецкий и 41,8 BLEU для пары английский и французский, обучение второй заняло 3,5 дня на восьми GPU. Из этой схемы выросли BERT, GPT и современные большие языковые модели (large language models, LLM).

Пример

Юрист загружает в ассистента договор на несколько десятков страниц и просит найти условия расторжения. Модель на трансформере сопоставляет пункт в конце документа с определениями в начале, поэтому отвечает со ссылкой на нужный раздел.

Хронология

2017: Первый в списке авторов статьи «Attention Is All You Need» (2017) об архитектуре трансформер; авторы указали равный вклад и случайный порядок имен.
2017: Статья вошла в труды конференции NIPS 2017 (Advances in Neural Information Processing Systems 30).

Факты проверены: 2026-10-16

Связанные термины

Вопросы и ответы

Что придумал Ашиш Васвани?

Вместе с соавторами из Google он описал трансформер, архитектуру нейросети на механизме внимания. Статья «Attention Is All You Need» вышла в 2017 году и стала основой современных языковых моделей.

Почему Васвани называют первым автором трансформера?

Его имя стоит первым в списке из восьми авторов статьи. При этом сами авторы указали, что вклад у всех равный, а порядок имен выбран случайно.

Источники

Где это применяют в компании

Как работает ИИ в компании: данные, связь систем, анализ и действие

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений