Словарь ИИ
Что такое механизм внимания
Коротко
Механизм внимания это способ, которым нейросеть для каждого слова решает, на какие другие слова текста опереться и насколько сильно.
Языковые модели · attention
Михаил МозгПроверено: 1 минута чтения
Ребенку
Когда ты читаешь сказку и встречаешь слово «он», ты оглядываешься назад и ищешь, о ком речь: о волке или о зайце. Ты будто подсвечиваешь фонариком нужное место на странице. Нейросеть делает похоже: для каждого слова она светит фонариком на другие слова и смотрит, какие помогают понять смысл.
Простыми словами
Смысл слова часто зависит от соседей. «Ключ» во фразах «ключ от двери» и «ключ бьет из-под земли» значит разное. Внимание помогает модели это различить. Для каждого слова она оценивает остальные слова текста и раздает им баллы: чем важнее сосед для понимания, тем выше балл. Потом смешивает сведения от соседей с учетом баллов, и у слова появляется описание с учетом окружения. Так повторяется много раз на разных слоях, и модель постепенно улавливает связи: кто что сделал и к чему относится местоимение.
Для бизнеса
Внимание объясняет, почему длинные запросы дороги. Каждое новое слово модель сопоставляет со всеми предыдущими, поэтому вычисления растут быстрее, чем объем текста, а память под промежуточные данные растет вместе с длиной запроса. Для компании это значит: загрузить в запрос весь архив договоров технически можно, но ответ будет медленным и дорогим, а на своем сервере понадобится больше видеопамяти. Разработчики сокращают затраты оптимизированными вариантами внимания, и при выборе программы для запуска стоит проверить, поддерживает ли она их. Карты внимания иногда подсказывают, на какие фрагменты документа опиралась модель, но полноценным объяснением решения не служат. Память под длинные документы закладывают при подборе сервера.
Для специалиста
Механизм внимания (attention) вычисляет для каждого запроса (query) взвешенную сумму значений (values), где веса получаются из сходства запроса с ключами (keys). Впервые его применили в нейронном машинном переводе Bahdanau, Cho и Bengio (2014): декодер на каждом шаге мягко искал релевантные части исходной фразы вместо сжатия ее в один вектор фиксированной длины. В трансформере (Vaswani и соавторы, 2017) используется масштабированное скалярное внимание (scaled dot-product attention): softmax(QK^T / sqrt(d_k)) V. Самовнимание (self-attention) берет Q, K и V из одной последовательности, перекрестное (cross-attention) связывает декодер с энкодером, многоголовое (multi-head) считает несколько проекций параллельно. Сложность квадратична от длины последовательности, отсюда разреженные, линейные и скользящие варианты. FlashAttention (Dao и соавторы, 2022) считает точное внимание блоками и сокращает обмен данными между медленной и быстрой памятью GPU.
Пример
ИИ-агент поддержки получает сообщение «Заказал два чехла, один пришел с браком, его можно вернуть?». Благодаря вниманию он понимает, что «его» относится к бракованному чехлу, а не ко всему заказу.
Связанные термины
Вопросы и ответы
Что значит Attention Is All You Need?
Чем самовнимание отличается от внимания?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений