Словарь ИИ
Что такое латентность
Коротко
Латентность это задержка между запросом к модели и ответом: сколько ждать первого слова и сколько времени уходит на весь ответ.
Языковые модели · latency
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Ты спрашиваешь у мамы, что будет на ужин, и она отвечает не сразу: сначала думает, потом начинает говорить. Время от твоего вопроса до первого ее слова и есть задержка. Если ждать приходится долго, кажется, что тебя не услышали. Взрослые очень стараются, чтобы компьютерные помощники отвечали быстро, без таких пауз.
Простыми словами
Когда вы пишете вопрос чат-ботучат-бот. Чат-бот это программа, которая переписывается с человеком в окне чата: на сайте, в мессенджере или в приложении., проходит время, прежде чем появится первое слово, а потом еще время, пока допечатается весь ответ. Эти паузы и называют латентностью. Она складывается из нескольких частей: дорога запроса до сервера, ожидание в очереди, чтение вашего текста моделью и печать ответа по кусочку. Длинный вопрос дольше читается, длинный ответ дольше печатается. В текстовом чате пауза в пару секунд терпима, а в телефонном разговоре с голосовым роботом даже секундное молчание звучит неловко.
Для бизнеса
Для клиентских сценариев скорость ответа так же важна, как его точность. Голосовой агентголосовой агент. Голосовой агент это ИИ-агент, который ведет телефонный разговор: слышит собеседника, понимает задачу, выполняет действия в системах компании и отвечает голосом. с долгой паузой раздражает звонящего, чат на сайте с долгим ожиданием теряет посетителя. Задержка зависит от размера модели, длины промптапромпт. Промпт это текст, которым вы ставите задачу нейросети: вопрос, инструкция, примеры и данные, по которым она пишет ответ. и ответа, загрузки сервера и расстояния до дата-центра: зарубежное облако добавляет время на дорогу. Сократить ее помогают модель поменьше для простых шагов, короткие инструкции, потоковая выдача ответа по мере генерации и кэширование повторяющегося начала промпта. Измеряйте не среднее значение, а хвост распределения: медленный каждый двадцатый ответ заметнее, чем быстрые остальные. Требования к скорости закладывают в задание на голосового агента и проверяют под нагрузкой.
Для специалиста
Латентность (latency) LLM-сервиса раскладывают на метрики. Время до первого токенатокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. (time to first token, TTFT) в определении NVIDIA включает ожидание в очереди, префилл (prefill) промпта и сетевую задержку. Межтокенная задержка (inter-token latency, ITL), она же время на выходной токен (TPOT), отражает только фазу декодирования. Сквозная задержка запроса равна TTFT плюс время генерации. Префилл упирается в вычисления и растет с длиной промпта, декодирование упирается в пропускную способность памяти: на каждом шаге читаются веса моделипараметры модели. Параметры модели это числа внутри нейросети, которые она подбирает при обучении и по которым потом вычисляет каждый ответ. и KV-кэш. Задержка конкурирует с пропускной способностью (throughput): крупный батч повышает число токенов в секунду на сервер, но удлиняет ответ каждому пользователю. Снижают ее квантизацией, спекулятивным декодированием (speculative decoding), групповым вниманием, кэшированием префиксов и разнесением префилла и декодирования на разные узлы. В отчетах приводят перцентили p50, p95 и p99, а не среднее.
Не путать. Не путать с латентным пространством (latent space), то есть внутренними представлениями модели: это другое понятие.
Пример
Голосовой агент клиники отвечал с заметной паузой, и пациенты переспрашивали. После перехода на модель поменьше и потоковую выдачу речи первое слово стало звучать раньше, и разговор пошел естественнее.
Связанные термины
Вопросы и ответы
Источники
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений