Словарь ИИ
Что такое латентность
Коротко
Латентность это задержка между запросом к модели и ответом: сколько ждать первого слова и сколько времени уходит на весь ответ.
Языковые модели · latency
Михаил МозгПроверено: 1 минута чтения
Ребенку
Ты спрашиваешь у мамы, что будет на ужин, и она отвечает не сразу: сначала думает, потом начинает говорить. Время от твоего вопроса до первого ее слова и есть задержка. Если ждать приходится долго, кажется, что тебя не услышали. Взрослые очень стараются, чтобы компьютерные помощники отвечали быстро, без таких пауз.
Простыми словами
Когда вы пишете вопрос чат-боту, проходит время, прежде чем появится первое слово, а потом еще время, пока допечатается весь ответ. Эти паузы и называют латентностью. Она складывается из нескольких частей: дорога запроса до сервера, ожидание в очереди, чтение вашего текста моделью и печать ответа по кусочку. Длинный вопрос дольше читается, длинный ответ дольше печатается. В текстовом чате пауза в пару секунд терпима, а в телефонном разговоре с голосовым роботом даже секундное молчание звучит неловко.
Для бизнеса
Для клиентских сценариев скорость ответа так же важна, как его точность. Голосовой агент с долгой паузой раздражает звонящего, чат на сайте с долгим ожиданием теряет посетителя. Задержка зависит от размера модели, длины промпта и ответа, загрузки сервера и расстояния до дата-центра: зарубежное облако добавляет время на дорогу. Сократить ее помогают модель поменьше для простых шагов, короткие инструкции, потоковая выдача ответа по мере генерации и кэширование повторяющегося начала промпта. Измеряйте не среднее значение, а хвост распределения: медленный каждый двадцатый ответ заметнее, чем быстрые остальные. Требования к скорости закладывают в задание на голосового агента и проверяют под нагрузкой.
Для специалиста
Латентность (latency) LLM-сервиса раскладывают на метрики. Время до первого токена (time to first token, TTFT) в определении NVIDIA включает ожидание в очереди, префилл (prefill) промпта и сетевую задержку. Межтокенная задержка (inter-token latency, ITL), она же время на выходной токен (TPOT), отражает только фазу декодирования. Сквозная задержка запроса равна TTFT плюс время генерации. Префилл упирается в вычисления и растет с длиной промпта, декодирование упирается в пропускную способность памяти: на каждом шаге читаются веса модели и KV-кэш. Задержка конкурирует с пропускной способностью (throughput): крупный батч повышает число токенов в секунду на сервер, но удлиняет ответ каждому пользователю. Снижают ее квантизацией, спекулятивным декодированием (speculative decoding), групповым вниманием, кэшированием префиксов и разнесением префилла и декодирования на разные узлы. В отчетах приводят перцентили p50, p95 и p99, а не среднее.
Не путать. Не путать с латентным пространством (latent space), то есть внутренними представлениями модели: это другое понятие.
Пример
Голосовой агент клиники отвечал с заметной паузой, и пациенты переспрашивали. После перехода на модель поменьше и потоковую выдачу речи первое слово стало звучать раньше, и разговор пошел естественнее.
Связанные термины
Вопросы и ответы
Что такое латентность нейросети?
Как уменьшить задержку ответа ИИ?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений