Словарь ИИ
Что такое токены в секунду
Коротко
Токены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду.
Инфраструктура · tokens per second
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты пишешь диктант. Один ученик успевает записать по слову в секунду, другой по три слова. Второй закончит раньше, и учитель быстрее увидит весь текст. Умный помощник тоже пишет ответ по кусочкам, один за другим. Если он пишет быстро, ответ появляется почти сразу. Если медленно, приходится ждать, будто кто-то печатает одним пальцем.
Простыми словами
Нейросеть не выдает ответ целиком, а пишет его по токенам, кусочкам слов. Скорость этого письма и меряют в таких кусочках за секунду. Если она низкая, текст ползет по экрану, и длинный отчет приходится ждать минутами. Скорость зависит от размера модели, видеокарты и того, сколько людей пользуются системой одновременно. Есть и вторая цифра: сколько ждать до первого слова ответа. Например, одна и та же модель на мощном сервере и на ноутбуке пишет письмо с разной скоростью, хотя текст получается одинаковый.
Для бизнеса
От этой цифры зависит, сколько сотрудников или клиентов одна видеокарта обслужит без очереди. Различайте две скорости: как быстро идет ответ для одного человека и сколько токенов система выдает суммарно для всех. С ростом числа одновременных запросов общая производительность растет, пока карта не загружена полностью, а скорость для каждого падает. Поэтому паспортные цифры для одного пользователя мало говорят о работе отдела в сто человек. Для чата важнее время до первого токена, для пакетной обработки документов общая производительность. Цена ответа тоже связана со скоростью: чем больше токенов сервер выдает за час, тем дешевле каждый. Скорость измеряют на ваших запросах и с вашим числом пользователей на тестовом стенде.
Для специалиста
Метрика tokens per second (TPS) описывает пропускную способность генерации и бывает двух видов. По определениям документации NVIDIA NIM для бенчмаркинга LLM, системная TPS это суммарное число выходных токенов всех одновременных запросов, деленное на время от первого запроса до последнего ответа, а TPS на пользователя это длина ответа, деленная на сквозную задержку запроса. Рядом стоят время до первого токена (time to first token, TTFT), межтокенная задержка (inter-token latency, ITL, она же TPOT) и запросы в секунду. При росте конкурентности системная TPS растет до насыщения GPU, а затем может снижаться, TPS на пользователя при этом падает. Декодирование одного потока обычно упирается в пропускную способность памяти, ведь на каждый токен веса читаются заново; поэтому квантизация и спекулятивное декодирование поднимают скорость, а префилл длинного промпта увеличивает TTFT.
Пример
Компания выбирает сервер для ассистента юристов. На тесте с одним пользователем модель пишет быстро, но при двадцати одновременных запросах ответ каждому замедляется в несколько раз. Команда добавляет вторую видеокарту, чтобы ожидание осталось терпимым.
Связанные термины
Вопросы и ответы
Сколько токенов в секунду нужно для комфортной работы?
Почему скорость падает, когда пользователей много?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений