ММООЗЗГГ.ru

Разбор

Скорость нейросети в токенах в секунду: что это значит и сколько нужно вам

5 мин11 источников

Скорость нейросети в токенах в секунду показывает, сколько кусков текста модель выдает за секунду, и решает, ждет ли человек ответа. Токен это кусок слова: по данным крупного российского разработчика ИИ, у его облачной модели в одном токене в среднем 3–4 символа с пробелами, то есть страница текста в 1 800 знаков это около 450–600 токенов; у других моделей счет свой. Ниже реальные замеры на Mac и видеокартах с датами, разница между чтением запроса и генерацией ответа и правило, сколько скорости нужно для каждой задачи.

На странице · 7 разделов

Apple Silicon

Замеры сообщества llama.cpp на модели LLaMA 7B (6,74 млрд параметров) в 4-битной квантизации, таблица обновлена 25 августа 2026 года: M4 Pro с 20 ядрами GPU 50,7 токена в секунду, M4 Max с 40 ядрами 83,1, M3 Ultra с 80 ядрами 92,1, M5 Max с 40 ядрами 119,9. Обработка длинного запроса у M5 Max 3 220 токенов в секунду против 886 у M4 Max: новое поколение в 3,6 раза быстрее читает контекст. Модель 671 млрд параметров на Mac Studio M3 Ultra с 512 ГБ выдает 6,21 токена в секунду, а запрос на 8 000 токенов обрабатывает почти 15 минут.

Видеокарты

Замеры мая 2024 года на модели 8 млрд в 4-битной квантизации: RTX 4090 127,7 токена в секунду, A100 138,3, H100 144,5, M2 Ultra 76,3. Модель 70 млрд в 4 битах: две RTX 4090 19,1, A100 22,1, H100 25,0, M2 Ultra 12,1. Один пользователь на серверной карте получает немногим больше, чем на игровой; преимущество серверных карт в объеме памяти и в обработке многих параллельных запросов.

Две скорости: чтение запроса и генерация ответа

У модели две скорости. Первая: обработка запроса, когда модель читает весь контекст до первого слова ответа. Вторая: генерация, когда она пишет ответ по токену. В рекламе железа обычно приводят вторую, а пользователь чаще ждет из-за первой.

Пример на модели 7B: договор на 8 000 токенов M5 Max прочитает примерно за 2,5 секунды, M4 Max примерно за 9 секунд, и только потом начнет отвечать. На модели 671 млрд то же чтение на Mac Studio заняло 888 секунд. Для чата с короткими вопросами важна генерация, для работы с документами и для агентов важнее чтение.

Сколько нужно

Чат с человеком: по нашему практическому правилу, 15–20 токенов в секунду читаются как живой набор текста, а от 50 разница уже не заметна. Агент, который вызывает инструменты: важнее время обработки запроса, чем генерация, потому что контекст с документами перечитывается на каждом шаге; здесь M5 Max и серверные карты выигрывают. Пакетная обработка документов ночью: считайте суммарную выдачу, а не задержку. Персональный агент ИТ-руководителя банка работает на Mac со скоростью около 70 токенов в секунду.

От чего зависит скорость

Размер модели: на RTX 4090 модель на 8 млрд параметров выдает 127,7 токена в секунду, модель на 70 млрд на двух таких картах 19,1, то есть в 6,7 раза медленнее. Активные параметры: модель на 35 млрд с примерно 3 млрд активных на токен дает около 70 токенов в секунду на Mac, почти как маленькая. Число пользователей: замеры в таблицах даны для одного потока; когда запросы приходят одновременно, их или ставят в очередь, или обрабатывают пакетом на серверной карте, и тогда считают суммарную выдачу.

Отсюда правило выбора: сначала модель, которая решает задачу на ваших запросах, затем железо под нужную скорость, а не наоборот. Быстрая маленькая модель, которая ошибается, обходится дороже медленной, которая отвечает верно.

Как проверить перед покупкой

Арендовать нужную карту почасово, на 30.09.2026 от 43 ₽ в час за RTX 4090 и от 242 ₽ за H100, и прогнать свои 50 запросов, или взять у знакомых Mac с нужной памятью. Замер на своей модели и своем контексте точнее любой таблицы.

Прогон на H100 в течение двух часов обходится примерно в 500 ₽, а ошибка в выборе сервера стоит миллионы. Записывайте три числа: время до первого токена на вашем самом длинном документе, токены в секунду при ответе и сколько параллельных запросов железо держит без очереди.

Как скорость задают российские компании

Оператор связи в феврале 2026 года объявил тендер на ассистента разработчика в закрытом дата-центре и записал скорость прямо в техзадание: 15 пользователей, автодополнение с откликом не более 400 мс. Так и нужно ставить задачу подрядчику: время до первого токена, скорость генерации и число одновременных пользователей, а не абстрактное «быстро».

Сеть строительных магазинов сравнила локальную модель на 9 млрд параметров на одной видеокарте с двумя облачными: двухшаговую задачу все три решили за 32–36 секунд. Банк держит собственные модели в своем периметре, они решают около 45% обращений клиентов без оператора: на таком потоке скорость считают по суммарной выдаче сервера, а не по одному диалогу.

Вопросы и ответы

Почему при длинном документе модель долго думает перед ответом?

Это обработка запроса: модель читает весь контекст перед первым токеном. На Mac Studio M3 Ultra запрос на 8 000 токенов к модели 671 млрд занял 888 секунд. На модели 7B у M5 Max тот же объем читается примерно за 2,5 секунды.

Сколько токенов в секунду нужно для чата с сотрудниками?

По нашему практическому правилу, 15–20 токенов в секунду читаются как живой набор текста, а от 50 разница уже не заметна. Это скорость на одного человека: если в пике пишут десять сотрудников сразу, железо должно держать ее для всех.

Сколько ждать ответа на страницу текста?

Страница в 1 800 знаков это около 450–600 токенов. При 20 токенах в секунду ответ печатается 23–30 секунд, при 100 токенах в секунду 5–6 секунд. К этому добавляется время чтения запроса.

Почему серверная карта почти не быстрее игровой?

Для одного пользователя H100 выдает на модели 8 млрд 144,5 токена в секунду, RTX 4090 127,7, разница около 13%. Серверную карту покупают за объем памяти и за параллельную обработку многих запросов. Если пользователь один, переплата не окупается скоростью.

Источники и проверка

Проверено редакцией 29 сентября 2026.

  1. llama.cpp, производительность на Apple Silicon, таблица обновлена 25.08.2026 (github.com)
  2. GPU-Benchmarks-on-LLM-Inference, Llama 3 8B и 70B, май 2024 (github.com)
  3. Hardware Corner, DeepSeek 671B на Mac Studio M3 Ultra 512 ГБ, 27.03.2025 (hardware-corner.net)
  4. Tproger, облачные GPU для ML в 2026 году, 21.05.2026 (tproger.ru)
  5. Sber Developers, подсчет токенов GigaChat: в среднем 3–4 символа на токен, 17.07.2026 (developers.sber.ru)
  6. GPU Индекс, аренда RTX 4090 в России: 173 предложения, от 31,75 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  7. GPU Индекс, аренда H100 в России: 41 предложение, от 242 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  8. Цифровые платформы, кейс №2447, октябрь 2025: Т-Банк (platforms.su)
  9. Цифровые платформы, кейс №4067, 2 сентября 2026: Альфа-Банк, ИТ-руководитель (platforms.su)
  10. Цифровые платформы, кейс №3148, февраль 2026: Т2 (Tele2), тендер на ИИ-ассистента разработчика (platforms.su)
  11. Цифровые платформы, кейс №4085, 2 сентября 2026: Петрович-Тех, локальная модель 9 млрд против облачных (platforms.su)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин

Кейсы по теме: 3

  • Кейс рынка · Россия

    Т-Банк собственные LLM решают 45% обращений, по оценке затраты на поддержку ниже минимум на 25% в год

    Банк встроил в чат-бот собственные языковые модели семейства Gen-T: около 45% обращений клиентов решаются без оператора. В октябре 2025 года запущены ИИ-копайлоты для операторов первой линии, ими ежедневно пользуются более 90% сотрудников поддержки. Модели развернуты в периметре банка, данные вовне не передаются.

    Банки и финансы

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Т-Технологии ИИ-ассистент для задач с деньгами на собственных моделях Gen-T, бета с 20 июля 2026

    Группа разработала ИИ-ассистента для задач, связанных с деньгами и покупками, на собственных больших языковых моделях семейства Gen-T. Чтобы избежать выдумок, система опирается на верифицированные источники данных, а не только на знания модели. Бета представлена 20 июля 2026 года, полноценный запуск запланирован на осень.

    Банки и финансы

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Альфа-Банк, ИТ-руководитель локальный агент на модели Qwen 3.6-35B-A3B: около 70 токенов в секунду на Mac

    Автономный рабочий агент работает на локально развернутой модели с 35 млрд параметров и примерно 3 млрд активных на токен через LM Studio, скорость около 70 токенов в секунду на Mac. Сначала агент запускался в Docker на Mac, затем переехал на виртуальную машину, что стало переломным моментом по удобству.

    Банки и финансы

    2 сентября 2026 · источник: platforms.su

    Читать кейс
Написать в Telegram