Apple Silicon
Замеры сообщества llama.cpp на модели LLaMA 7B (6,74 млрд параметров) в 4-битной квантизацииквантизация. Квантизация это сжатие нейросети, при котором ее числа хранят с меньшей точностью, чтобы модель занимала меньше памяти и работала быстрее., таблица обновлена 25 августа 2026 года: M4 Pro с 20 ядрами GPU 50,7 токена в секундутокены в секунду. Токены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду., M4 Max с 40 ядрами 83,1, M3 Ultra с 80 ядрами 92,1, M5 Max с 40 ядрами 119,9. Обработка длинного запроса у M5 Max 3 220 токенов в секунду против 886 у M4 Max: новое поколение в 3,6 раза быстрее читает контекст. Модель 671 млрд параметров на Mac Studio M3 Ultra с 512 ГБ выдает 6,21 токена в секунду, а запрос на 8 000 токенов обрабатывает почти 15 минут.
Видеокарты
Замеры мая 2024 года на модели 8 млрд в 4-битной квантизации: RTX 4090 127,7 токена в секунду, A100 138,3, H100 144,5, M2 Ultra 76,3. Модель 70 млрд в 4 битах: две RTX 4090 19,1, A100 22,1, H100 25,0, M2 Ultra 12,1. Один пользователь на серверной карте получает немногим больше, чем на игровой; преимущество серверных карт в объеме памяти и в обработке многих параллельных запросов.
Две скорости: чтение запроса и генерация ответа
У модели две скорости. Первая: обработка запроса, когда модель читает весь контекст до первого слова ответа. Вторая: генерация, когда она пишет ответ по токену. В рекламе железа обычно приводят вторую, а пользователь чаще ждет из-за первой.
Пример на модели 7B: договор на 8 000 токенов M5 Max прочитает примерно за 2,5 секунды, M4 Max примерно за 9 секунд, и только потом начнет отвечать. На модели 671 млрд то же чтение на Mac Studio заняло 888 секунд. Для чата с короткими вопросами важна генерация, для работы с документами и для агентов важнее чтение.
Сколько нужно
Чат с человеком: по нашему практическому правилу, 15–20 токенов в секунду читаются как живой набор текста, а от 50 разница уже не заметна. Агент, который вызывает инструменты: важнее время обработки запроса, чем генерация, потому что контекст с документами перечитывается на каждом шаге; здесь M5 Max и серверные карты выигрывают. Пакетная обработка документов ночью: считайте суммарную выдачу, а не задержку. Персональный агент ИТ-руководителя банка работает на Mac со скоростью около 70 токенов в секунду.
От чего зависит скорость
Размер модели: на RTX 4090 модель на 8 млрд параметров выдает 127,7 токена в секунду, модель на 70 млрд на двух таких картах 19,1, то есть в 6,7 раза медленнее. Активные параметры: модель на 35 млрд с примерно 3 млрд активных на токен дает около 70 токенов в секунду на Mac, почти как маленькая. Число пользователей: замеры в таблицах даны для одного потока; когда запросы приходят одновременно, их или ставят в очередь, или обрабатывают пакетом на серверной карте, и тогда считают суммарную выдачу.
Отсюда правило выбора: сначала модель, которая решает задачу на ваших запросах, затем железо под нужную скорость, а не наоборот. Быстрая маленькая модель, которая ошибается, обходится дороже медленной, которая отвечает верно.
Как проверить перед покупкой
Арендовать нужную карту почасово, на 30.09.2026 от 43 ₽ в час за RTX 4090 и от 242 ₽ за H100, и прогнать свои 50 запросов, или взять у знакомых Mac с нужной памятью. Замер на своей модели и своем контексте точнее любой таблицы.
Прогон на H100 в течение двух часов обходится примерно в 500 ₽, а ошибка в выборе сервера стоит миллионы. Записывайте три числа: время до первого токена на вашем самом длинном документе, токены в секунду при ответе и сколько параллельных запросов железо держит без очереди.
Как скорость задают российские компании
Оператор связи в феврале 2026 года объявил тендер на ассистента разработчика в закрытом дата-центредата-центр для ИИ. Дата-центр для ИИ это здание с тысячами серверов на видеокартах и других ускорителях, мощным электропитанием и охлаждением, где обучают и запускают нейросети. и записал скорость прямо в техзадание: 15 пользователей, автодополнение с откликом не более 400 мс. Так и нужно ставить задачу подрядчику: время до первого токена, скорость генерации и число одновременных пользователей, а не абстрактное «быстро».
Сеть строительных магазинов сравнила локальную модельлокальная модель. Локальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят. на 9 млрд параметров на одной видеокарте с двумя облачными: двухшаговую задачу все три решили за 32–36 секунд. Банк держит собственные модели в своем периметре, они решают около 45% обращений клиентов без оператора: на таком потоке скорость считают по суммарной выдаче сервера, а не по одному диалогу.