Стоимость токена на своем сервере: сколько стоит миллион токенов

Токенов в месяц: скорость в токенах в секунду, умноженная на 2 592 000 секунд в месяце и на долю времени, когда модель реально генерирует. Цена миллиона: расходы в месяц из калькулятора локального ИИ, деленные на число миллионов. Скорость берите из замеров: для одного пользователя это 19–145 токенов в секунду на моделях 7–70 млрд, для пакетной выдачи на серверной карте суммарно, по нашей оценке, в десятки раз больше, и это главный рычаг.

Mac Studio M4 Max при 32 400 ₽ в месяц, модель 7 млрд (Llama 2 7B в 4 битах), 83 токена в секунду, генерация 30% времени: 64,6 млн токенов и 501 ₽ за миллион, около 5,9 доллара. Рабочая станция с RTX 5090 при 66 200 ₽ в месяц, 128 токенов в секунду по замеру RTX 4090 на модели 8 млрд (замера RTX 5090 в источниках нет), 50% времени: 165 млн токенов, 400 ₽ за миллион. Модель 70 млрд в 4 битах занимает около 38,5 ГБ и на одну RTX 5090 с 32 ГБ не помещается; станция с двумя RTX 5090 стоит около 94 900 ₽ в месяц, и при 19 токенах в секунду по замеру двух RTX 4090 это 24,8 млн токенов и 3 833 ₽ за миллион, дороже выходных токенов Opus 5.5 по 1 688 ₽. Арендованная H100 за 242 ₽ в час на модели 70 млрд при 25 токенах в секунду и 80% загрузке: 3 361 ₽ за миллион; на модели 8 млрд при 144,5 токена в секунду 581 ₽. Сервер с четырьмя H100 при 507 000 ₽ в месяц и пакетной выдаче 2 000 токенов в секунду суммарно (наше допущение) при 60% загрузке: 3,1 млрд токенов и 163 ₽ за миллион, около 2 долларов.

Один пользователь на локальной модели 7–8 млрд платит 380–500 ₽ за миллион токенов: это уровень облачных моделей среднего класса за выходные токены, Haiku 4.5 422 ₽ и GPT-5.4 mini 380 ₽, и в 9–12 раз дороже дешевых, GPT-6 Luna 42 ₽. Пакетная выдача для десятков пользователей на серверной карте опускает цену до 163 ₽ в примере с четырьмя H100, дешевле облачных моделей среднего класса за выходные токены, при полном контроле над данными. Модель 70 млрд для одного пользователя стоит 3 360–3 540 ₽ за миллион, как облачные флагманы: ее берут ради данных, а не ради цены.

Арендуйте нужную карту на час: RTX 4090 от 43 ₽, H100 от 242 ₽ в час, поставьте движок выдачи и прогоните 50 своих запросов при 1, 4 и 16 параллельных потоках: суммарная скорость при 16 потоках и есть число для калькулятора. На Mac измерьте в LM Studio: скорость показывается после каждого ответа.