Как считает калькулятор
Веса: число параметров в миллиардах, умноженное на байты на параметр: 2 в FP16, 1 в 8-битной квантизацииквантизация. Квантизация это сжатие нейросети, при котором ее числа хранят с меньшей точностью, чтобы модель занимала меньше памяти и работала быстрее., 0,55 в 4-битной с учетом служебных данных формата. KV-кэш: длина контекста в токенахтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель., умноженная на память на токен, которая зависит от архитектуры: около 0,13 МБ для моделей на 8 млрд параметров, 0,25 МБ для 30 млрд, 0,33 МБ для 70 млрд и выше. Запас: 15% на рабочие буферы и систему, поле можно изменить. Для нескольких одновременных пользователей кэш умножается на их число.
Как читать результат
Калькулятор сначала показывает, сколько памяти нужно, затем ставит каждому варианту железа один из трех статусов. «Да» значит, что после загрузки модели остается не меньше 10% памяти: модель работает, и есть место для более длинного документа или еще одного пользователя. «Впритык» значит запас от 0 до 10%: модель загрузится, но любая прибавка, длинный договор, второй диалог или обновление модели, выведет ее за предел. Для личной работы это допустимо, для сервиса, от которого зависит отдел, нет. «Нет» и зачеркнутая строка значат, что итог больше доступной памяти: модель не запустится или будет работать в разы медленнее, если часть слоев уйдет в оперативную память.
Цена в строке у видеокарт относится только к картам, без компьютера или сервера, в который их ставят. Полную стоимость в месяц с платформой, электричеством и обслуживанием считает калькулятор стоимости локального ИИ.
Примеры расчета
Модель 8 млрд, 4 бита, контекст 8 192 токена: веса 4,4 ГБ, кэш 1,0 ГБ, с запасом 6,3 ГБ: ноутбук с 16 ГБ. Та же модель с контекстом 32 768: 9,8 ГБ. Модель 32 млрд, 4 бита, 8 192 токена: 22,5 ГБ: видеокарта на 24 ГБ впритык, на 32 ГБ с запасом, Mac с 36 ГБ. Модель 70 млрд, 4 бита: 47,3 ГБ, с контекстом 32 768 уже 56,4 ГБ: Mac с 64 ГБ подходит для контекста 8 192 и не вмещает 32 768, Mac со 128 ГБ с запасом, две карты по 32 ГБ или одна на 96 ГБ. Модель 70 млрд в FP16: 164 ГБ, две серверные карты по 80 ГБ с выгрузкой части слоев, две карты по 96 ГБ или Mac Studio с 512 ГБ. Модель 671 млрд, 4 бита: 427 ГБ: только Mac Studio с 512 ГБ, где она реально работает на 6,21 токена в секундутокены в секунду. Токены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду., или сервер с шестью картами по 80 ГБ.
Пример: один юрист и отдел из пяти
Начинайте с задачи, а не с железа. Для чата по базе знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. хватает контекста 8 192 токена, для разбора договоров ставьте 32 768. Затем решите, сколько человек будут работать с моделью одновременно: кэш считается на каждый открытый диалог.
Модель на 32 млрд параметров в 4 битах, контекст 32 768 токенов. Одному юристу нужно 29,4 ГБ: веса 17,6 ГБ, кэш 8 ГБ и запас 15%. Карта на 32 ГБ получает статус «впритык», Mac Studio с 96 ГБ проходит с запасом. Отделу из пяти юристов, которые работают одновременно, нужно уже 66,2 ГБ, потому что кэш вырастает до 40 ГБ. Подходят Mac Studio M3 Ultra с 96 ГБ за 650 797 ₽, одна RTX PRO 6000 с 96 ГБ за 1,08 млн ₽ без сервера или серверная карта на 80 ГБ; пара RTX 5090 на 64 ГБ уже не проходит. Размер модели при этом выбирают пилотом на ваших запросах: калькулятор знает память, но не качество ответов.
С чем сравнивает
Список железа в калькуляторе: MacBook Pro с 48, 64 и 128 ГБ; Mac Studio с 96, 128 и 512 ГБ; RTX 4090 с 24 ГБ; RTX 5090 с 32 ГБ и пара таких карт; RTX PRO 6000 с 96 ГБ и пара таких карт; A100 с 40 и 80 ГБ; H100 с 80 ГБ и сервер с четырьмя H100. Для Mac считается единая память за вычетом 8 ГБ на систему, для видеокарт полный объем видеопамятивидеопамять. Видеопамять (VRAM) это память видеокарты, в которой во время работы лежат веса нейросети и ее промежуточные данные; от ее объема зависит, какая модель поместится на карту.. Цены железа на 29.09.2026 подставляются из нашей базы, у MacBook Pro на 48 и 64 ГБ цены нет; источники цен указаны на страницах о железе.
Проверка на реальном кейсе
Команда облачного провайдера уместила на карте с 24 ГБ текстовую модель и модель зрения при контексте 65 536 токенов: веса 13,0 и 6,1 ГБ, кэш 0,9 и 2,4 ГБ, итого 22,4 ГБ. Если внести те же слагаемые и убрать запас, калькулятор покажет 22,4 ГБ и отметит карту на 24 ГБ как «впритык», то есть с запасом меньше 10%; со стандартным запасом 15% итог 25,8 ГБ, и карта на 24 ГБ не проходит.
Границы расчета
Модели с малым числом активных параметров, например 30 млрд всего и 3 млрд активных, занимают память по полному числу параметров, а по скорости ведут себя как маленькие: считайте по полному размеру. Память на токен сильно зависит от архитектуры, точное значение смотрите в карточке модели. Калькулятор не учитывает модели зрения и речи, которые загружаются рядом: добавьте их веса отдельной строкой.