ММООЗЗГГ.ru

Калькулятор

Калькулятор памяти для LLM: поместится ли модель в ваш компьютер

6 мин10 источников

Модель, которая не поместилась в память, не работает вообще. Калькулятор памяти для LLM, больших языковых моделей, считает три слагаемых: веса, кэш контекста и запас, и сравнивает итог с памятью ноутбука, Mac Studio, видеокарт и серверных карт. Формула и примеры под калькулятором, чтобы вы могли пересчитать вручную.

На странице · 7 разделов

Калькулятор

Поместится ли модель в память

Сколько памяти нужно

  • Веса17,6 ГБ
  • KV-кэш (0,25 МБ на токен)2 ГБ
  • Другие модели0 ГБ
  • Итого с запасом 15%22,5 ГБ

Модели с малым числом активных параметров считайте по полному числу параметров. Точная память на токен смотрится в карточке модели.

На каком железе запустится

  • MacBook Pro, 48 ГБда, 40 ГБ
  • MacBook Pro, 64 ГБда, 56 ГБ
  • MacBook Pro 14 M5 Max, 128 ГБ, 2 ТБ, 671 594 ₽да, 120 ГБ
  • Mac Studio M3 Ultra, 96 ГБ, 650 797 ₽да, 88 ГБ
  • Mac Studio M4 Max, 128 ГБ, 886 757 ₽да, 120 ГБ
  • Mac Studio M3 Ultra, 512 ГБ, 4 ТБ, 3 155 392 ₽да, 504 ГБ
  • RTX 4090, 24 ГБ, 488 150 ₽впритык, 24 ГБ
  • RTX 5090, 32 ГБ, 749 990 ₽да, 32 ГБ
  • 2 x RTX 5090, 64 ГБ, 1 499 980 ₽да, 64 ГБ
  • RTX PRO 6000, 96 ГБ, 1 080 000 ₽да, 96 ГБ
  • 2 x RTX PRO 6000, 192 ГБ, 2 160 000 ₽да, 192 ГБ
  • A100, 40 ГБ, 543 577 ₽да, 40 ГБ
  • A100, 80 ГБ, 1 081 772 ₽да, 80 ГБ
  • H100 SXM5, 80 ГБ, 2 287 329 ₽да, 80 ГБ
  • 4 x H100, 320 ГБ, 9 149 316 ₽да, 320 ГБ

Для Mac учтена единая память минус 8 ГБ на систему. «Впритык» значит запас меньше 10%.

Значения по умолчанию из источников на 29.09.2026; курс ЦБ 84,41 ₽ за доллар. Расчет оценочный, любое поле можно изменить.

Как считает калькулятор

Веса: число параметров в миллиардах, умноженное на байты на параметр: 2 в FP16, 1 в 8-битной квантизации, 0,55 в 4-битной с учетом служебных данных формата. KV-кэш: длина контекста в токенах, умноженная на память на токен, которая зависит от архитектуры: около 0,13 МБ для моделей на 8 млрд параметров, 0,25 МБ для 30 млрд, 0,33 МБ для 70 млрд и выше. Запас: 15% на рабочие буферы и систему, поле можно изменить. Для нескольких одновременных пользователей кэш умножается на их число.

Как читать результат

Калькулятор сначала показывает, сколько памяти нужно, затем ставит каждому варианту железа один из трех статусов. «Да» значит, что после загрузки модели остается не меньше 10% памяти: модель работает, и есть место для более длинного документа или еще одного пользователя. «Впритык» значит запас от 0 до 10%: модель загрузится, но любая прибавка, длинный договор, второй диалог или обновление модели, выведет ее за предел. Для личной работы это допустимо, для сервиса, от которого зависит отдел, нет. «Нет» и зачеркнутая строка значат, что итог больше доступной памяти: модель не запустится или будет работать в разы медленнее, если часть слоев уйдет в оперативную память.

Цена в строке у видеокарт относится только к картам, без компьютера или сервера, в который их ставят. Полную стоимость в месяц с платформой, электричеством и обслуживанием считает калькулятор стоимости локального ИИ.

Примеры расчета

Модель 8 млрд, 4 бита, контекст 8 192 токена: веса 4,4 ГБ, кэш 1,0 ГБ, с запасом 6,3 ГБ: ноутбук с 16 ГБ. Та же модель с контекстом 32 768: 9,8 ГБ. Модель 32 млрд, 4 бита, 8 192 токена: 22,5 ГБ: видеокарта на 24 ГБ впритык, на 32 ГБ с запасом, Mac с 36 ГБ. Модель 70 млрд, 4 бита: 47,3 ГБ, с контекстом 32 768 уже 56,4 ГБ: Mac с 64 ГБ подходит для контекста 8 192 и не вмещает 32 768, Mac со 128 ГБ с запасом, две карты по 32 ГБ или одна на 96 ГБ. Модель 70 млрд в FP16: 164 ГБ, две серверные карты по 80 ГБ с выгрузкой части слоев, две карты по 96 ГБ или Mac Studio с 512 ГБ. Модель 671 млрд, 4 бита: 427 ГБ: только Mac Studio с 512 ГБ, где она реально работает на 6,21 токена в секунду, или сервер с шестью картами по 80 ГБ.

Пример: один юрист и отдел из пяти

Начинайте с задачи, а не с железа. Для чата по базе знаний хватает контекста 8 192 токена, для разбора договоров ставьте 32 768. Затем решите, сколько человек будут работать с моделью одновременно: кэш считается на каждый открытый диалог.

Модель на 32 млрд параметров в 4 битах, контекст 32 768 токенов. Одному юристу нужно 29,4 ГБ: веса 17,6 ГБ, кэш 8 ГБ и запас 15%. Карта на 32 ГБ получает статус «впритык», Mac Studio с 96 ГБ проходит с запасом. Отделу из пяти юристов, которые работают одновременно, нужно уже 66,2 ГБ, потому что кэш вырастает до 40 ГБ. Подходят Mac Studio M3 Ultra с 96 ГБ за 650 797 ₽, одна RTX PRO 6000 с 96 ГБ за 1,08 млн ₽ без сервера или серверная карта на 80 ГБ; пара RTX 5090 на 64 ГБ уже не проходит. Размер модели при этом выбирают пилотом на ваших запросах: калькулятор знает память, но не качество ответов.

С чем сравнивает

Список железа в калькуляторе: MacBook Pro с 48, 64 и 128 ГБ; Mac Studio с 96, 128 и 512 ГБ; RTX 4090 с 24 ГБ; RTX 5090 с 32 ГБ и пара таких карт; RTX PRO 6000 с 96 ГБ и пара таких карт; A100 с 40 и 80 ГБ; H100 с 80 ГБ и сервер с четырьмя H100. Для Mac считается единая память за вычетом 8 ГБ на систему, для видеокарт полный объем видеопамяти. Цены железа на 29.09.2026 подставляются из нашей базы, у MacBook Pro на 48 и 64 ГБ цены нет; источники цен указаны на страницах о железе.

Проверка на реальном кейсе

Команда облачного провайдера уместила на карте с 24 ГБ текстовую модель и модель зрения при контексте 65 536 токенов: веса 13,0 и 6,1 ГБ, кэш 0,9 и 2,4 ГБ, итого 22,4 ГБ. Если внести те же слагаемые и убрать запас, калькулятор покажет 22,4 ГБ и отметит карту на 24 ГБ как «впритык», то есть с запасом меньше 10%; со стандартным запасом 15% итог 25,8 ГБ, и карта на 24 ГБ не проходит.

Границы расчета

Модели с малым числом активных параметров, например 30 млрд всего и 3 млрд активных, занимают память по полному числу параметров, а по скорости ведут себя как маленькие: считайте по полному размеру. Память на токен сильно зависит от архитектуры, точное значение смотрите в карточке модели. Калькулятор не учитывает модели зрения и речи, которые загружаются рядом: добавьте их веса отдельной строкой.

Вопросы и ответы

Что делать, если не хватает 2–3 ГБ?

Уменьшить контекст, взять квантизацию ниже или модель на ступень меньше. Выгрузка части слоев в оперативную память работает, но скорость падает в разы.

Почему у Mac считается память минус 8 ГБ?

Единая память делится с системой и программами. Сколько памяти реально доступно под модель на вашем Mac, проверьте пробной загрузкой модели в LM Studio; 8 ГБ это запас калькулятора по умолчанию.

Можно ли сложить память двух видеокарт?

Да, модель делится между картами, и калькулятор считает пару как сумму памяти: две RTX 5090 дают 64 ГБ. Вторая карта нужна ради объема, а не ради скорости: на модели 70 млрд в 4 битах пара RTX 4090 выдает 19,1 токена в секунду, одна H100 25 токенов по замерам мая 2024 года.

Почему 4 бита считаются как 0,55 байта, а не 0,5?

Формат квантизации хранит рядом с весами служебные данные, и файл получается больше чистого расчета. Поэтому модель на 8 млрд параметров в 4 битах занимает около 4,4 ГБ, а не 4,0. Для другой квантизации точный размер смотрите по размеру файла модели.

Источники и проверка

Проверено редакцией 29 сентября 2026.

  1. llama.cpp, производительность на Apple Silicon, таблица обновлена 25.08.2026 (github.com)
  2. Hardware Corner, DeepSeek 671B на Mac Studio M3 Ultra 512 ГБ, 27.03.2025 (hardware-corner.net)
  3. GPU-Benchmarks-on-LLM-Inference, Llama 3 8B и 70B, май 2024 (github.com)
  4. Цифровые платформы, кейс №2929, 2025: ИТ-холдинг Т1 (platforms.su)
  5. Цифровые платформы, кейс №3475, 2 сентября 2026: НСИС, оператор АИС страхования (platforms.su)
  6. Цифровые платформы, кейс №3661, 2 сентября 2026: Digital Sector и заказчик из ИТ-инфраструктуры (platforms.su)
  7. Цифровые платформы, кейс №4084, 2 сентября 2026: VK Tech (platforms.su)
  8. Цифровые платформы, кейс №2874, 2025: ЛАНИТ (platforms.su)
  9. store-apple.msk.ru, Mac Studio M3 Ultra 96 ГБ, 29.09.2026 (store-apple.msk.ru)
  10. iXBT, RTX PRO 6000 Blackwell 96 ГБ за 1,08 млн ₽ в DNS, 02.02.2026 (ixbt.com)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин

Кейсы по теме: 5

  • Кейс рынка · Россия

    ИТ-холдинг Т1 согласование договоров за 3 дня вместо двух недель, затраты на сравнение документов ниже на 40%

    Юридический департамент холдинга, более 70 юристов, больше года обучал собственную языковую модель на юридических данных компании. Согласование договоров сократилось с двух недель до трех дней, сравнение двух версий документа выполняется в пять раз быстрее, чем вручную.

    ИТ-компании

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    НСИС, оператор АИС страхования обработка обращений в 20 раз быстрее на локальной LLM, рост обращений в 1,5 раза без найма

    Оператор национальной страховой информационной системы развернул большую языковую модель локально и построил на ней три контура: автоматическую обработку обращений с множественными полями, RAG-сервис технической поддержки на документах компании и ИИ-агентов в процессе разработки, включая автоматический код-ревью.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Digital Sector и заказчик из ИТ-инфраструктуры ИИ-агент анализа договоров в закрытом контуре заказчика; во внутреннем тестировании интегратора агенты высвободили 20% времени команды

    Интегратор реализовал ИИ-агента для первичного анализа договоров в закрытом контуре заказчика, который проектирует и поставляет ИТ-инфраструктуру: агент извлекает и сопоставляет данные, выявляет расхождения и готовит результат для специалиста. Агентов интегратор внедрил и в собственные процессы тестирования: высвобождено 20% рабочего времени команды за спринт.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    VK Tech две модели уместились в 22,4 ГБ из 24 ГБ видеопамяти при контексте 65 536 токенов

    Команда собрала локального ИИ-агента в закрытом контуре на связке Ollama и агентной обвязки на арендованном GPU-сервере с картой NVIDIA A30 на 24 ГБ. Модели: gpt-oss 20b (13 ГБ) для текста и инструментов и qwen3-vl 8b (6,1 ГБ) для изображений; вместе с KV-кэшем на контекст 65 536 токенов занято 22,4 ГБ.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    ЛАНИТ сбор требований в 4 раза быстрее, время поиска документов на 66% меньше на платформе локальных LLM

    Группа разработала платформу для локального развертывания больших языковых моделей на инфраструктуре заказчика: чат и сложные конвейеры обработки документов, аудио и изображений. Дочерняя компания создала собственную модель, дообученную на русскоязычных данных, и пилотирует ее в CRM-, SRM- и HRM-проектах и корпоративных чат-ботах.

    ИТ-компании

    источник: platforms.su

    Читать кейс
Написать в Telegram