ММООЗЗГГ.ru

Разбор

Сколько памяти нужно для LLM: считаем на пальцах и на реальном железе

6 мин12 источников

Сколько памяти нужно для LLM, большой языковой модели, и поместится ли она в ваше железо, решает одна формула: параметры, умноженные на байты на параметр, плюс кэш контекста, плюс запас. Ниже формула с примером, ориентиры по размерам, разбор кейса, где две модели уместили в 24 ГБ видеопамяти, и что проверить до покупки, чтобы не заплатить за железо, в которое модель не влезет.

На странице · 8 разделов

Формула

Веса: число параметров, умноженное на байты на параметр: 2 байта в FP16, 1 байт в 8-битной квантизации, около 0,55 байта в 4-битной с учетом служебных данных. KV-кэш: память под контекст, растет линейно с длиной контекста и зависит от архитектуры; по нашему практическому правилу, для моделей на 8 млрд параметров это порядка 0,13 МБ на токен, на 30–70 млрд порядка 0,25–0,33 МБ на токен. Запас по нашему правилу: 10–20% на рабочие буферы и систему.

Пример по формуле. Модель на 32 млрд параметров в 4-битной квантизации: 32 × 0,55 = 17,6 ГБ весов. Контекст 8 192 токена при 0,25 МБ на токен добавляет около 2 ГБ кэша. С запасом 15%, как в нашем калькуляторе, выходит около 22,5 ГБ: карта на 24 ГБ впритык, на 32 ГБ с запасом. Та же модель в FP16 заняла бы 64 ГБ одних весов, то есть серверную карту на 80 ГБ впритык или Mac с памятью от 96 ГБ.

Ориентиры по размерам в 4-битной квантизации

8 млрд параметров: около 5 ГБ весов, работает на ноутбуке с 16 ГБ. 20–35 млрд: 12–20 ГБ, одна карта на 24–32 ГБ или Mac с 36–64 ГБ. 70 млрд: около 40 ГБ, две карты на 24 ГБ, одна на 96 ГБ или Mac с 64–128 ГБ. 235 млрд: около 130 ГБ, Mac Studio с 256–512 ГБ или несколько серверных карт. 671 млрд: около 405 ГБ по замеру для 4-битной версии, Mac Studio с 512 ГБ, где такая модель выдает 6,21 токена в секунду.

Квантизация: как сжать модель и что теряется

Квантизация хранит каждый параметр не в 16 битах, а в 8 или 4. По формуле память под веса падает в 2 раза при 8 битах и почти в 4 раза при 4 битах: модель на 8 млрд параметров занимает 16 ГБ в FP16 и около 4,4 ГБ в 4 битах. Поэтому почти все локальные запуски в компаниях идут в 4 или 8 битах.

Цена сжатия видна на задачах, а не в таблицах. ИТ-подразделение сети строительных магазинов сравнило локальную модель на 9 млрд параметров в 4-битной квантизации на одной видеокарте с двумя облачными моделями в 27 прогонах: на задачах из 2–3 шагов локальная не уступила, на задаче из 15 шагов надежного результата не дала ни одна. Правило: проверяйте выбранную квантизацию на своих 50 запросах до покупки железа.

Кэш контекста и число пользователей

Веса загружаются один раз, а кэш контекста растет с длиной документа и с числом одновременных диалогов. Модель на 8 млрд параметров в 4 битах с контекстом 8 192 токена занимает около 6,3 ГБ с запасом, с контекстом 32 768 уже около 9,8 ГБ. Для ориентира: страница текста в 1 800 знаков у одной из российских облачных моделей это около 450–600 токенов, договор на 20 страниц около 9 000–12 000.

Модели с малым числом активных параметров считайте по полному размеру. ИТ-руководитель банка запускает агента на модели с 35 млрд параметров и примерно 3 млрд активных на токен: по скорости она ведет себя как маленькая, около 70 токенов в секунду на Mac, а память под веса в 4 битах нужна на все 35 млрд, около 19 ГБ.

Реальный пример

Команда облачного провайдера собрала локального агента на арендованном сервере с картой на 24 ГБ и уместила на ней две модели при контексте 65 536 токенов: веса текстовой модели 13,0 ГБ, ее KV-кэш 0,9 ГБ, веса модели зрения 6,1 ГБ, ее KV-кэш 2,4 ГБ, итого 22,4 ГБ из 24. Запас в 1,6 ГБ оказался достаточным для однопользовательского режима.

Из кейса два вывода. Первый: модели зрения и речи, которые работают рядом с текстовой, нужно считать отдельной строкой, иначе расчет занижен больше чем на треть: в кейсе они заняли 8,5 ГБ из 22,4. Второй: второй пользователь с тем же длинным контекстом добавил бы по формуле еще 3,3 ГБ кэша, и связка бы не поместилась. Однопользовательская схема на одной карте и сервис для отдела считаются по-разному.

Что это значит при покупке

Память важнее скорости: модель, которая не поместилась, не работает вообще, а медленная работает. Поэтому в Mac ценят единую память до 512 ГБ, а в видеокартах объем 24, 32, 80 и 96 ГБ. Несколько пользователей одновременно умножают KV-кэш: для 10 параллельных диалогов по 8 000 токенов на модели 32 млрд нужно еще около 20 ГБ.

Как это решают российские компании

Интегратор, который поставляет платформу для локальных языковых моделей, держит модели на 8–14 млрд параметров на стандартном сервере, а более крупные на выделенном железе; платформа включена в реестр российского ПО в апреле 2025 года. Оператор страховой информационной системы поднял одну локальную модель сразу под три задачи: обращения, техническую поддержку и проверку кода. Для памяти это значит одни веса и отдельный кэш на каждый параллельный запрос, а не три копии модели.

Что проверить до покупки

Первое: какая модель решает вашу задачу, по 50 реальным запросам, а не по отзывам. Второе: длина ваших документов в токенах и число людей, которые будут работать одновременно. Третье: для Mac вычитайте около 8 ГБ на систему и программы, для видеокарты считайте полный объем, модель должна поместиться в нее целиком. Четвертое: запас не меньше 10%, иначе первая длинная переписка уронит скорость.

Ошибка в памяти дорогая: на 29.09.2026 Mac Studio M3 Ultra с 96 ГБ стоил 650 797 ₽, с 128 ГБ на M4 Max 886 757 ₽, карта RTX PRO 6000 на 96 ГБ в феврале 2026 года 1,08 млн ₽. Проверка на арендованной карте стоит сотни рублей: RTX 4090 на 30.09.2026 сдавали почасово от 43 ₽ в час. Сначала прогон своей модели на своем контексте, потом счет на железо.

Вопросы и ответы

Можно ли запустить модель, если памяти чуть не хватает?

Можно, но часть слоев уйдет в оперативную память или на диск, и скорость упадет в разы. Если не хватает 2–3 ГБ, сначала уменьшите контекст, затем возьмите квантизацию ниже или модель на ступень меньше.

Сколько памяти нужно модели на 70 млрд параметров?

В 4 битах около 40 ГБ одних весов; с контекстом 8 192 токена и запасом около 47 ГБ, с контекстом 32 768 около 56 ГБ. Это Mac со 128 ГБ, две карты по 32 ГБ или одна на 96 ГБ. В FP16 та же модель требует около 164 ГБ.

Чем единая память Mac отличается от видеопамяти карты?

У Apple Silicon процессор и графика делят одну память, в Mac Studio до 512 ГБ, поэтому в нее помещаются модели, которым не хватает любой одной видеокарты. Часть этой памяти занимает система: в расчете оставляйте около 8 ГБ. Видеопамять карты отдана модели целиком, но ее объем 24–96 ГБ.

Нужно ли умножать память на число пользователей?

Веса нет, кэш контекста да. Для 10 параллельных диалогов по 8 000 токенов на модели 32 млрд нужно еще около 20 ГБ сверх весов. Поэтому сервер для отдела считают по пиковому числу одновременных запросов, а не по числу сотрудников.

Источники и проверка

Проверено редакцией 29 сентября 2026.

  1. Hardware Corner, DeepSeek 671B на Mac Studio M3 Ultra 512 ГБ, 27.03.2025 (hardware-corner.net)
  2. llama.cpp, производительность на Apple Silicon, таблица обновлена 25.08.2026 (github.com)
  3. Цифровые платформы, кейс №3475, 2 сентября 2026: НСИС, оператор АИС страхования (platforms.su)
  4. Цифровые платформы, кейс №4084, 2 сентября 2026: VK Tech (platforms.su)
  5. Цифровые платформы, кейс №2874, 2025: ЛАНИТ (platforms.su)
  6. Цифровые платформы, кейс №4085, 2 сентября 2026: Петрович-Тех, локальная модель 9 млрд против облачных (platforms.su)
  7. Цифровые платформы, кейс №4067, 2 сентября 2026: Альфа-Банк, ИТ-руководитель (platforms.su)
  8. Sber Developers, подсчет токенов GigaChat: в среднем 3–4 символа на токен, 17.07.2026 (developers.sber.ru)
  9. store-apple.msk.ru, Mac Studio M3 Ultra 96 ГБ, 29.09.2026 (store-apple.msk.ru)
  10. store-apple.msk.ru, Mac Studio M4 Max 128 ГБ, 29.09.2026 (store-apple.msk.ru)
  11. iXBT, RTX PRO 6000 Blackwell 96 ГБ за 1,08 млн ₽ в DNS, 02.02.2026 (ixbt.com)
  12. GPU Индекс, аренда RTX 4090 в России: 173 предложения, от 31,75 ₽ в час (проверено 30.09.2026) (gpuindex.ru)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин

Кейсы по теме: 5

  • Кейс рынка · Россия

    ИТ-холдинг Т1 согласование договоров за 3 дня вместо двух недель, затраты на сравнение документов ниже на 40%

    Юридический департамент холдинга, более 70 юристов, больше года обучал собственную языковую модель на юридических данных компании. Согласование договоров сократилось с двух недель до трех дней, сравнение двух версий документа выполняется в пять раз быстрее, чем вручную.

    ИТ-компании

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    НСИС, оператор АИС страхования обработка обращений в 20 раз быстрее на локальной LLM, рост обращений в 1,5 раза без найма

    Оператор национальной страховой информационной системы развернул большую языковую модель локально и построил на ней три контура: автоматическую обработку обращений с множественными полями, RAG-сервис технической поддержки на документах компании и ИИ-агентов в процессе разработки, включая автоматический код-ревью.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Digital Sector и заказчик из ИТ-инфраструктуры ИИ-агент анализа договоров в закрытом контуре заказчика; во внутреннем тестировании интегратора агенты высвободили 20% времени команды

    Интегратор реализовал ИИ-агента для первичного анализа договоров в закрытом контуре заказчика, который проектирует и поставляет ИТ-инфраструктуру: агент извлекает и сопоставляет данные, выявляет расхождения и готовит результат для специалиста. Агентов интегратор внедрил и в собственные процессы тестирования: высвобождено 20% рабочего времени команды за спринт.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    VK Tech две модели уместились в 22,4 ГБ из 24 ГБ видеопамяти при контексте 65 536 токенов

    Команда собрала локального ИИ-агента в закрытом контуре на связке Ollama и агентной обвязки на арендованном GPU-сервере с картой NVIDIA A30 на 24 ГБ. Модели: gpt-oss 20b (13 ГБ) для текста и инструментов и qwen3-vl 8b (6,1 ГБ) для изображений; вместе с KV-кэшем на контекст 65 536 токенов занято 22,4 ГБ.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    ЛАНИТ сбор требований в 4 раза быстрее, время поиска документов на 66% меньше на платформе локальных LLM

    Группа разработала платформу для локального развертывания больших языковых моделей на инфраструктуре заказчика: чат и сложные конвейеры обработки документов, аудио и изображений. Дочерняя компания создала собственную модель, дообученную на русскоязычных данных, и пилотирует ее в CRM-, SRM- и HRM-проектах и корпоративных чат-ботах.

    ИТ-компании

    источник: platforms.su

    Читать кейс
Написать в Telegram