Формула
Веса: число параметров, умноженное на байты на параметр: 2 байта в FP16, 1 байт в 8-битной квантизацииквантизация. Квантизация это сжатие нейросети, при котором ее числа хранят с меньшей точностью, чтобы модель занимала меньше памяти и работала быстрее., около 0,55 байта в 4-битной с учетом служебных данных. KV-кэш: память под контекст, растет линейно с длиной контекстаконтекстное окно. Контекстное окно это объем текста в токенах, который языковая модель видит за один раз: инструкции, документы, вопрос и ее собственный ответ. и зависит от архитектуры; по нашему практическому правилу, для моделей на 8 млрд параметров это порядка 0,13 МБ на токен, на 30–70 млрд порядка 0,25–0,33 МБ на токен. Запас по нашему правилу: 10–20% на рабочие буферы и систему.
Пример по формуле. Модель на 32 млрд параметров в 4-битной квантизации: 32 × 0,55 = 17,6 ГБ весов. Контекст 8 192 токена при 0,25 МБ на токен добавляет около 2 ГБ кэша. С запасом 15%, как в нашем калькуляторе, выходит около 22,5 ГБ: карта на 24 ГБ впритык, на 32 ГБ с запасом. Та же модель в FP16 заняла бы 64 ГБ одних весов, то есть серверную карту на 80 ГБ впритык или Mac с памятью от 96 ГБ.
Ориентиры по размерам в 4-битной квантизации
8 млрд параметров: около 5 ГБ весов, работает на ноутбуке с 16 ГБ. 20–35 млрд: 12–20 ГБ, одна карта на 24–32 ГБ или Mac с 36–64 ГБ. 70 млрд: около 40 ГБ, две карты на 24 ГБ, одна на 96 ГБ или Mac с 64–128 ГБ. 235 млрд: около 130 ГБ, Mac Studio с 256–512 ГБ или несколько серверных карт. 671 млрд: около 405 ГБ по замеру для 4-битной версии, Mac Studio с 512 ГБ, где такая модель выдает 6,21 токена в секундутокены в секунду. Токены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду..
Квантизация: как сжать модель и что теряется
Квантизация хранит каждый параметр не в 16 битах, а в 8 или 4. По формуле память под веса падает в 2 раза при 8 битах и почти в 4 раза при 4 битах: модель на 8 млрд параметров занимает 16 ГБ в FP16 и около 4,4 ГБ в 4 битах. Поэтому почти все локальные запуски в компаниях идут в 4 или 8 битах.
Цена сжатия видна на задачах, а не в таблицах. ИТ-подразделение сети строительных магазинов сравнило локальную модельлокальная модель. Локальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят. на 9 млрд параметров в 4-битной квантизации на одной видеокарте с двумя облачными моделямиоблачная модель. Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. в 27 прогонах: на задачах из 2–3 шагов локальная не уступила, на задаче из 15 шагов надежного результата не дала ни одна. Правило: проверяйте выбранную квантизацию на своих 50 запросах до покупки железа.
Кэш контекста и число пользователей
Веса загружаются один раз, а кэш контекста растет с длиной документа и с числом одновременных диалогов. Модель на 8 млрд параметров в 4 битах с контекстом 8 192 токена занимает около 6,3 ГБ с запасом, с контекстом 32 768 уже около 9,8 ГБ. Для ориентира: страница текста в 1 800 знаков у одной из российских облачных моделей это около 450–600 токенов, договор на 20 страниц около 9 000–12 000.
Модели с малым числом активных параметров считайте по полному размеру. ИТ-руководитель банка запускает агента на модели с 35 млрд параметров и примерно 3 млрд активных на токен: по скорости она ведет себя как маленькая, около 70 токенов в секунду на Mac, а память под веса в 4 битах нужна на все 35 млрд, около 19 ГБ.
Реальный пример
Команда облачного провайдера собрала локального агента на арендованном сервере с картой на 24 ГБ и уместила на ней две модели при контексте 65 536 токенов: веса текстовой модели 13,0 ГБ, ее KV-кэш 0,9 ГБ, веса моделипараметры модели. Параметры модели это числа внутри нейросети, которые она подбирает при обучении и по которым потом вычисляет каждый ответ. зрения 6,1 ГБ, ее KV-кэш 2,4 ГБ, итого 22,4 ГБ из 24. Запас в 1,6 ГБ оказался достаточным для однопользовательского режима.
Из кейса два вывода. Первый: модели зрения и речи, которые работают рядом с текстовой, нужно считать отдельной строкой, иначе расчет занижен больше чем на треть: в кейсе они заняли 8,5 ГБ из 22,4. Второй: второй пользователь с тем же длинным контекстомдлинный контекст. Длинный контекст это способность языковой модели принять и учесть за один запрос очень большой объем текста: толстые документы, долгую переписку или целый репозиторий кода. добавил бы по формуле еще 3,3 ГБ кэша, и связка бы не поместилась. Однопользовательская схема на одной карте и сервис для отдела считаются по-разному.
Что это значит при покупке
Память важнее скорости: модель, которая не поместилась, не работает вообще, а медленная работает. Поэтому в Mac ценят единую память до 512 ГБ, а в видеокартах объем 24, 32, 80 и 96 ГБ. Несколько пользователей одновременно умножают KV-кэш: для 10 параллельных диалогов по 8 000 токенов на модели 32 млрд нужно еще около 20 ГБ.
Как это решают российские компании
Интегратор, который поставляет платформу для локальных языковых моделейбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу., держит модели на 8–14 млрд параметров на стандартном сервере, а более крупные на выделенном железе; платформа включена в реестр российского ПО в апреле 2025 года. Оператор страховой информационной системы поднял одну локальную модель сразу под три задачи: обращения, техническую поддержку и проверку кода. Для памяти это значит одни веса и отдельный кэш на каждый параллельный запрос, а не три копии модели.
Что проверить до покупки
Первое: какая модель решает вашу задачу, по 50 реальным запросам, а не по отзывам. Второе: длина ваших документов в токенах и число людей, которые будут работать одновременно. Третье: для Mac вычитайте около 8 ГБ на систему и программы, для видеокарты считайте полный объем, модель должна поместиться в нее целиком. Четвертое: запас не меньше 10%, иначе первая длинная переписка уронит скорость.
Ошибка в памяти дорогая: на 29.09.2026 Mac Studio M3 Ultra с 96 ГБ стоил 650 797 ₽, с 128 ГБ на M4 Max 886 757 ₽, карта RTX PRO 6000 на 96 ГБ в феврале 2026 года 1,08 млн ₽. Проверка на арендованной карте стоит сотни рублей: RTX 4090 на 30.09.2026 сдавали почасово от 43 ₽ в час. Сначала прогон своей модели на своем контексте, потом счет на железо.