Модель
Токентокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель.: единица текста для модели, обычно кусок слова. По данным крупного российского разработчика ИИ, у его модели в среднем 3–4 символа на токен, поэтому документ на 10 страниц по 1 800 знаков занимает около 4 500–6 000 токенов. Облачная модельоблачная модель. Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. берет плату за токены, локальная тратит на них время видеокарты.
Параметры: числа внутри модели, которые она выучила при обучении. Их количество пишут как 8B или 70B, где B означает миллиард; чем их больше, тем модель обычно сильнее и тем больше памяти требует. Активные параметры: в моделях с разреженной архитектурой на каждый токен работает только часть параметров. У ИТ-руководителя Альфа-Банка агент на модели с 35 млрд параметров и примерно 3 млрд активных выдает около 70 токенов в секундутокены в секунду. Токены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду. на Mac.
Контекст: сколько токенов модель видит разом, вместе с вопросом, документами и историей диалога. Чем он длиннее, тем больше памяти уходит под кэш: у облачного провайдера две модели вместе с кэшем на контекст 65 536 токенов заняли 22,4 ГБ из 24 ГБ видеопамятивидеопамять. Видеопамять (VRAM) это память видеокарты, в которой во время работы лежат веса нейросети и ее промежуточные данные; от ее объема зависит, какая модель поместится на карту..
Открытые веса: файлы модели опубликованы, ее можно скачать и запустить у себя. Право на коммерческое использование задает лицензия: крупный российский банк выпустил открытую модельмодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. на 32 млрд параметров под лицензией Apache 2.0, которая его разрешает. Дообучениедообучение. Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле.: обучение открытой модели на своих данных, нужны видеокарты, примеры и время. Юристы крупного ИТ-холдинга больше года обучали модель на договорах компании и сократили согласование договора с двух недель до трех дней.
RAGRAG. RAG это схема, в которой ИИ сначала находит нужные фрагменты в ваших документах, а потом отвечает, опираясь на них., поиск по документам: модель отвечает по найденным фрагментам ваших документов без дообучения. Дообучение меняет саму модель, а RAG только подает ей нужные страницы, поэтому новый регламент попадает в ответы сразу после загрузки. Режим рассуждений: модель пишет промежуточные шаги перед ответом, ответ точнее, но токенов и времени уходит больше.
Память и скорость
Квантизацияквантизация. Квантизация это сжатие нейросети, при котором ее числа хранят с меньшей точностью, чтобы модель занимала меньше памяти и работала быстрее.: сжатие весов модели с 16 бит до 8 или 4 на параметр. Память под веса падает в 2–3,6 раза по коэффициентам нашего калькулятора: 2 байта на параметр в 16 битах, 1 байт в 8 битах и 0,55 байта в 4 битах. Модель на 70 млрд параметров в 4 битах занимает около 40 ГБ. Качество после сжатия проверяйте на своих запросах. FP16: формат весов в 16 бит, 2 байта на параметр.
KV-кэшKV-кэш. KV-кэш это память, в которой языковая модель хранит промежуточные результаты (ключи и значения внимания) для уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового.: память, в которой модель держит уже прочитанный контекст, чтобы не пересчитывать его на каждом новом токене. По правилу нашего калькулятора это 0,13–0,33 МБ на токен в зависимости от размера модели, и сумма умножается на число одновременных пользователей. Если в смете память посчитана только под веса, кэшу не останется места.
Видеопамять, VRAM: память на видеокарте, у ходовых карт от 24 до 96 ГБ; модель и кэш должны поместиться в нее целиком. Единая память: у Apple Silicon процессор и графика делят одну память до 512 ГБ, поэтому Mac вмещает модели, которые не помещаются в одну видеокарту. Выгрузка слоев: часть модели уходит в оперативную память, когда не хватает видеопамяти; модель запускается, но скорость заметно падает.
Токены в секунду: скорость генерации ответа. Один поток на модели 8B в 4 битах дает от 50,7 токена в секунду у M4 Pro до 144,5 у H100 по опубликованным замерам, модель 70B на той же H100 дает 25. Обработка запроса: чтение контекста до первого токена ответа, у M5 Max 3 220 токенов в секунду на модели 7B в 4 битах по таблице llama.cpp. Отклик: время от запроса до начала ответа; Т2 в тендере на помощника разработчика задал отклик автодополнения не более 400 мс для 15 пользователей.
Железо и запуск
Инференсинференс. Инференс это работа уже обученной модели, когда она получает запрос и вычисляет ответ, в отличие от обучения, на котором ее только настраивали.: работа уже обученной модели, то есть ответы на запросы. Обучение оплатил разработчик модели, а за инференс компания платит каждый день: железом и электричеством у себя или токенами в облаке. Движок выдачи: программа, которая запускает модель и отдает ответы: llama.cpp, LM Studio, Ollama, vLLM. Пакетная выдача: обработка десятков запросов одновременно на серверной карте, суммарная скорость выше, чем у одного потока.
Серверная карта: A100, H100, RTX PRO 6000 с 40–96 ГБ и коррекцией ошибок памяти, для дата-центра; RTX PRO 6000 на 96 ГБ в феврале 2026 года продавали в DNS за 1,08 млн ₽. Игровая карта: RTX 4090, RTX 5090 с 24–32 ГБ, для рабочей станции; RTX 5090 на 29.09.2026 стоила 639 990–654 990 ₽ в Регарде. Мощность карты: у RTX 5090 до 575 Вт, у H100 до 700 Вт; от нее зависят счет за электричество и цена места в стойке.
Юнит, размещение: место для сервера в стойке чужого дата-центра, в Москве от 7 500 ₽ в месяц с 300 Вт; наш калькулятор добавляет 2 000 ₽ за каждые 100 Вт сверх них. Аренда видеокарты: почасовая оплата карты у российского провайдера; на 30.09.2026 RTX 4090 сдают от 31,75 ₽ в час, H100 от 242 ₽ в час по агрегатору GPU Индекс.
Единый интерфейс модели: способ подключить агентов так, чтобы модель менялась настройкой, а не переделкой. MCP: протокол, по которому агент подключает инструменты: базы, API, документы; Т2 включил его в требования тендера. Маршрутизатор: компонент гибридной схемы, который решает, куда уйдет запрос: локально или в облако.
Закон
Суверенная модель: по 243-ФЗ с 1 марта 2027 года модель, которую российское юрлицо разрабатывает и полностью воспроизводит, включая обучение, с ответами и хранением данных в российских дата-центрах. Национальная модель: допускает открытые иностранные компоненты при серверах и данных в России.
Закрытый контур: сеть без выхода в интернет, где работают модель и данные. Локальное развертывание, on-premise: модель на ваших серверах, при этом сеть может быть открытой. Часть зарубежных облачных моделей из России недоступна по решению самих поставщиков: с 9 июля 2024 года OpenAI блокирует запросы из стран, которых нет в его списке, и России в этом списке нет.
Договор поручения: документ по 152-ФЗ, по которому провайдер обрабатывает персональные данные по вашему поручению; у большинства зарубежных поставщиков его нет. Трансграничная передача: отправка персональных данных на серверы за рубежом, для нее 152-ФЗ ставит отдельные условия. Обезличивание: замена имен и номеров метками перед отправкой в облако; по 152-ФЗ после него без дополнительной информации нельзя определить, чьи это данные; если связь метки с человеком легко восстановить, данные могут остаться персональными.
Какие термины путают и во что это обходится
Локальный, закрытый контур и суверенный не синонимы. Локальная модель стоит на ваших серверах, закрытый контур вдобавок отрезан от интернета, а суверенный статус по 243-ФЗ относится к самой модели и ее разработчику, а не к месту установки. Иностранная модель с открытыми весами на вашем сервере может работать в закрытом контуре, но суверенной по закону от этого не станет.
Открытые веса не означают свободу использования. Условия задает лицензия: Apache 2.0 разрешает коммерческое использование, у других моделей бывают ограничения. Перед запуском юрист читает лицензию модели так же, как договор с поставщиком.
Скорость одного потока и суммарная скорость сервера при пакетной выдаче отличаются. Спрашивайте, сколько токенов в секунду получит каждый пользователь в час пик, а не сколько сервер выдает в сумме.
Обезличивание и анонимность тоже разные вещи. Если подрядчик заменил имена метками, но таблица соответствия лежит рядом, данные по 152-ФЗ могут остаться персональными, и для облака снова нужен договор поручения.
Как проверить смету с помощью этих терминов
Цену проекта задают четыре числа: параметры модели и разрядность весов, контекст, число одновременных пользователей и нужная скорость в токенах в секунду. Попросите подрядчика назвать все четыре и посчитайте память сами: веса плюс KV-кэш на всех пользователей плюс запас 15%.
Пример по правилу нашего калькулятора. Открытая модель на 32 млрд параметров в 4 битах занимает 32 × 0,55 = 17,6 ГБ. Контекст 16 000 токенов по 0,25 МБ дает около 4 ГБ кэша на человека, на пять одновременных пользователей около 20 ГБ. С запасом 15% выходит около 43 ГБ.
Одна RTX 5090 на 32 ГБ такую нагрузку не вместит, хотя веса помещаются в нее с запасом. Нужны две RTX 5090 на 64 ГБ или одна RTX PRO 6000 на 96 ГБ за 1,08 млн ₽. Для одного пользователя хватит одной RTX 5090: 17,6 ГБ весов и 4 ГБ кэша с запасом дают около 25 ГБ.
Если память посчитана только под веса, ошибка проявится в первую неделю работы с людьми: запросы встанут в очередь, а при выгрузке слоев в оперативную память ответы замедлятся. Перед покупкой проверьте нагрузку на арендованной карте: трое суток аренды RTX 5090 от 46,30 ₽ в час стоят около 3 300 ₽ по нашему расчету. Пилотного агента на локальной модели мы собираем за 14 дней от 149 000 ₽ на вашем железе или на арендованных видеокартах в России; железо мы не продаем и комиссий с него не берем.