ММООЗЗГГ.ru

Простыми словами

Глоссарий: термины локального ИИ простыми словами

10 мин23 источника

Термины локального ИИ стоит знать до разговора с подрядчиком: от них зависит, сколько памяти и видеокарт купить, с какой скоростью модель ответит и где окажутся ваши данные. Ниже около сорока понятий простыми словами, от модели к железу и закону, с числом там, где оно есть, а в конце пример проверки сметы.

На странице · 6 разделов

Модель

Токен: единица текста для модели, обычно кусок слова. По данным крупного российского разработчика ИИ, у его модели в среднем 3–4 символа на токен, поэтому документ на 10 страниц по 1 800 знаков занимает около 4 500–6 000 токенов. Облачная модель берет плату за токены, локальная тратит на них время видеокарты.

Параметры: числа внутри модели, которые она выучила при обучении. Их количество пишут как 8B или 70B, где B означает миллиард; чем их больше, тем модель обычно сильнее и тем больше памяти требует. Активные параметры: в моделях с разреженной архитектурой на каждый токен работает только часть параметров. У ИТ-руководителя Альфа-Банка агент на модели с 35 млрд параметров и примерно 3 млрд активных выдает около 70 токенов в секунду на Mac.

Контекст: сколько токенов модель видит разом, вместе с вопросом, документами и историей диалога. Чем он длиннее, тем больше памяти уходит под кэш: у облачного провайдера две модели вместе с кэшем на контекст 65 536 токенов заняли 22,4 ГБ из 24 ГБ видеопамяти.

Открытые веса: файлы модели опубликованы, ее можно скачать и запустить у себя. Право на коммерческое использование задает лицензия: крупный российский банк выпустил открытую модель на 32 млрд параметров под лицензией Apache 2.0, которая его разрешает. Дообучение: обучение открытой модели на своих данных, нужны видеокарты, примеры и время. Юристы крупного ИТ-холдинга больше года обучали модель на договорах компании и сократили согласование договора с двух недель до трех дней.

RAG, поиск по документам: модель отвечает по найденным фрагментам ваших документов без дообучения. Дообучение меняет саму модель, а RAG только подает ей нужные страницы, поэтому новый регламент попадает в ответы сразу после загрузки. Режим рассуждений: модель пишет промежуточные шаги перед ответом, ответ точнее, но токенов и времени уходит больше.

Память и скорость

Квантизация: сжатие весов модели с 16 бит до 8 или 4 на параметр. Память под веса падает в 2–3,6 раза по коэффициентам нашего калькулятора: 2 байта на параметр в 16 битах, 1 байт в 8 битах и 0,55 байта в 4 битах. Модель на 70 млрд параметров в 4 битах занимает около 40 ГБ. Качество после сжатия проверяйте на своих запросах. FP16: формат весов в 16 бит, 2 байта на параметр.

KV-кэш: память, в которой модель держит уже прочитанный контекст, чтобы не пересчитывать его на каждом новом токене. По правилу нашего калькулятора это 0,13–0,33 МБ на токен в зависимости от размера модели, и сумма умножается на число одновременных пользователей. Если в смете память посчитана только под веса, кэшу не останется места.

Видеопамять, VRAM: память на видеокарте, у ходовых карт от 24 до 96 ГБ; модель и кэш должны поместиться в нее целиком. Единая память: у Apple Silicon процессор и графика делят одну память до 512 ГБ, поэтому Mac вмещает модели, которые не помещаются в одну видеокарту. Выгрузка слоев: часть модели уходит в оперативную память, когда не хватает видеопамяти; модель запускается, но скорость заметно падает.

Токены в секунду: скорость генерации ответа. Один поток на модели 8B в 4 битах дает от 50,7 токена в секунду у M4 Pro до 144,5 у H100 по опубликованным замерам, модель 70B на той же H100 дает 25. Обработка запроса: чтение контекста до первого токена ответа, у M5 Max 3 220 токенов в секунду на модели 7B в 4 битах по таблице llama.cpp. Отклик: время от запроса до начала ответа; Т2 в тендере на помощника разработчика задал отклик автодополнения не более 400 мс для 15 пользователей.

Железо и запуск

Инференс: работа уже обученной модели, то есть ответы на запросы. Обучение оплатил разработчик модели, а за инференс компания платит каждый день: железом и электричеством у себя или токенами в облаке. Движок выдачи: программа, которая запускает модель и отдает ответы: llama.cpp, LM Studio, Ollama, vLLM. Пакетная выдача: обработка десятков запросов одновременно на серверной карте, суммарная скорость выше, чем у одного потока.

Серверная карта: A100, H100, RTX PRO 6000 с 40–96 ГБ и коррекцией ошибок памяти, для дата-центра; RTX PRO 6000 на 96 ГБ в феврале 2026 года продавали в DNS за 1,08 млн ₽. Игровая карта: RTX 4090, RTX 5090 с 24–32 ГБ, для рабочей станции; RTX 5090 на 29.09.2026 стоила 639 990–654 990 ₽ в Регарде. Мощность карты: у RTX 5090 до 575 Вт, у H100 до 700 Вт; от нее зависят счет за электричество и цена места в стойке.

Юнит, размещение: место для сервера в стойке чужого дата-центра, в Москве от 7 500 ₽ в месяц с 300 Вт; наш калькулятор добавляет 2 000 ₽ за каждые 100 Вт сверх них. Аренда видеокарты: почасовая оплата карты у российского провайдера; на 30.09.2026 RTX 4090 сдают от 31,75 ₽ в час, H100 от 242 ₽ в час по агрегатору GPU Индекс.

Единый интерфейс модели: способ подключить агентов так, чтобы модель менялась настройкой, а не переделкой. MCP: протокол, по которому агент подключает инструменты: базы, API, документы; Т2 включил его в требования тендера. Маршрутизатор: компонент гибридной схемы, который решает, куда уйдет запрос: локально или в облако.

Закон

Суверенная модель: по 243-ФЗ с 1 марта 2027 года модель, которую российское юрлицо разрабатывает и полностью воспроизводит, включая обучение, с ответами и хранением данных в российских дата-центрах. Национальная модель: допускает открытые иностранные компоненты при серверах и данных в России.

Закрытый контур: сеть без выхода в интернет, где работают модель и данные. Локальное развертывание, on-premise: модель на ваших серверах, при этом сеть может быть открытой. Часть зарубежных облачных моделей из России недоступна по решению самих поставщиков: с 9 июля 2024 года OpenAI блокирует запросы из стран, которых нет в его списке, и России в этом списке нет.

Договор поручения: документ по 152-ФЗ, по которому провайдер обрабатывает персональные данные по вашему поручению; у большинства зарубежных поставщиков его нет. Трансграничная передача: отправка персональных данных на серверы за рубежом, для нее 152-ФЗ ставит отдельные условия. Обезличивание: замена имен и номеров метками перед отправкой в облако; по 152-ФЗ после него без дополнительной информации нельзя определить, чьи это данные; если связь метки с человеком легко восстановить, данные могут остаться персональными.

Какие термины путают и во что это обходится

Локальный, закрытый контур и суверенный не синонимы. Локальная модель стоит на ваших серверах, закрытый контур вдобавок отрезан от интернета, а суверенный статус по 243-ФЗ относится к самой модели и ее разработчику, а не к месту установки. Иностранная модель с открытыми весами на вашем сервере может работать в закрытом контуре, но суверенной по закону от этого не станет.

Открытые веса не означают свободу использования. Условия задает лицензия: Apache 2.0 разрешает коммерческое использование, у других моделей бывают ограничения. Перед запуском юрист читает лицензию модели так же, как договор с поставщиком.

Скорость одного потока и суммарная скорость сервера при пакетной выдаче отличаются. Спрашивайте, сколько токенов в секунду получит каждый пользователь в час пик, а не сколько сервер выдает в сумме.

Обезличивание и анонимность тоже разные вещи. Если подрядчик заменил имена метками, но таблица соответствия лежит рядом, данные по 152-ФЗ могут остаться персональными, и для облака снова нужен договор поручения.

Как проверить смету с помощью этих терминов

Цену проекта задают четыре числа: параметры модели и разрядность весов, контекст, число одновременных пользователей и нужная скорость в токенах в секунду. Попросите подрядчика назвать все четыре и посчитайте память сами: веса плюс KV-кэш на всех пользователей плюс запас 15%.

Пример по правилу нашего калькулятора. Открытая модель на 32 млрд параметров в 4 битах занимает 32 × 0,55 = 17,6 ГБ. Контекст 16 000 токенов по 0,25 МБ дает около 4 ГБ кэша на человека, на пять одновременных пользователей около 20 ГБ. С запасом 15% выходит около 43 ГБ.

Одна RTX 5090 на 32 ГБ такую нагрузку не вместит, хотя веса помещаются в нее с запасом. Нужны две RTX 5090 на 64 ГБ или одна RTX PRO 6000 на 96 ГБ за 1,08 млн ₽. Для одного пользователя хватит одной RTX 5090: 17,6 ГБ весов и 4 ГБ кэша с запасом дают около 25 ГБ.

Если память посчитана только под веса, ошибка проявится в первую неделю работы с людьми: запросы встанут в очередь, а при выгрузке слоев в оперативную память ответы замедлятся. Перед покупкой проверьте нагрузку на арендованной карте: трое суток аренды RTX 5090 от 46,30 ₽ в час стоят около 3 300 ₽ по нашему расчету. Пилотного агента на локальной модели мы собираем за 14 дней от 149 000 ₽ на вашем железе или на арендованных видеокартах в России; железо мы не продаем и комиссий с него не берем.

Вопросы и ответы

Что такое токен в нейросети и сколько их в странице текста?

Токен: кусок слова, которым модель читает и пишет текст. По данным крупного российского разработчика ИИ, у его модели в среднем 3–4 символа на токен, значит страница в 1 800 знаков занимает 450–600 токенов. Облако выставляет счет за токены входа и выхода, поэтому длина документов и ответов прямо задает расходы.

Что значат 7B и 70B в названии модели?

Это число параметров в миллиардах: 7B значит 7 млрд, 70B значит 70 млрд. От него зависят память и скорость: в 4 битах модель 70B занимает около 40 ГБ и на одной H100 дает 25 токенов в секунду против 144,5 у модели 8B по опубликованным замерам. Больше параметров нужно не всегда: в сравнении Петрович-Теха модель на 9 млрд параметров на задачах из 2–3 шагов сравнялась с облачными.

Что такое квантизация и сильно ли она портит модель?

Квантизация сжимает веса с 16 бит до 8 или 4, и память под модель падает в 2–3,6 раза. Потери качества зависят от модели и задачи, поэтому сжатую версию проверяют на своих типовых запросах до покупки железа. Петрович-Тех запускал модель на 9 млрд параметров в 4 битах на одной видеокарте, и на коротких задачах она не уступила облачным моделям в сравнении из 27 прогонов.

Что такое инференс простыми словами и сколько он стоит?

Инференс: работа обученной модели, когда она отвечает на запросы. У себя вы платите за него железом, электричеством и размещением, в аренде почасово: RTX 4090 в России сдают от 31,75 ₽ в час на 30.09.2026, это около 23 000 ₽ в месяц при работе круглые сутки по нашему расчету. В облаке платите за каждый токен входа и выхода.

Чем суверенная модель отличается от локальной?

Локальная описывает место: модель работает на ваших серверах. Суверенная по 243-ФЗ описывает происхождение: модель разработана и полностью воспроизводится российским юрлицом, включая обучение, а ответы и данные хранятся в российских дата-центрах. Норма действует с 1 марта 2027 года, заключение для вашей компании дает юрист.

Источники и проверка

Проверено редакцией 29 сентября 2026.

  1. llama.cpp, производительность на Apple Silicon, таблица обновлена 25.08.2026 (github.com)
  2. GPU-Benchmarks-on-LLM-Inference, Llama 3 8B и 70B, май 2024 (github.com)
  3. HOSTKEY, colocation в Москве, 2026 (hostkey.ru)
  4. CNews, какие модели ИИ получат статус суверенных, 28.09.2026, материал с пометкой «реклама» (corp.cnews.ru)
  5. Anti-Malware, 152-ФЗ и нейросети, 17.06.2026 (anti-malware.ru)
  6. iXBT, Т-Банк выпустил T-Pro 2.0 (32B, Apache 2.0), 18.07.2025 (ixbt.com)
  7. Sber Developers, подсчет токенов GigaChat: в среднем 3–4 символа на токен, 17.07.2026 (developers.sber.ru)
  8. Федеральный закон от 26.07.2026 № 243-ФЗ, текст на КонсультантПлюс (consultant.ru)
  9. Федеральный закон № 152-ФЗ «О персональных данных», текст на КонсультантПлюс (consultant.ru)
  10. Цифровые платформы, кейс №4067: локальный агент ИТ-руководителя Альфа-Банка, около 70 токенов в секунду на Mac (platforms.su)
  11. Цифровые платформы, кейс №4084: VK Tech, две модели в 22,4 ГБ из 24 ГБ видеопамяти (platforms.su)
  12. Цифровые платформы, кейс №4085: Петрович-Тех, сравнение трех моделей в 27 прогонах (platforms.su)
  13. Цифровые платформы, кейс №2929: ИТ-холдинг Т1, собственная модель на договорах (platforms.su)
  14. Цифровые платформы, кейс №3148: тендер Т2 на помощника разработчика в закрытом ЦОД (platforms.su)
  15. Регард, GeForce RTX 5090, цены на 29.09.2026 (regard.ru)
  16. iXBT, RTX PRO 6000 Blackwell 96 ГБ за 1,08 млн ₽ в DNS, 02.02.2026 (ixbt.com)
  17. TechPowerUp, GeForce RTX 5090: 575 Вт, 32 ГБ GDDR7 (techpowerup.com)
  18. NVIDIA, H100: SXM 80 ГБ до 700 Вт (nvidia.com)
  19. GPU Индекс, аренда RTX 4090 в России: от 31,75 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  20. GPU Индекс, аренда RTX 5090 в России: от 46,30 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  21. GPU Индекс, аренда H100 в России: от 242 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  22. OpenAI, поддерживаемые страны API (проверено 29.09.2026) (developers.openai.com)
  23. Caixin, OpenAI блокирует API-трафик из неподдерживаемых стран с 09.07.2024, 26.06.2024 (caixinglobal.com)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram