ММООЗЗГГ.ru

Разбор

Открытые языковые модели для локального запуска: что есть и что выбрать

7 мин21 источник

Локальный ИИ стоит на открытых языковых моделях, то есть на моделях с открытыми весами: их можно скачать бесплатно и запустить на своем железе. Ниже те, что имеют смысл для русскоязычного бизнеса, с размерами, лицензиями и датами выхода, сколько стоит их запустить, где они справляются и правило выбора по задаче и памяти.

На странице · 8 разделов

Российские открытые модели

Открытая модель крупного российского банка: 32 млрд параметров, лицензия Apache 2.0, гибридный режим рассуждений, выложена 18 июля 2025 года; разработчик заявляет более высокое качество на сложных запросах и экономию вычислений в 2 раза на русскоязычных запросах по сравнению с открытыми Qwen3 и DeepSeek R1-Distil. Лицензия разрешает скачивать, использовать, адаптировать и дообучать модель. Открытая модель крупного российского разработчика ИИ: 8 млрд параметров, контекст 32 000 токенов, открытые веса с 25 февраля 2025 года, разработчик отмечает, что модель не требует больших мощностей. Тот же банк держит собственное семейство моделей в своем периметре; по данным кейса, в него входят модели с открытой лицензией Apache 2.0.

У модели на 8 млрд параметров открыта базовая версия: ее обучали на 15 трлн токенов русских и английских текстов, кода и вычислений, а затем на 320 млрд токенов отобранных данных, и она предназначена для дообучения под свои задачи. Флагманы российских провайдеров с открытыми весами не выкладываются: их ставят у себя только через лицензионную поставку.

Мировые открытые модели

Семейство Qwen используется российскими компаниями в локальных контурах: производитель косметики поставил Qwen для поиска по каталогу, ИТ-руководитель банка гоняет агента на Qwen 3.6-35B-A3B со скоростью около 70 токенов в секунду на Mac, ИТ-подразделение сети магазинов сравнило локальную Qwen3.5-9B с облачными. Открытая модель gpt-oss 20b занимает 13 ГБ и работает вместе с моделью зрения на карте с 24 ГБ. Швейцарская Apertus выложена в размерах 8 и 70 млрд параметров с полностью открытыми весами, данными и рецептом обучения, лицензия допускает коммерческое применение.

Часть мировых моделей устроена как смесь экспертов: у Qwen 3.6-35B-A3B 35 млрд параметров, но на каждый токен работают около 3 млрд, поэтому она быстрая даже на Mac. Команда облачного провайдера уместила на одной карте с 24 ГБ две модели, gpt-oss 20b для текста и модель зрения на 8 млрд, вместе с памятью под контекст 65 536 токенов: занято 22,4 ГБ. Apertus обучена на 15 трлн токенов на более чем 1 000 языках, 40% данных не на английском. Самые крупные открытые модели тяжелы для одного компьютера: модель на 671 млрд параметров на Mac Studio с 512 ГБ выдает 6,21 токена в секунду.

Как выбирать

Сначала память: модель на 8 млрд параметров в 4-битной квантизации занимает около 5 ГБ, на 32 млрд около 20 ГБ, на 70 млрд около 40 ГБ. Затем задача: по нашей оценке, для извлечения данных из документов и коротких цепочек хватает 8–32 млрд, для длинных рассуждений нужны крупные модели или облако. Затем язык: проверяйте модель на своих 50 запросах, а не на бенчмарках. Затем лицензия: Apache 2.0 и аналоги допускают коммерческое использование без отчислений.

Квантизация

Квантизация сжимает веса с 16 бит до 8 или 4 бит: память падает в 2–4 раза, потери качества зависят от модели и задачи. Локальная модель в тесте сети магазинов работала в 4-битной квантизации на одной видеокарте и на коротких задачах не уступила облачным. Для агентов мы берем 4–8 бит и проверяем на своих данных.

Сколько стоит запустить

Сами веса бесплатны, платите за железо, электричество и время инженера. Модель на 8 млрд параметров в 4 битах работает на ноутбуке с 16 ГБ. Модель на 32 млрд помещается на видеокарту с 32 ГБ, которая на 30.09.2026 стоила 749 990 ₽ у одного продавца без компьютера, или на Mac с 48 ГБ. Для 70 млрд нужна карта на 96 ГБ, которая в феврале 2026 года стоила 1,08 млн ₽, или Mac Studio со 128 ГБ за 886 757 ₽.

Рабочая станция с картой на 32 ГБ с учетом износа, электричества и доли инженера, по нашему расчету, обходится около 66 156 ₽ в месяц при любом объеме до предела карты. Проверить модель до покупки можно на арендованной карте: H100 в российском облаке на 30.09.2026 сдавали от 242 ₽ в час, карты попроще дешевле в разы.

Где открытые модели справляются, а где нет

Справляются с потоком однотипной работы: извлечением полей из документов, классификацией обращений, ответами по базе знаний, черновиками писем. Оператор страховой информационной системы на локальной модели ускорил обработку обращений в 20 раз и выдержал рост обращений в 1,5 раза без найма. Юридический департамент ИТ-холдинга, более 70 юристов, больше года обучал модель на своих договорах и сократил согласование с двух недель до трех дней. Интегратор держит модели на 8–14 млрд параметров на стандартном сервере.

Не справляются с длинными цепочками: на задаче из 15 шагов в тесте сети строительных магазинов полностью проверяемого результата не дала ни одна модель, а локальная на 9 млрд параметров в двух прогонах из трех ложно сообщила о завершении. Поэтому агентов на открытых моделях проектируют короткими шагами, а тяжелую детерминированную обработку выносят в обычный код.

Лицензия и статус по закону

Apache 2.0 разрешает коммерческое использование, доработку и дообучение без отчислений; лицензия Apertus тоже допускает коммерческое применение. У других моделей бывают свои условия, поэтому лицензию читают до пилота, а не после запуска. По закону 243-ФЗ национальная модель может включать компоненты с открытыми лицензиями, в том числе иностранные фундаментальные модели, если серверы и данные в России. Критерии вступают в силу 1 марта 2027 года, так что выбор открытой модели сегодня не закрывает путь к статусу завтра.

Как проверить модель на своей задаче

Возьмите 50 реальных запросов с ожидаемыми ответами и прогоните их на трех моделях: открытой на 8–9 млрд, открытой на 30–70 млрд и облачной среднего уровня. Считайте не цену за токен, а цену решенной задачи: модель, которая ошибается в 10% случаев, стоит столько, сколько стоит разбор этих 10% человеком.

Выберите наименьшую модель, которая прошла экзамен: она дешевле по памяти и быстрее. Зафиксируйте версии модели и программы запуска, а каждое обновление проверяйте на тех же 50 запросах. Такой экзамен мы проводим в пилоте за 14 дней от 149 000 ₽.

Вопросы и ответы

Понимают ли зарубежные открытые модели русский язык?

Крупные семейства понимают, но качество на русском у разных моделей разное. Проверяйте на своих запросах: 50 реальных диалогов покажут больше, чем таблица бенчмарков.

Можно ли дообучить открытую модель на своих данных?

Да, ИТ-холдинг больше года дообучал модель на своих договорах. Для большинства задач достаточно поиска по документам (RAG) без дообучения.

Можно ли запустить у себя старшую российскую облачную модель?

Флагманы российских провайдеров с открытыми весами не выкладываются. Корпоративная версия облачной модели одного из крупнейших банков по анонсу 3 марта 2026 года поставляется локально на серверах заказчика, в облаке провайдера и гибридно, но это лицензионная поставка. Бесплатно у себя запускаются модели с открытыми весами: российские на 8 и 32 млрд параметров и мировые открытые семейства.

Сколько памяти нужно модели на 32 млрд параметров?

В 4-битной квантизации около 20 ГБ на веса. Каждый одновременный диалог добавляет память под контекст: для 10 диалогов по 8 000 токенов нужно еще около 20 ГБ. Поэтому для одного пользователя хватает карты на 32 ГБ, а для отдела считают память по калькулятору.

Бесплатны ли открытые модели?

Веса бесплатны, а лицензии вроде Apache 2.0 не требуют отчислений. Платите вы за железо или аренду, электричество и обслуживание: рабочая станция с картой на 32 ГБ, по нашему расчету, обходится около 66 156 ₽ в месяц вместе с долей инженера.

Источники и проверка

Проверено редакцией 29 сентября 2026.

  1. iXBT, Т-Банк выпустил T-Pro 2.0 (32B, Apache 2.0), 18.07.2025 (ixbt.com)
  2. Яндекс, открытые веса YandexGPT 5 Lite 8B, 25.02.2025 (yandex.ru)
  3. ETH Zurich, пресс-релиз Apertus, 02.09.2025 (ethz.ch)
  4. Цифровые платформы, кейс №4027, 2 сентября 2026: Фаберлик (platforms.su)
  5. Цифровые платформы, кейс №4085, 2 сентября 2026: Петрович-Тех (platforms.su)
  6. Цифровые платформы, кейс №2447, октябрь 2025: Т-Банк (platforms.su)
  7. Цифровые платформы, кейс №3855, 2 сентября 2026: Т-Технологии (platforms.su)
  8. Цифровые платформы, кейс №4067, 2 сентября 2026: Альфа-Банк, ИТ-руководитель (platforms.su)
  9. Хабр, GigaChat Enterprise: локальная, облачная и гибридная поставка, 03.03.2026 (habr.com)
  10. Цифровые платформы, кейс №4084, 2 сентября 2026: VK Tech (platforms.su)
  11. Цифровые платформы, кейс №3475, 2 сентября 2026: НСИС (platforms.su)
  12. Цифровые платформы, кейс №2929, 2025: ИТ-холдинг Т1 (platforms.su)
  13. Цифровые платформы, кейс №2874, 2025: ЛАНИТ (platforms.su)
  14. Hardware Corner, DeepSeek 671B на Mac Studio M3 Ultra 512 ГБ, 27.03.2025 (hardware-corner.net)
  15. Регард, GeForce RTX 5090, цены на 29.09.2026 (regard.ru)
  16. iXBT, RTX PRO 6000 Blackwell 96 ГБ за 1,08 млн ₽ в DNS, 02.02.2026 (ixbt.com)
  17. store-apple.msk.ru, Mac Studio M4 Max 128 ГБ, 29.09.2026 (store-apple.msk.ru)
  18. Хабр (Slurm), зарплаты DevOps-инженеров, 03.09.2026 (habr.com)
  19. GPU Индекс, аренда H100 в России: 41 предложение, от 242 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  20. GPU Индекс, аренда RTX 4090 в России (проверено 30.09.2026) (gpuindex.ru)
  21. CNews, какие модели ИИ получат статус суверенных, 28.09.2026, материал с пометкой «реклама» (corp.cnews.ru)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин

Кейсы по теме: 5

  • Кейс рынка · Россия

    Фаберлик нейросетевой поиск по каталогу на локальной модели Qwen и арендованных GPU

    Производитель косметики заменил классический поиск по каталогу нейросетевым: локальная языковая модель Qwen и векторный семантический поиск развернуты на GPU-инфраструктуре российского облака. Модель работает внутри контролируемой инфраструктуры, данные не передаются во внешние сервисы, затраты на обработку запросов под контролем.

    Ритейл и производство

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Петрович-Тех локальная модель на 9 млрд параметров сравнялась с облачными на задачах из 2–3 шагов: 27 прогонов

    ИТ-подразделение сети строительных магазинов сравнило три модели в единой агентной обвязке с 13 виджетами аналитической панели и около 30 инструментами: облачную западную модель, облачную открытую модель на 235 млрд параметров и локальную модель на 9 млрд параметров в 4-битной квантизации на одной видеокарте. Схема: 3 сценария, 3 модели, 3 прогона, 27 запусков.

    Ритейл и производство

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Т-Банк собственные LLM решают 45% обращений, по оценке затраты на поддержку ниже минимум на 25% в год

    Банк встроил в чат-бот собственные языковые модели семейства Gen-T: около 45% обращений клиентов решаются без оператора. В октябре 2025 года запущены ИИ-копайлоты для операторов первой линии, ими ежедневно пользуются более 90% сотрудников поддержки. Модели развернуты в периметре банка, данные вовне не передаются.

    Банки и финансы

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Т-Технологии ИИ-ассистент для задач с деньгами на собственных моделях Gen-T, бета с 20 июля 2026

    Группа разработала ИИ-ассистента для задач, связанных с деньгами и покупками, на собственных больших языковых моделях семейства Gen-T. Чтобы избежать выдумок, система опирается на верифицированные источники данных, а не только на знания модели. Бета представлена 20 июля 2026 года, полноценный запуск запланирован на осень.

    Банки и финансы

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Альфа-Банк, ИТ-руководитель локальный агент на модели Qwen 3.6-35B-A3B: около 70 токенов в секунду на Mac

    Автономный рабочий агент работает на локально развернутой модели с 35 млрд параметров и примерно 3 млрд активных на токен через LM Studio, скорость около 70 токенов в секунду на Mac. Сначала агент запускался в Docker на Mac, затем переехал на виртуальную машину, что стало переломным моментом по удобству.

    Банки и финансы

    2 сентября 2026 · источник: platforms.su

    Читать кейс
Написать в Telegram