Кейс · ИТ-компании · Россия

VK Tech: две модели уместились в 22,4 ГБ из 24 ГБ видеопамяти при контексте 65 536 токенов

Команда собрала локального ИИ-агента в закрытом контуре на связке Ollama и агентной обвязки на арендованном GPU-сервере с картой NVIDIA A30 на 24 ГБ. Модели: gpt-oss 20b (13 ГБ) для текста и инструментов и qwen3-vl 8b (6,1 ГБ) для изображений; вместе с KV-кэшем на контекст 65 536 токенов занято 22,4 ГБ.

Результат
две модели уместились в 22,4 ГБ из 24 ГБ видеопамяти при контексте 65 536 токенов
Источник
Цифровые платформы, кейс №40842 сентября 2026

Что сделали и что получили

  • Агент правит тексты в заданных персонах, гоняет ночную очередь исследований по cron каждые 10 минут, ищет в вебе и работает с файлами в границах рабочей директории.
  • Надежная цепочка до примерно 6 последовательных вызовов инструментов; таймаут холодной загрузки поднят выше 300 секунд; на отладку двенадцати ошибок ушел один вечер.
  • Режим однопользовательский.
  • Публикация 21 августа 2026 года.

Что взять себе

Точная арифметика памяти из кейса: веса плюс KV-кэш должны уместиться в видеопамять с запасом. Наш калькулятор памяти считает по той же формуле.

ИИ-агенты на локальной модели для вашей команды: пилот за 14 дней

Пилотный ИИ-агент на локальной модели за 14 дней от 150 000 ₽ с метрикой в договоре, на вашем железе или арендованных GPU в России. ИИ-отдел из 3–5 агентов за 4–6 недель от 450 000 ₽. Железо покупаете вы по нашей спецификации.

Источник

Числа принадлежат организации из источника и приведены без пересчета: Цифровые платформы, кейс №4084, 2 сентября 2026. Тип данных: карточка каталога проектов. Числа сверены с источником 30 сентября 2026. Организация из кейса не наш клиент, результат не обещание для вашей компании.

Похожие кейсы

  • Кейс рынка · Россия

    ЛАНИТ сбор требований в 4 раза быстрее, время поиска документов на 66% меньше на платформе локальных LLM

    Группа разработала платформу для локального развертывания больших языковых моделей на инфраструктуре заказчика: чат и сложные конвейеры обработки документов, аудио и изображений. Дочерняя компания создала собственную модель, дообученную на русскоязычных данных, и пилотирует ее в CRM-, SRM- и HRM-проектах и корпоративных чат-ботах.

    ИТ-компании

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    ИТ-холдинг Т1 согласование договоров за 3 дня вместо двух недель, затраты на сравнение документов ниже на 40%

    Юридический департамент холдинга, более 70 юристов, больше года обучал собственную языковую модель на юридических данных компании. Согласование договоров сократилось с двух недель до трех дней, сравнение двух версий документа выполняется в пять раз быстрее, чем вручную.

    ИТ-компании

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    НСИС, оператор АИС страхования обработка обращений в 20 раз быстрее на локальной LLM, рост обращений в 1,5 раза без найма

    Оператор национальной страховой информационной системы развернул большую языковую модель локально и построил на ней три контура: автоматическую обработку обращений с множественными полями, RAG-сервис технической поддержки на документах компании и ИИ-агентов в процессе разработки, включая автоматический код-ревью.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Петрович-Тех локальная модель на 9 млрд параметров сравнялась с облачными на задачах из 2–3 шагов: 27 прогонов

    ИТ-подразделение сети строительных магазинов сравнило три модели в единой агентной обвязке с 13 виджетами аналитической панели и около 30 инструментами: облачную западную модель, облачную открытую модель на 235 млрд параметров и локальную модель на 9 млрд параметров в 4-битной квантизации на одной видеокарте. Схема: 3 сценария, 3 модели, 3 прогона, 27 запусков.

    Ритейл и производство

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Девелопер MR ИИ-контролер проектного финансирования в изолированном контуре: время на анализ кредитной документации меньше на 80%

    Девелопер вместе с банком внедрил ИИ-контролера на российской языковой модели для автоматической проверки условий проектного финансирования и мониторинга кредитных обязательств. По данным компании, время на анализ кредитной документации сократилось на 80%. Каждый крупный проект сопровождают сотни страниц кредитной документации и десятки дополнительных соглашений; система собирает мастер-версию каждого договора и ведет единый календарь обязательств.

    Промышленность и инфраструктура

    15 сентября 2026 · источник: comnews.ru

    Читать кейс

Пилот со скидкой для 3 компаний

Пилот за 50 000 ₽ вместо 150 000 ₽. Взамен публикуем разбор проекта с цифрами. Мест свободно: 2 из 3.

Занять место

Цены и замеры в разделе проверены 29.09.2026 по источникам внизу страниц. Мы собираем ИИ-агентов на облачных и локальных моделях и не продаем железо. Расчеты оценочные, юридические выводы по 152-ФЗ и 243-ФЗ дает ваш юрист.

Контакты

Посчитаем локальный ИИ под вашу задачу за 30 минут

Скажем, какая модель подойдет, на каком железе она заработает и когда выгоднее облако. Бесплатно.

Telegram

@mmoozzggru

Ответим в течение рабочего дня. Все контакты

Написать в Telegram