Что делаем
Подбираем открытую модельмодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. по вашим 50 запросам: 8–9 млрд, 30 млрд или 70 млрд параметров, русскоязычную или мировую. Считаем железо по калькуляторам и даем спецификацию для покупки или аренды. Ставим движок под нагрузку: для одного пользователя или для параллельной работы отдела. Собираем агентов через единый интерфейс модели, чтобы облако и локальная модельлокальная модель. Локальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят. менялись настройкой. Настраиваем маршрутизацию для гибридной схемы и обезличивание перед отправкой в облако. Ставим мониторинг и передаем вашему инженеру с инструкцией.
Какие задачи агенты уже решают на локальной модели
Обращения и поддержка. Оператор национальной страховой информационной системы на одной локальной модели ускорил обработку обращений в 20 раз и принял рост потока в 1,5 раза за год без найма; на той же модели работают ответы поддержки по базе документов и проверка кода.
Договоры. Юридический департамент ИТ-холдинга, более 70 юристов, на своей модели в защищенном контуре сократил согласование договоров с двух недель до трех дней. Интегратор собрал агента первичного анализа договоров в закрытом контуре заказчика: агент сверяет реквизиты и условия, находит расхождения и готовит результат для юриста.
Панели и отчеты. Сеть строительных магазинов проверила агента с 13 виджетами панели и около 30 инструментами. На задачах из 2–3 шагов локальная модель на 9 млрд параметров на одной видеокарте не уступила двум облачным, а на задаче с переносом данных в файлы дала 100% точности.
Где локальная модель слабее облачной
Длинные цепочки. На задаче из 15 шагов в том же тесте локальная модель дала 1 успех из 3 прогонов и 2 ложных отчета о завершении; полностью проверяемого результата не дала ни одна из трех моделей. Команда, которая собрала агента на одной карте с 24 ГБ, называет надежной цепочку примерно до 6 последовательных вызовов инструментоввызов функций. Вызов функций (function calling) это способ, которым языковая модель просит программу выполнить действие: модель выбирает функцию и заполняет ее параметры, а код приложения выполняет запрос и возвращает результат.. Поэтому мы делим процесс на короткие шаги и проверяем каждый кодом.
Память. В том же кейсе две модели и контекст на 65 536 токеновтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. заняли 22,4 ГБ из 24 ГБ видеопамяти, а время ожидания холодной загрузки модели пришлось поднять выше 300 секунд. Для одного пользователя этого хватает; для отдела нужен сервер, который мы считаем в спецификации.
Внешние знания. В закрытом контуре у агента нет поиска в интернете и флагманских моделей. Если задаче нужны свежие внешние данные, мы предлагаем гибридную схему: обезличенный запрос уходит в облако, закрытые данные остаются у вас.
Пилот: 14 дней, от 149 000 ₽
Один агент на одном процессе на вашем или арендованном железе. Метрика в договоре: доля обращений без оператора, минуты на документ, время ответа. Экзамен на 50 запросах до и после. Результат: работающий агент, отчет с цифрами и расчет железа для масштабирования. Если локальная модель задачу не тянет, говорим об этом в отчете и показываем, где ее тянет облако.
Что нужно от вас для старта
50 реальных запросов с ожидаемыми ответами: по ним выбираем модель и принимаем результат. Метрика процесса до старта: минуты на документ, доля обращений без оператора или число ошибок. Решение службы безопасности, какие данные можно использовать в пилоте и где он идет: на вашем железе или на арендованной карте в российском облаке. Инженер или ответственный сотрудник, которому мы передаем агентов и инструкцию.
Если собрать 50 запросов некому, это первый сигнал: у процесса нет владельца, и агент эту проблему не решит. Тогда начинаем с разбора процесса, а не с модели.
ИИ-отдел: 4–6 недель, от 390 000 ₽
3–5 агентов на одной локальной модели с общей базой знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. и очередью задач: например, разбор входящих обращений, ответы по документам, подготовка черновиков и панель руководителя. Сервер или рабочая станция по нашей спецификации, движок для параллельной работы, маршрутизация в облако для задач на обезличенных данных. Для крупных компаний: от 1 500 000 ₽ за 2–3 месяца с несколькими отделами и интеграциями.
Поддержка: от 40 000 ₽ в месяц
Обновления модели и движка с повторным экзаменом, мониторинг, разбор инцидентов, план на отказ карты. ИИ-директорИИ-директор. ИИ-директор это руководитель, который отвечает за искусственный интеллект во всей компании: выбирает, что внедрять, контролирует подрядчиков, бюджет и риски. от 99 000 ₽ в месяц: человек, который ведет ваши агенты и локальную инфраструктуру как продукт, с отчетом руководителю.
Чего не делаем
Не продаем железо и не берем комиссию с продавцов: спецификацию вы покупаете где хотите. Не обещаем, что локальная модель решит задачу флагмана: это проверяется пилотом. Не обучаем модели с нуля; дообучениедообучение. Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле. на ваших данных возможно как отдельный проект. Не даем юридических заключений по 152-ФЗ и 243-ФЗ: описываем архитектуру, заключение дает ваш юрист.
Почему мы считаем обе стороны
Мы собираем агентов и на облачных, и на локальных моделях, поэтому нам не нужно продать вам сервер. Калькуляторы в этом разделе показывают, когда облако дешевле, и мы говорим это в пилоте. Основатель Михаил Мозг ведет медиа-канал и разбирает кейсы публично; цифры на этой странице те же, что в договоре.