Своя нейросеть для бизнеса: почему не обучение, а агент на открытой модели

Обучить модель значит прогнать через нее триллионы слов, чтобы она выучила язык и общие знания. DeepSeek-V3 обучали на 14,8 трлн токеновтокен Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. Подробнее в словаре (фрагментов слов), у модели 671 млрд параметров, из них на каждый токен работают 37 млрд.

Параметры это числа внутри модели, которые подбираются при обучении, а токены это куски слов, которыми модель читает и пишет текст. Чем больше параметров, тем больше видеокарт и времени уходит на обучение.

Компании такая работа не нужна. Язык и общие знания у открытых моделеймодель с открытыми весами Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. Подробнее в словаре уже есть, а знания о вашей компании модели дают другим способом.

Обучение с нуля имеет смысл для компаний, которые продают сами модели. Им нужны свои наборы данныхдатасет Датасет (dataset) это набор данных, собранный и оформленный для обучения или проверки модели: таблица, папка с картинками или корпус текстов, где каждый пример описан одинаково. Подробнее в словаре, кластер видеокарт и команда исследователей, а у компании, которой нужен помощник для сотрудников, задача другая.

Агент это готовая модель плюс инструкция, ваши документы и инструменты. Документы подключают через RAGRAG RAG это схема, в которой ИИ сначала находит нужные фрагменты в ваших документах, а потом отвечает, опираясь на них. Подробнее в словаре: перед ответом агент ищет в вашей базе нужные фрагменты и отвечает по ним. Подход описали Льюис и соавторы в 2020 году, и он работает без обучения модели.

Знания агента обновляются сразу: заменили регламент в базе, и агент отвечает по новому. Обученную на старом регламенте модель пришлось бы учить заново.

Поэтому на вопрос о своей нейросети для бизнеса ответ почти всегда один: открытая модель, ваши документы и агент поверх них.

Открытые веса значат, что файл модели можно скачать и запустить у себя. Для бизнеса важны два условия: лицензия разрешает коммерческое использование, а модель помещается в ваше железо.

DeepSeek R1 вышла 20 января 2025 года на лицензии MIT. Семейство Qwen 3 вышло 29 апреля 2025 года на лицензии Apache 2.0. Обе лицензии разрешают использовать модели в работе компании без оплаты разработчику.

Запускает такие модели Ollama, программа с лицензией MIT: она скачивает модель одной командой и работает на вашем компьютере или сервере.

В Ollama можно сделать и «свою» модель без обучения. Файл Modelfile задает базовую модельбазовая модель Базовая модель (foundation model) это большая нейросеть, обученная на огромном объеме общих данных, которую потом приспосабливают к множеству конкретных задач. Подробнее в словаре (строка FROM), системное сообщение с ролью и правилами (SYSTEM) и параметры (PARAMETER). Команда ollama create имя -f ./Modelfile собирает из них модель под вашим именем, команда ollama run имя запускает ее.

Пример такого файла из двух строк: FROM qwen3 и SYSTEM с текстом «Ты консультант отдела продаж нашей компании, отвечай кратко и только по прайсу». После ollama create модель отвечает в этой роли без напоминаний.

Это та же открытая модель с вашей инструкцией внутри, и сотрудники работают с ней как с нейросетью компании. Список других открытых моделей с размерами и лицензиями есть в обзоре открытых моделей.

Дообучениедообучение Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле. Подробнее в словаре (fine-tuning) меняет готовую модель на ваших примерах. Его применяют, когда инструкции и документов мало: нужен особый формат ответа, узкая терминология или стиль, который модель не держит по инструкции.

Пример: модель должна раскладывать входящие заявки в строгий формат для вашей учетной системы, а инструкция с образцами не помогает. Тогда размеченные заявки и дообучение решают задачу.

Полное дообучение крупной модели дорогое, поэтому чаще берут метод LoRALoRA LoRA (Low-Rank Adaptation) это способ дешево дообучить большую нейросеть: основные веса не меняют, а обучают маленькую добавку, которая подстраивает модель под задачу или стиль. Подробнее в словаре: он обучает небольшую добавку к модели, а саму модель не трогает. Авторы метода показали, что для GPT-3 175B он сокращает число обучаемых параметров в 10 000 раз, а требования к памяти видеокарт в 3 раза.

Порядок такой: сначала инструкция, потом RAG с документами, и только если обоих не хватает, дообучение. Для дообучения нужны качественные примеры правильных ответов и человек, который проверит результат.

Дообучение привязано к версии модели. Когда выйдет новая версия, работу придется повторить, а инструкция и документы переносятся на новую модель без изменений.

Своя нейросеть в полном смысле работает на вашем сервере: модель, документы и журнал запросов не выходят из компании. Для этого нужны сервер с видеокартой или компьютер с достаточной памятью, Ollama и агент поверх нее.

Сколько памяти нужно, зависит от размера модели: чем больше параметров, тем больше памяти. Цену своего сервера под нужную модель посчитайте в калькуляторе локального ИИ.

Начните с проверки на ноутбуке: поставьте Ollama, возьмите небольшую модель и задайте ей типичные вопросы ваших сотрудников. Если ответы устраивают, переходите к серверу, если нет, проверьте модель крупнее до покупки железа.

Собрать такую нейросеть за неделю можно без программиста: Ollama, модель и конструктор агентов без кода ставятся по документации. Как это сделать по шагам, разобрано на странице о локальном агенте.

Программист нужен, когда агент должен работать с CRM, 1С и персональными данными клиентов. Тогда к модели добавляются доступы, журнал действий и проверка ответов человеком.