Обучение модели против агента
Обучить модель значит прогнать через нее триллионы слов, чтобы она выучила язык и общие знания. DeepSeek-V3 обучали на 14,8 трлн токеновтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. (фрагментов слов), у модели 671 млрд параметров, из них на каждый токен работают 37 млрд.
Параметры это числа внутри модели, которые подбираются при обучении, а токены это куски слов, которыми модель читает и пишет текст. Чем больше параметров, тем больше видеокарт и времени уходит на обучение.
Компании такая работа не нужна. Язык и общие знания у открытых моделеймодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. уже есть, а знания о вашей компании модели дают другим способом.
Обучение с нуля имеет смысл для компаний, которые продают сами модели. Им нужны свои наборы данныхдатасет. Датасет (dataset) это набор данных, собранный и оформленный для обучения или проверки модели: таблица, папка с картинками или корпус текстов, где каждый пример описан одинаково., кластер видеокарт и команда исследователей, а у компании, которой нужен помощник для сотрудников, задача другая.
Агент это готовая модель плюс инструкция, ваши документы и инструменты. Документы подключают через RAGRAG. RAG это схема, в которой ИИ сначала находит нужные фрагменты в ваших документах, а потом отвечает, опираясь на них.: перед ответом агент ищет в вашей базе нужные фрагменты и отвечает по ним. Подход описали Льюис и соавторы в 2020 году, и он работает без обучения модели.
Знания агента обновляются сразу: заменили регламент в базе, и агент отвечает по новому. Обученную на старом регламенте модель пришлось бы учить заново.
Поэтому на вопрос о своей нейросети для бизнеса ответ почти всегда один: открытая модель, ваши документы и агент поверх них.
Открытые модели с бесплатной лицензией
Открытые веса значат, что файл модели можно скачать и запустить у себя. Для бизнеса важны два условия: лицензия разрешает коммерческое использование, а модель помещается в ваше железо.
DeepSeek R1 вышла 20 января 2025 года на лицензии MIT. Семейство Qwen 3 вышло 29 апреля 2025 года на лицензии Apache 2.0. Обе лицензии разрешают использовать модели в работе компании без оплаты разработчику.
Запускает такие модели Ollama, программа с лицензией MIT: она скачивает модель одной командой и работает на вашем компьютере или сервере.
В Ollama можно сделать и «свою» модель без обучения. Файл Modelfile задает базовую модельбазовая модель. Базовая модель (foundation model) это большая нейросеть, обученная на огромном объеме общих данных, которую потом приспосабливают к множеству конкретных задач. (строка FROM), системное сообщение с ролью и правилами (SYSTEM) и параметры (PARAMETER). Команда ollama create имя -f ./Modelfile собирает из них модель под вашим именем, команда ollama run имя запускает ее.
Пример такого файла из двух строк: FROM qwen3 и SYSTEM с текстом «Ты консультант отдела продаж нашей компании, отвечай кратко и только по прайсу». После ollama create модель отвечает в этой роли без напоминаний.
Это та же открытая модель с вашей инструкцией внутри, и сотрудники работают с ней как с нейросетью компании. Список других открытых моделей с размерами и лицензиями есть в обзоре открытых моделей.
Когда нужно дообучение
Дообучениедообучение. Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле. (fine-tuning) меняет готовую модель на ваших примерах. Его применяют, когда инструкции и документов мало: нужен особый формат ответа, узкая терминология или стиль, который модель не держит по инструкции.
Пример: модель должна раскладывать входящие заявки в строгий формат для вашей учетной системы, а инструкция с образцами не помогает. Тогда размеченные заявки и дообучение решают задачу.
Полное дообучение крупной модели дорогое, поэтому чаще берут метод LoRALoRA. LoRA (Low-Rank Adaptation) это способ дешево дообучить большую нейросеть: основные веса не меняют, а обучают маленькую добавку, которая подстраивает модель под задачу или стиль.: он обучает небольшую добавку к модели, а саму модель не трогает. Авторы метода показали, что для GPT-3 175B он сокращает число обучаемых параметров в 10 000 раз, а требования к памяти видеокарт в 3 раза.
Порядок такой: сначала инструкция, потом RAG с документами, и только если обоих не хватает, дообучение. Для дообучения нужны качественные примеры правильных ответов и человек, который проверит результат.
Дообучение привязано к версии модели. Когда выйдет новая версия, работу придется повторить, а инструкция и документы переносятся на новую модель без изменений.
Своя нейросеть на своем сервере
Своя нейросеть в полном смысле работает на вашем сервере: модель, документы и журнал запросов не выходят из компании. Для этого нужны сервер с видеокартой или компьютер с достаточной памятью, Ollama и агент поверх нее.
Сколько памяти нужно, зависит от размера модели. В каталоге Ollama файл Qwen 3 на 4 млрд параметров весит 2,5 ГБ, на 8 млрд 5,2 ГБ, на 32 млрд 20 ГБ, а самая крупная версия на 235 млрд 142 ГБ. Памяти нужно чуть больше, чем весит файл: для стартовой модели весом около 7,2 ГБ документация Ollama просит 8 ГБ свободной видеопамяти или общей памяти Mac. Цену своего сервера под нужную модель посчитайте в калькуляторе локального ИИ.
Начните с проверки на ноутбуке: поставьте Ollama, возьмите небольшую модель и задайте ей типичные вопросы ваших сотрудников. Если ответы устраивают, переходите к серверу, если нет, проверьте модель крупнее до покупки железа.
Собрать такую нейросеть за неделю можно без программиста: Ollama, модель и конструктор агентов без кода ставятся по документации. Как это сделать по шагам, разобрано на странице о локальном агенте.
Программист нужен, когда агент должен работать с CRM, 1С и персональными данными клиентов. Тогда к модели добавляются доступы, журнал действий и проверка ответов человеком.
Сколько сотрудников выдержит один сервер
Своя нейросеть отвечает не всем сразу. По умолчанию Ollama обрабатывает каждой моделью 1 запрос одновременно, остальные ставит в очередь вместимостью до 512 запросов, а при нехватке памяти новые запросы ждут.
Для небольшой команды, которая задает по нескольку вопросов в день, очередь почти незаметна. Если с моделью одновременно работает целый отдел или агент отвечает клиентам, каждый следующий в очереди ждет, пока модель закончит предыдущие ответы.
Число одновременных запросов меняют настройкой OLLAMA_NUM_PARALLEL, но при нехватке памяти запросы все равно встают в очередь. Поэтому сервер выбирают по двум цифрам: размер модели и число людей, которые обращаются к ней одновременно.
Для задач сложнее ответов по регламентам есть модели крупнее. OpenAI выложила открытые gpt-oss-20b и gpt-oss-120b на лицензии Apache 2.0: первая работает в 16 ГБ памяти, вторая на одной видеокарте с 80 ГБ.
Данные компании и требования закона
Главная причина держать нейросеть у себя: данные. При локальной работе Ollama не видит запросов и данных пользователя, поэтому договоры, цены и переписка остаются на вашем сервере.
Чем рискует компания с публичным сервисом, показал случай Samsung: 2 мая 2023 года она запретила сотрудникам генеративный ИИгенеративный ИИ. Генеративный ИИ (generative AI) это нейросети, которые создают новый контент: тексты, изображения, музыку, видео и программный код по описанию на обычном языке. после того, как инженеры загрузили в ChatGPT внутренний исходный код.
Если нейросеть видит персональные данные, действует 152-ФЗ: данные граждан РФ собирают и хранят в базах на территории России, а до передачи за рубеж оператор подает уведомление в Роскомнадзор. С 30 мая 2025 года за повторную утечку компания платит от 1 до 3% выручки, но не меньше 25 млн и не больше 500 млн рублей.
С 1 сентября 2026 года действует 243-ФЗ о технологиях ИИ: случаи, когда обязательны суверенные и национальные модели, определяет Правительство. Если ваши заказчики государственные, проверьте эти требования до выбора модели.
Три вопроса до покупки сервера
Проекты своей нейросети чаще упираются не в технику, а в выбор задачи. По прогнозу Gartner от 25 июня 2025 года, больше 40% проектов агентного ИИагентный ИИ. Агентный ИИ это подход, при котором нейросеть получает цель и сама ведет работу к результату: планирует шаги, вызывает программы и проверяет, что получилось. закроют к концу 2027 года из-за затрат, неясной пользы и слабого контроля рисков.
Поэтому до покупки железа ответьте на три вопроса. Какую работу заберет нейросеть: ответы по регламентам, разбор заявок, поиск по договорам. Сколько часов в неделю эта работа занимает сейчас. Какие данные увидит модель и подпадают ли они под 152-ФЗ.
Пример: юристы компании тратят часы на поиск нужных пунктов в типовых договорах. Нейросеть с этими договорами в базе отвечает со ссылкой на пункт, юрист проверяет готовый ответ вместо поиска, а договоры с данными контрагентов не покидают сервер компании.
Если на первый вопрос нет ясного ответа, сервер покупать рано. Сначала проверьте идею на ноутбуке с небольшой моделью и посчитайте, сколько часов она сэкономит за месяц.