Зачем локальный агент
Облачная модель получает каждый запрос агента на сервер своего разработчика. Локальная модель работает у вас, и документация Ollama прямо пишет: при локальной работе компания не видит ваших запросов и данных.
Для данных клиентов это вопрос закона. По 152-ФЗ сбор и хранение персональных данных граждан России ведутся в базах на территории России, а перед передачей данных за рубеж оператор подает уведомление в Роскомнадзор. Как мы устраиваем это в проектах, собрано на странице о безопасности данных.
Открытые моделимодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. для этого есть. DeepSeek выпустила R1 с открытыми весами на лицензии MIT 20 января 2025 года, семейство Qwen 3 вышло 29 апреля 2025 года на Apache 2.0. Открытые веса значат, что саму обученную модель можно скачать и запустить у себя.
Ограничение одно: задачу, которую решает крупная облачная модель, небольшая локальная может не вытянуть. Это проверяют на своих примерах до того, как строить агента.
Ollama и модель
Ollama: бесплатная программа на лицензии MIT, которая скачивает открытые модели и запускает их на компьютере или сервере. Есть версии для macOS, Windows и Linux. Шаги ниже сверены с документацией Ollama.
1. Скачайте Ollama со страницы ollama.com/download для своей системы и откройте приложение. На Linux, если сервер не запустился сам, его включают командой ollama serve.
2. Откройте терминал, окно для текстовых команд, и скачайте модель командой ollama pull qwen3:8b. Файл весит 5,2 ГБ.
3. Запустите чат командой ollama run qwen3:8b и задайте модели несколько вопросов из своей работы на русском. Команда /bye закрывает чат.
4. Пока Ollama работает, она открывает API, программный вход для других приложений, по адресу http://localhost:11434. К этому адресу и подключится агент.
Чем Ollama отличается от других программ запуска моделей, мы разобрали в отдельном сравнении. Для первого агента ее хватает.
Какой компьютер нужен
Все упирается в память. Модель целиком загружается в видеопамятьвидеопамять. Видеопамять (VRAM) это память видеокарты, в которой во время работы лежат веса нейросети и ее промежуточные данные; от ее объема зависит, какая модель поместится на карту. видеокарты или в объединенную память Mac, поэтому файл модели должен там поместиться с запасом на работу.
Документация Ollama для стартовой модели Gemma 4 E2B с файлом около 7,2 ГБ советует 8 ГБ свободной видеопамяти или памяти Mac. Это ориентир для первого опыта.
Qwen 3 в каталоге Ollama есть в нескольких размерах: 4b весит 2,5 ГБ, 8b весит 5,2 ГБ, 14b весит 9,3 ГБ, 30b весит 19 ГБ. Число перед буквой b означает миллиарды параметров. Чем их больше, тем точнее обычно ответы и тем больше памяти нужно.
Другой ориентир дает OpenAI. Ее открытая модель gpt-oss-20b на лицензии Apache 2.0 по данным разработчика работает в 16 ГБ памяти, а старшая gpt-oss-120b требует одной видеокарты на 80 ГБ. Первая подходит для мощного рабочего компьютера, вторая уже для сервера.
Начните с модели, которая помещается в вашу память, и проверьте ее на своих вопросах. Если ответы слабые, переходите к следующему размеру.
Сколько памяти нужно под конкретную модель, посчитает калькулятор памяти. Он покажет, хватит ли вашего компьютера или нужна видеокарта.
Агент поверх локальной модели
Модель в терминале только отвечает на вопросы. Агентом она становится, когда получает инструменты: доступ к таблице, почте, базе документов. Qwen 3 в каталоге Ollama отмечена как модель, которая умеет вызывать инструменты.
Вызывать инструменты умеет не каждая открытая модель. В каталоге Ollama есть фильтр «Tools», и 16 октября 2026 года он оставлял 99 моделей. Выбирайте модель для агента из этого списка, иначе она не сможет ничего сделать, кроме ответа текстом.
Путь без кода идет через n8n, конструктор автоматизаций, который тоже можно запустить на своем компьютере. Шаги ниже сверены с документацией n8n.
1. Запустите n8n командой npx n8n. Нужен Node.js версии от 20.19 до 24.x. После запуска откройте в браузере адрес http://localhost:5678.
2. Создайте процесс и добавьте узел «AI Agent» (ИИ-агентИИ-агент. ИИ-агент это нейросеть, которая сама выполняет задачу по шагам: ищет данные и пользуется программами, а в конце проверяет результат.). Это основа агента в n8n.
3. Подключите к агенту модель «Ollama Chat Modelчат-модель. Чат-модель это языковая модель, дообученная вести диалог: она понимает роли собеседников, следует инструкциям и отвечает на реплики, а не просто продолжает текст.». В учетных данных Ollama укажите «Base URL» (адрес сервера) http://localhost:11434. Если n8n не подключается, замените localhost на 127.0.0.1. В поле «Model» выберите скачанную модель.
4. Подключите к агенту хотя бы один инструмент: документация n8n требует этого для узла «AI Agent». Начните с безопасного, например с чтения таблицы.
Полная сборка агента в n8n, с каналом и памятью, разобрана в инструкции по n8n.
Когда нужен сервер
Компьютер подходит для одного человека. По умолчанию Ollama обрабатывает одной моделью 1 запрос за раз, остальные ждут в очереди, которая вмещает до 512 запросов. Для агента, которому пишут клиенты или весь отдел, этого мало.
Сервер нужен, когда агент работает круглосуточно, обслуживает нескольких сотрудников или клиентов одновременно и хранит персональные данные. Данные граждан России по 152-ФЗ хранят в базах на территории России, поэтому сервер ставят в своем контуре или у российского провайдера.
На сервер ставят движок для параллельной работы и модель крупнее, а это уже работа инженера. Как мы собираем таких агентов, описано на странице об ИИ-агентах на локальной модели.
Перед покупкой железа посчитайте нагрузку: сколько запросов в час, какой размер модели, сколько пользователей одновременно. Без этих цифр легко купить сервер, который будет простаивать.
Сколько стоит и чем вы рискуете
Программы для локального агента бесплатны. Ollama распространяется по лицензии MIT, Qwen 3 по Apache 2.0. У n8n своя лицензия Sustainable Use License: ставить его на свой сервер и менять можно, перепродавать как облачный сервис нельзя. Платите вы за железо и за часы человека, который соберет и будет поддерживать агента.
Первый риск в качестве. Документация AutoGen, фреймворка Microsoft для агентов, прямо предупреждает: небольшие локальные моделилокальная модель. Локальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят. обычно слабее крупных облачных, и на части задач результат может удивить. Поэтому модель проверяют до покупки сервера, а не после.
Проверка простая. Соберите 20–50 реальных задач из своей работы, с них Anthropic советует начинать оценку агента, и прогоните на локальной модели. Если она ошибается там, где ошибка стоит денег, берите модель крупнее или оставьте этот процесс людям.
Второй риск в данных. Локальный агент снимает вопрос передачи данных за рубеж, но не снимает защиту сервера. С 30 мая 2025 года за повторную утечку персональных данных компания платит от 1 до 3% выручки, не меньше 25 млн и не больше 500 млн руб. Доступ к серверу агента выдают по списку, а журнал его действий хранят.
Третий вопрос в законе об ИИзакон об ИИ. Закон об ИИ это Федеральный закон № 243-ФЗ о поддержке развития технологий искусственного интеллекта, который вводит понятия больших фундаментальных, суверенных и национальных моделей.. 243-ФЗ о поддержке технологий ИИ вступил в силу 1 сентября 2026 года, и случаи, когда обязательны суверенные и национальные модели, определяет Правительство. Если вы работаете с государством, сверьте выбор модели с этими требованиями до запуска.
Что проверить первым
Решение принимают по четырем вопросам, и ответы на них есть у вас до первой покупки.
1. Процесс. Нужна одна повторяющаяся задача с понятным результатом: разбор входящих счетов, ответы по внутренним регламентам, сверка договоров с шаблоном.
2. Данные. Если в задаче нет персональных данных и коммерческой тайны, облачная модельоблачная модель. Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. проще: не нужно ни железо, ни инженер для сервера. Если есть, локальный агент окупает лишнюю работу.
3. Нагрузка. Один сотрудник работает с агентом на своем компьютере. Отдел или клиенты требуют сервера.
4. Качество. Модель прошла ваши 20–50 задач с приемлемым числом ошибок.
Пример: юристы дистрибутора проверяют договоры поставки, в которых есть паспортные данные подписантов. Передать их зарубежному облачному сервису без уведомления Роскомнадзора нельзя, поэтому агента ставят на сервер компании, а модель выбирают по тесту на прошлых договорах.
Если агент нужен отделу и работает на сервере, мы делаем его пилотом: от 149 000 ₽, срок 14 дней, метрика результата записана в договоре.