ММООЗЗГГ.ru

Разбор

Локальный ИИ-агент на своем компьютере или сервере

8 мин18 источников

Локальный ИИ-агент работает на вашем компьютере или сервере: модель и данные не уходят в чужое облако. Для первого опыта хватит обычного компьютера: модель Qwen 3 на 8 млрд параметров весит 5,2 ГБ, а программа Ollama для ее запуска бесплатна.

На странице · 7 разделов

Соберете сами за неделю

Зачем локальный агент

Облачная модель получает каждый запрос агента на сервер своего разработчика. Локальная модель работает у вас, и документация Ollama прямо пишет: при локальной работе компания не видит ваших запросов и данных.

Для данных клиентов это вопрос закона. По 152-ФЗ сбор и хранение персональных данных граждан России ведутся в базах на территории России, а перед передачей данных за рубеж оператор подает уведомление в Роскомнадзор. Как мы устраиваем это в проектах, собрано на странице о безопасности данных.

Открытые модели для этого есть. DeepSeek выпустила R1 с открытыми весами на лицензии MIT 20 января 2025 года, семейство Qwen 3 вышло 29 апреля 2025 года на Apache 2.0. Открытые веса значат, что саму обученную модель можно скачать и запустить у себя.

Ограничение одно: задачу, которую решает крупная облачная модель, небольшая локальная может не вытянуть. Это проверяют на своих примерах до того, как строить агента.

Ollama и модель

Ollama: бесплатная программа на лицензии MIT, которая скачивает открытые модели и запускает их на компьютере или сервере. Есть версии для macOS, Windows и Linux. Шаги ниже сверены с документацией Ollama.

1. Скачайте Ollama со страницы ollama.com/download для своей системы и откройте приложение. На Linux, если сервер не запустился сам, его включают командой ollama serve.

2. Откройте терминал, окно для текстовых команд, и скачайте модель командой ollama pull qwen3:8b. Файл весит 5,2 ГБ.

3. Запустите чат командой ollama run qwen3:8b и задайте модели несколько вопросов из своей работы на русском. Команда /bye закрывает чат.

4. Пока Ollama работает, она открывает API, программный вход для других приложений, по адресу http://localhost:11434. К этому адресу и подключится агент.

Чем Ollama отличается от других программ запуска моделей, мы разобрали в отдельном сравнении. Для первого агента ее хватает.

Какой компьютер нужен

Все упирается в память. Модель целиком загружается в видеопамять видеокарты или в объединенную память Mac, поэтому файл модели должен там поместиться с запасом на работу.

Документация Ollama для стартовой модели Gemma 4 E2B с файлом около 7,2 ГБ советует 8 ГБ свободной видеопамяти или памяти Mac. Это ориентир для первого опыта.

Qwen 3 в каталоге Ollama есть в нескольких размерах: 4b весит 2,5 ГБ, 8b весит 5,2 ГБ, 14b весит 9,3 ГБ, 30b весит 19 ГБ. Число перед буквой b означает миллиарды параметров. Чем их больше, тем точнее обычно ответы и тем больше памяти нужно.

Другой ориентир дает OpenAI. Ее открытая модель gpt-oss-20b на лицензии Apache 2.0 по данным разработчика работает в 16 ГБ памяти, а старшая gpt-oss-120b требует одной видеокарты на 80 ГБ. Первая подходит для мощного рабочего компьютера, вторая уже для сервера.

Начните с модели, которая помещается в вашу память, и проверьте ее на своих вопросах. Если ответы слабые, переходите к следующему размеру.

Сколько памяти нужно под конкретную модель, посчитает калькулятор памяти. Он покажет, хватит ли вашего компьютера или нужна видеокарта.

Агент поверх локальной модели

Модель в терминале только отвечает на вопросы. Агентом она становится, когда получает инструменты: доступ к таблице, почте, базе документов. Qwen 3 в каталоге Ollama отмечена как модель, которая умеет вызывать инструменты.

Вызывать инструменты умеет не каждая открытая модель. В каталоге Ollama есть фильтр «Tools», и 16 октября 2026 года он оставлял 99 моделей. Выбирайте модель для агента из этого списка, иначе она не сможет ничего сделать, кроме ответа текстом.

Путь без кода идет через n8n, конструктор автоматизаций, который тоже можно запустить на своем компьютере. Шаги ниже сверены с документацией n8n.

1. Запустите n8n командой npx n8n. Нужен Node.js версии от 20.19 до 24.x. После запуска откройте в браузере адрес http://localhost:5678.

2. Создайте процесс и добавьте узел «AI Agent» (ИИ-агент). Это основа агента в n8n.

3. Подключите к агенту модель «Ollama Chat Model». В учетных данных Ollama укажите «Base URL» (адрес сервера) http://localhost:11434. Если n8n не подключается, замените localhost на 127.0.0.1. В поле «Model» выберите скачанную модель.

4. Подключите к агенту хотя бы один инструмент: документация n8n требует этого для узла «AI Agent». Начните с безопасного, например с чтения таблицы.

Полная сборка агента в n8n, с каналом и памятью, разобрана в инструкции по n8n.

Когда нужен сервер

Компьютер подходит для одного человека. По умолчанию Ollama обрабатывает одной моделью 1 запрос за раз, остальные ждут в очереди, которая вмещает до 512 запросов. Для агента, которому пишут клиенты или весь отдел, этого мало.

Сервер нужен, когда агент работает круглосуточно, обслуживает нескольких сотрудников или клиентов одновременно и хранит персональные данные. Данные граждан России по 152-ФЗ хранят в базах на территории России, поэтому сервер ставят в своем контуре или у российского провайдера.

На сервер ставят движок для параллельной работы и модель крупнее, а это уже работа инженера. Как мы собираем таких агентов, описано на странице об ИИ-агентах на локальной модели.

Перед покупкой железа посчитайте нагрузку: сколько запросов в час, какой размер модели, сколько пользователей одновременно. Без этих цифр легко купить сервер, который будет простаивать.

Сколько стоит и чем вы рискуете

Программы для локального агента бесплатны. Ollama распространяется по лицензии MIT, Qwen 3 по Apache 2.0. У n8n своя лицензия Sustainable Use License: ставить его на свой сервер и менять можно, перепродавать как облачный сервис нельзя. Платите вы за железо и за часы человека, который соберет и будет поддерживать агента.

Первый риск в качестве. Документация AutoGen, фреймворка Microsoft для агентов, прямо предупреждает: небольшие локальные модели обычно слабее крупных облачных, и на части задач результат может удивить. Поэтому модель проверяют до покупки сервера, а не после.

Проверка простая. Соберите 20–50 реальных задач из своей работы, с них Anthropic советует начинать оценку агента, и прогоните на локальной модели. Если она ошибается там, где ошибка стоит денег, берите модель крупнее или оставьте этот процесс людям.

Второй риск в данных. Локальный агент снимает вопрос передачи данных за рубеж, но не снимает защиту сервера. С 30 мая 2025 года за повторную утечку персональных данных компания платит от 1 до 3% выручки, не меньше 25 млн и не больше 500 млн руб. Доступ к серверу агента выдают по списку, а журнал его действий хранят.

Третий вопрос в законе об ИИ. 243-ФЗ о поддержке технологий ИИ вступил в силу 1 сентября 2026 года, и случаи, когда обязательны суверенные и национальные модели, определяет Правительство. Если вы работаете с государством, сверьте выбор модели с этими требованиями до запуска.

Что проверить первым

Решение принимают по четырем вопросам, и ответы на них есть у вас до первой покупки.

1. Процесс. Нужна одна повторяющаяся задача с понятным результатом: разбор входящих счетов, ответы по внутренним регламентам, сверка договоров с шаблоном.

2. Данные. Если в задаче нет персональных данных и коммерческой тайны, облачная модель проще: не нужно ни железо, ни инженер для сервера. Если есть, локальный агент окупает лишнюю работу.

3. Нагрузка. Один сотрудник работает с агентом на своем компьютере. Отдел или клиенты требуют сервера.

4. Качество. Модель прошла ваши 20–50 задач с приемлемым числом ошибок.

Пример: юристы дистрибутора проверяют договоры поставки, в которых есть паспортные данные подписантов. Передать их зарубежному облачному сервису без уведомления Роскомнадзора нельзя, поэтому агента ставят на сервер компании, а модель выбирают по тесту на прошлых договорах.

Если агент нужен отделу и работает на сервере, мы делаем его пилотом: от 149 000 ₽, срок 14 дней, метрика результата записана в договоре.

Вопросы и ответы

Работает ли локальный ИИ-агент без интернета?

Модель отвечает с вашего компьютера, и по документации Ollama сама программа не видит ваших запросов и данных. Интернет нужен, чтобы скачать Ollama и модель. Он нужен и инструментам, которые сами ходят в сеть: почте, сайтам, облачной CRM. Агент, который работает только с локальными файлами и таблицами, обходится без сети.

Какую модель выбрать для локального агента?

Модель должна уметь вызывать инструменты, иначе агент не сможет действовать. В каталоге Ollama такие модели отмечены фильтром «Tools», и Qwen 3 среди них. Размер выбирают по памяти: qwen3:8b весит 5,2 ГБ, gpt-oss-20b работает в 16 ГБ памяти. Окончательно решает тест на ваших задачах, а не рейтинг.

Можно ли хранить в локальном агенте персональные данные клиентов?

Да, и это главный довод за локальный вариант. По 152-ФЗ данные граждан России собирают и хранят в базах на территории России, а для передачи за рубеж нужно уведомление в Роскомнадзор. Сервер в вашем контуре решает вопрос места хранения, но защиту, доступы и журнал действий агента обеспечиваете вы.

Сколько стоит локальный ИИ-агент?

Ollama, Qwen 3 и n8n на своем сервере бесплатны по лицензии. Для одного человека хватит рабочего компьютера с 8–16 ГБ свободной памяти. Расходы начинаются с сервера под нагрузку отдела и с работы инженера; наш пилот такого агента стоит от 149 000 ₽, срок 14 дней.

Источники и проверка

Проверено редакцией 16 октября 2026.

  1. Alpine Linux packages, 2026 (pkgs.alpinelinux.org)
  2. Simon Willison, 20 января 2025 (simonwillison.net)
  3. Simon Willison, 29 апреля 2025 (simonwillison.net)
  4. Brace Law Firm, 9 июля 2023 (brace-lf.com)
  5. Ollama Docs, Quickstart, 2026 (docs.ollama.com)
  6. Ollama Library, 2026 (ollama.com)
  7. Ollama Docs, FAQ, 2026 (docs.ollama.com)
  8. n8n Docs, Ollama credentials, 2026 (docs.n8n.io)
  9. n8n Docs, npm, 2026 (docs.n8n.io)
  10. Документация n8n: AI Agent node, проверено 16 октября 2026 (docs.n8n.io)
  11. Документация n8n: Ollama Chat Model node, проверено 16 октября 2026 (docs.n8n.io)
  12. GitHub, openai/gpt-oss, 2025 (github.com)
  13. Ollama, модели с вызовом инструментов, проверено 16 октября 2026 (ollama.com)
  14. Документация AutoGen: Models, 2026 (microsoft.github.io)
  15. Anthropic, 9 января 2026 (anthropic.com)
  16. ppt.ru, 420-ФЗ, 30 ноября 2024 (ppt.ru)
  17. ppt.ru, 243-ФЗ, 26 июля 2026 (ppt.ru)
  18. Wikipedia, n8n, 2026 (en.wikipedia.org)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram