Локальный ИИ-агент на своем компьютере или сервере

Облачная модельоблачная модель Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. Подробнее в словаре получает каждый запрос агента на сервер своего разработчика. Локальная модель работает у вас, и документация Ollama прямо пишет: при локальной работе компания не видит ваших запросов и данных.

Для данных клиентов это вопрос закона. По 152-ФЗ сбор и хранение персональных данных граждан России ведутся в базах на территории России, а перед передачей данных за рубеж оператор подает уведомление в Роскомнадзор. Как мы устраиваем это в проектах, собрано на странице о безопасности данных.

Открытые моделимодель с открытыми весами Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. Подробнее в словаре для этого есть. DeepSeek выпустила R1 с открытыми весами на лицензии MIT 20 января 2025 года, семейство Qwen 3 вышло 29 апреля 2025 года на Apache 2.0. Открытые веса значат, что саму обученную модель можно скачать и запустить у себя.

Ограничение одно: задачу, которую решает крупная облачная модель, небольшая локальная может не вытянуть. Это проверяют на своих примерах до того, как строить агента.

Ollama: бесплатная программа на лицензии MIT, которая скачивает открытые модели и запускает их на компьютере или сервере. Есть версии для macOS, Windows и Linux. Шаги ниже сверены с документацией Ollama.

1. Скачайте Ollama со страницы ollama.com/download для своей системы и откройте приложение. На Linux, если сервер не запустился сам, его включают командой ollama serve.

2. Откройте терминал, окно для текстовых команд, и скачайте модель командой ollama pull qwen3:8b. Файл весит 5,2 ГБ.

3. Запустите чат командой ollama run qwen3:8b и задайте модели несколько вопросов из своей работы на русском. Команда /bye закрывает чат.

4. Пока Ollama работает, она открывает API, программный вход для других приложений, по адресу http://localhost:11434. К этому адресу и подключится агент.

Чем Ollama отличается от других программ запуска моделей, мы разобрали в отдельном сравнении. Для первого агента ее хватает.

Главное ограничение это память. Модель целиком загружается в видеопамятьвидеопамять Видеопамять (VRAM) это память видеокарты, в которой во время работы лежат веса нейросети и ее промежуточные данные; от ее объема зависит, какая модель поместится на карту. Подробнее в словаре видеокарты или в объединенную память Mac, поэтому файл модели должен там поместиться с запасом на работу.

Документация Ollama для стартовой модели Gemma 4 E2B с файлом около 7,2 ГБ советует 8 ГБ свободной видеопамяти или памяти Mac. Это ориентир для первого опыта.

Qwen 3 в каталоге Ollama есть в нескольких размерах: 4b весит 2,5 ГБ, 8b весит 5,2 ГБ, 14b весит 9,3 ГБ, 30b весит 19 ГБ. Число перед буквой b означает миллиарды параметров. Чем их больше, тем точнее обычно ответы и тем больше памяти нужно.

Начните с модели, которая помещается в вашу память, и проверьте ее на своих вопросах. Если ответы слабые, переходите к следующему размеру.

Сколько памяти нужно под конкретную модель, посчитает калькулятор памяти. Он покажет, хватит ли вашего компьютера или нужна видеокарта.

Модель в терминале только отвечает на вопросы. Агентом она становится, когда получает инструменты: доступ к таблице, почте, базе документов. Qwen 3 в каталоге Ollama отмечена как модель, которая умеет вызывать инструменты.

Путь без кода идет через n8n, конструктор автоматизаций, который тоже можно запустить на своем компьютере. Шаги ниже сверены с документацией n8n.

1. Запустите n8n командой npx n8n. Нужен Node.js версии от 20.19 до 24.x. После запуска откройте в браузере адрес http://localhost:5678.

2. Создайте процесс и добавьте узел «AI Agent» (ИИ-агентИИ-агент ИИ-агент это нейросеть, которая не просто отвечает, а сама выполняет задачу по шагам: ищет данные, пользуется программами и проверяет результат. Подробнее в словаре). Это основа агента в n8n.

3. Подключите к агенту модель «Ollama Chat Modelчат-модель Чат-модель это языковая модель, дообученная вести диалог: она понимает роли собеседников, следует инструкциям и отвечает на реплики, а не просто продолжает текст. Подробнее в словаре». В учетных данных Ollama укажите «Base URL» (адрес сервера) http://localhost:11434. Если n8n не подключается, замените localhost на 127.0.0.1. В поле «Model» выберите скачанную модель.

4. Подключите к агенту хотя бы один инструмент: документация n8n требует этого для узла «AI Agent». Начните с безопасного, например с чтения таблицы.

Полная сборка агента в n8n, с каналом и памятью, разобрана в инструкции по n8n.

Компьютер подходит для одного человека. По умолчанию Ollama обрабатывает одной моделью 1 запрос за раз, остальные ждут в очереди, которая вмещает до 512 запросов. Для агента, которому пишут клиенты или весь отдел, этого мало.

Сервер нужен, когда агент работает круглосуточно, обслуживает нескольких сотрудников или клиентов одновременно и хранит персональные данные. Данные граждан России по 152-ФЗ хранят в базах на территории России, поэтому сервер ставят в своем контуре или у российского провайдера.

На сервер ставят движок для параллельной работы и модель крупнее, а это уже работа инженера. Как мы собираем таких агентов, описано на странице об ИИ-агентах на локальной модели.

Перед покупкой железа посчитайте нагрузку: сколько запросов в час, какой размер модели, сколько пользователей одновременно. Без этих цифр легко купить сервер, который будет простаивать.