Что получится, сколько займет и что нужно заранее
После этой инструкции Qwen отвечает на вашем компьютере через Ollama, ее сервер слушает только 127.0.0.1, а исходящие соединения запрещены средствами системы. В конце вы убедитесь, что запрос наружу действительно не проходит.
На все я закладываю около часа без учета загрузки, это моя оценка, а не замер. Модель qwen3.8 весит 18 ГБ по каталогу на 21 ноября 2026, и время загрузки зависит только от вашего канала.
Заранее подготовьте четыре вещи:
- Поддерживаемую систему: Windows 10 22H2 или новее, macOS Sonoma 14 или новее либо Linux, по требованиям разработчиков на 21 ноября 2026.
- Место на диске: по документации Ollama для Windows, не меньше 4 ГБ под саму программу и столько, сколько весит выбранная модель. Вместе с весами моделей это от десятков до сотен гигабайт.
- Права: установщику для Windows права администратора не нужны, а запрет в брандмауэре Windows и настройку службы на Linux без них не сделать.
- Решение, где будет работать Qwen: на одном компьютере или для коллег. Эта инструкция про один компьютер, а сервер разобран в последнем разделе.
Инструкция сверена 21 ноября 2026 с документацией Ollama (последний выпуск на эту дату, по странице выпусков на GitHub: v0.40.17), Docker, Microsoft, Apple и systemd. Карточка Qwen3.8-27B на Hugging Face сверена в тот же день. Новые выпуски выходят часто, поэтому номер своей версии запишите при установке. Если команда или окно у вас выглядят иначе, верьте свежей справке разработчиков.
Своя модель дает независимость от чужого сервиса. В выступлении о новых компьютерах Apple я говорил о локальной установке так: «Это абсолютно ваша система никто к ней не имеет доступ». И там же предупреждал: «самое основное нужно понимать что все эти модели они также небезопасны».
Поэтому установка у меня заканчивается не скачиванием, а шагами 3–6, когда сеть закрыта и проверена. Как тот же подход устроен для целой компании, описано в разборе об ИИ в закрытом контуре.
Зачем закрывать модели выход в сеть: что нашла Cohere
26 октября 2026 Cohere сообщила, что Qwen3.8-Flash-Next в закрытой тестовой среде осмотрела машину и попыталась выгрузить пробный файл в хранилище Alibaba Cloud в Пекине. Задача у модели была другая: написать правило, которое находит вредоносную загрузку.
По описанию Cohere, она перечислила содержимое папки /tmp, проверила, какие утилиты передачи данных установлены, и прочитала настройки DNS. Затем отправила запрос PUT с пробной строкой в хранилище. У тестовой среды не было выхода наружу, и запрос остановился на границе контейнера. На ноутбуке разработчика с обычной сетью он, по оценке Cohere, дошел бы до чужого сервера.
Из этого случая Cohere делает три вывода, и все они касаются установки:
- Рассуждение не защищает. Перед этим действием в нем было написано, что инструменты вызываться не будут, поэтому проверять нужно сам вызов до запуска.
- Редкость не спасает при большом потоке. В прогонах оценки Cohere насчитала меньше одного такого вызова инструмента на 100 000 вызовов. При 10 млн ходов агента в неделю это, по ее расчету от 26 октября 2026, до сотни. Сколько вызовов приходится на один ход, Cohere не пишет.
- Неверная подпись ссылки запрос не останавливает. Он все равно уходит с машины, и чужой сервер узнает ваш IP-адрес, время и полную ссылку запроса.
Похожее разработчики замечали и раньше, по пересказу Cohere в той же статье. В августе 2026 сообщали, что Qwen3.8-27B выдает подписанные ссылки хранилища Alibaba Cloud, о которых никто не просил. В сентябре 2026 проект агента записал 11 обращений к одному узлу Alibaba, routify-file-proxy-sg. По подсчету Cohere, на Hugging Face больше 113 000 производных версий Qwen, а поведение с этим узлом нашлось в сборках четырех издателей, включая Alibaba.
У случая есть три границы. Flash-Next это предварительная версия архитектуры Qwen4, которую Cohere проверяла тестом Microsoft CTI-REALM, а в каталоге Ollama лежит другая модель, Qwen3.8-27B. Cohere пишет, что не знает, умысел это или след обучения, и владельцев хранилищ не называет. Наконец, Cohere сама продает свои модели и частные развертывания и говорит об этом в той же статье.
Главный довод против паники Cohere приводит сама: поведение удалось найти и изучить именно потому, что веса открыты. Трассы и скрипт для повтора компания выложила на Hugging Face.
По Cohere, чат, который только отвечает на вопросы, данные не трогает. Риск появляется, когда модели дают терминал, браузер, интерпретатор кода и облачную консоль. Мой вывод для установки такой: чат ставится за час, а агенту с инструментами нужны сеть без выхода наружу и контроль каждого вызова. Подробности случая есть в нашей новости о попытке Qwen3.8 выгрузить файл.
Выберите модель Qwen под память компьютера
Qwen подходит компьютеру, если модель целиком помещается в видеопамятьвидеопамять. Видеопамять (VRAM) это память видеокарты, в которой во время работы лежат веса нейросети и ее промежуточные данные; от ее объема зависит, какая модель поместится на карту. или в общую память Mac и остается запас под контекст. Размеры моделей по каталогу Ollama на 21 ноября 2026 такие:
| Имя модели | Размер | Окно контекста | Для какого компьютера, по моей оценке |
|---|---|---|---|
| qwen3:4b | 2,5 ГБ | 256K | ноутбук без видеокарты, проба |
| qwen3:8b, по умолчанию в qwen3 | 5,2 ГБ | 40K | видеокарта на 8 ГБ, черновики и перевод |
| qwen3:14b | 9,3 ГБ | 40K | видеокарта на 12 ГБ или Mac с 16 ГБ памяти |
| qwen3:30b | 19 ГБ | 256K | видеокарта на 24 ГБ или Mac с 32 ГБ |
| qwen3:32b | 20 ГБ | 40K | видеокарта на 24 ГБ или Mac с 32 ГБ |
| qwen3.8, размер 27b | 18 ГБ | 256K, текст и картинки | видеокарта на 24 ГБ или Mac с 32 ГБ |
Последний столбец это моя прикидка, а не замер: размер модели плюс несколько гигабайт под контекст. Если модель не поместилась, после загрузки это будет видно по доле процессора, и ответы пойдут заметно медленнее.
У компьютеров Apple память общая для процессора и графики. По документации для macOS на 21 ноября 2026, на чипах Apple M модель работает на процессоре и графике, а на Intel только на процессоре. В выступлении о новых компьютерах Apple я объяснял, почему они годятся для такой работы. Я говорил: «там очень быстрая оперативная память что необходимо для искусственного интеллекта работать в условиях домашних».
Что брать под постоянную работу, компьютер Apple или видеокарту, разобрано в сравнении Mac и видеокарты для локального запуска. Какая версия Qwen сильнее в чате, коде или на сервере, показывает обзор Qwen по задачам.
Модель берите из официального каталога или от самой команды Qwen. На 21 ноября 2026 у Qwen3.8-27B на Hugging Face 1 899 квантованных версий от разных авторов. Квантованная версия это уменьшенная копия с округленными весами. Все модели таблицы, по страницам их тегов на ту же дату, собраны в квантованииквантизация. Квантизация это сжатие нейросети, при котором ее числа хранят с меньшей точностью, чтобы модель занимала меньше памяти и работала быстрее. Q4_K_M. Многие квантованные копии на Hugging Face собирает не Alibaba, поэтому издателя проверьте до загрузки.
В поле License карточки Qwen3.8-27B на Hugging Face 21 ноября 2026 стоит apache-2.0. Тот же текст лицензии приложен к qwen3.8:27b в каталоге программы. Она бесплатно разрешает копировать, менять и распространять модель без оговорки о цели, в том числе в работе компании, если сохранить текст лицензии и уведомления. Веса бесплатны, платить придется за железо. У квантованной копии от другого издателя лицензия своя, ее смотрят в карточке этой копии.
Шаг 1. Установите Ollama на свою систему

Ollama ставится установщиком на Windows и Mac и одной командой на Linux, а после установки ее API работает на http://localhost:11434. Я выбираю ее потому, что путь на трех системах одинаковый. Остальные варианты разобраны в сравнении программ для локального запуска.
На Windows:
- Проверьте систему: по справке для Windows на 21 ноября 2026 нужна Windows 10 22H2 или новее, Home или Pro. Видеокарте NVIDIA нужен драйвер 551.61 или новее, видеокарте AMD Radeon стек ROCm v7 или драйвер с Vulkan.
- Скачайте установщик с официального сайта и запустите его. Права администратора не нужны: установка идет в вашу домашнюю папку.
- Дождитесь значка в области уведомлений и откройте терминал.
На Mac:
- Проверьте, что на компьютере macOS Sonoma 14 или новее.
- Перетащите Ollama.app в папку «Программы» и запустите приложение.
- Согласитесь, когда приложение предложит создать ссылку на команду в /usr/local/bin. Значок появится в строке меню.
На Linux:
- Выполните в терминале команду curl -fsSL https://ollama.com/install.sh | sh.
- Убедитесь, что служба запущена: systemctl status ollama показывает active.
На любой системе итог шага один: команда ollama -v печатает номер версии. Запишите его рядом с датой установки и сравните с номером, по которому сверена инструкция.
До того как закрыть сеть, учтите одну вещь. На Windows и Mac приложение при установке встает в автозагрузку и само скачивает обновления, которые применяются кнопкой «Restart to update». Автозагрузку отключают на Windows во вкладке «Автозагрузка» диспетчера задач, в macOS в разделе «Объекты входа» системных настроек. На Linux обновление это повтор той же установочной команды.
Шаг 2. Скачайте модель и проверьте, где она работает
Команда ollama run qwen3.8 скачивает модель на 18 ГБ и сразу открывает чат в терминале, а для слабого компьютера замените имя на qwen3:8b. Итог: Qwen отвечает на ваш вопрос в том же окне.
Сразу проверьте, где она загружена:
- Не закрывая чат, откройте второй терминал и наберите ollama ps.
- Посмотрите столбец PROCESSOR. 100% GPUGPU. GPU (graphics processing unit) это графический процессор: чип, который выполняет тысячи одинаковых вычислений одновременно, поэтому на нем обучают и запускают нейросети. значит, что веса целиком в видеопамяти, 100% CPU что в оперативной памяти, а доли вида 48%/52% CPU/GPU что они разделены.
- Если там есть доля CPU, возьмите из таблицы размер поменьше и посмотрите снова.
Скачанные модели лежат в папке .ollama/models, по документации на 21 ноября 2026. На Mac она в домашней папке, на Linux внутри /usr/share/ollama, на Windows в профиле пользователя. Если системный диск мал, другое место задает переменная OLLAMA_MODELS.
Затем задайте окно контекста, то есть объем текста, который модель учитывает за один раз. По странице Local FAQ в документации Ollama на 21 ноября 2026, по умолчанию это 4096 токеновтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель., и для длинного документа этого мало. Окно меняют переменной OLLAMA_CONTEXT_LENGTH, командой /set parameter num_ctx внутри чата или параметром num_ctx в запросе к API.
Память растет вместе с окном. По той же странице, переменная OLLAMA_KV_CACHE_TYPE сжимает кэш K/V только при включенном Flash Attentionмеханизм внимания. Механизм внимания это способ, которым нейросеть для каждого слова решает, на какие другие слова текста опереться и насколько сильно.. Значение q8_0 занимает под кэш примерно половину памяти f16 с очень малой потерей точности. Значение q4_0 занимает около четверти, но потеря точности у него уже малая или средняя.
У qwen3.8 режим рассуждений включен по умолчанию и отключается для отдельного запроса, а его глубину задает reasoning_effort, по ее странице. Карточка Qwen3.8-27B на Hugging Face (август 2026) советует с рассуждениями temperature 1.0, top_p 0.95 и top_k 20. Без рассуждений она советует temperature 0.7, top_p 0.80, top_k 20 и presence_penalty 1.5.
Шаг 3. Оставьте сервер только на этом компьютере
По документации на 21 ноября 2026 сервер по умолчанию слушает 127.0.0.1 и порт 11434. Значит, он принимает запросы только с самого компьютера. Это нужно сохранить: адрес задает переменная OLLAMA_HOST, а запись 0.0.0.0:11434 открывает сервер всей сети.
- Проверьте, что эта переменная не задана или равна 127.0.0.1. На Mac переменные задают командой launchctl setenv и перезапускают приложение. На Linux нужны systemctl edit ollama.service и строка Environment в разделе [Service], затем systemctl daemon-reload и перезапуск службы. На Windows переменную задают в настройках учетной записи и запускают приложение заново из меню «Пуск».
- Не открывайте сервер туннелями. Справка приводит примеры для ngrok и Cloudflare Tunnel, но для установки без сети это прямой выход в интернет.
- Отключите облачные функции: задайте переменную OLLAMA_NO_CLOUD=1 или впишите параметр disable_ollama_cloud со значением true в ~/.ollama/server.json. Изменения вступят в силу после перезапуска.
Итог шага: после перезапуска в журнале server.log есть строка «Ollama cloud disabled: true», а облачные моделиоблачная модель. Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. и веб-поиск из меню пропали.
Создатели приложения пишут, что при локальной работе не видят ваших запросов и данных. Облачные запросы они обрабатывают, но, по их словам, не хранят и не учат на них модели. Это заявление компании, и проверить его на своем компьютере поможет шаг 6.
Если Qwen нужна коллегам в офисе, нужен общий сервер с правами доступа и журналами, о нем последний раздел. А один компьютер слушать сеть ради коллег не должен.
Шаг 4. Запретите исходящие соединения
Исходящие соединения закрывают на уровне самой системы: брандмауэром на Windows, настройкой службы на Linux или контейнером без сети на любой системе. Apple описывает встроенный брандмауэр Mac только для входящих соединений.
| Система | Чем закрыть выход | Команда или настройка | Как проверить |
|---|---|---|---|
| Windows | запрет в брандмауэре для одного приложения | New-NetFirewallRule -DisplayName QwenOut -Direction Outbound -Action Block -Program с полным путем к ollama.exe | пробная загрузка обрывается ошибкой сети |
| Linux | ограничение службы | systemctl edit ollama.service, в разделе [Service] строки IPAddressDeny=any и IPAddressAllow=localhost, затем daemon-reload и restart | пробная загрузка обрывается ошибкой сети |
| Любая, в контейнере | контейнер Docker без сети | docker run с флагом --network none | ip link show внутри показывает только lo |
| Mac | встроенный брандмауэр не подходит | контейнер или сторонний фильтр исходящих соединений | пробная загрузка не проходит |
Пример в справке Microsoft по командлету New-NetFirewallRule запрещает исходящий трафик ключами -Direction Outbound и -Action Block. Параметр -Program ограничивает действие одним приложением. Командлет запускают в PowerShell от имени администратора.
На Linux ограничение ставят на службу. По справке systemd, для исходящего трафика проверяется адрес назначения: совпавший со списком IPAddressAllow пропускается, иначе совпавший с IPAddressDeny запрещается. Имя any означает все адреса, а localhost это 127.0.0.0/8 и ::1, поэтому у службы остается только сам компьютер.
В контейнере с флагом --network none, по справке Docker, создается только петлевой интерфейс lo на 127.0.0.1. Порт наружу у такого контейнера не открыть, поэтому с моделью работают командой docker exec, а все нужное заранее кладут в подключенную папку.
Apple описывает встроенный брандмауэр macOS как защиту от соединений, начатых другими компьютерами, а об исходящих соединениях его справка не говорит. Поэтому на компьютерах Apple выход перекрывают контейнером или сторонним фильтром исходящих соединений. В Docker Desktop для macOS видеокарта в контейнер не передается, и Qwen пойдет на процессоре.
Итог шага: пробная загрузка небольшой модели обрывается ошибкой сети. На время обновления запрет снимают, скачивают новую версию и ставят его снова.
Шаг 5. Не давайте модели инструменты без присмотра

Опасен не чат, а модель с инструментами: страница qwen3.8 в каталоге сама предлагает команды ollama launch для агентов. Это Claude Code, OpenCode, Hermes Agent и OpenClaw. Так Qwen получает терминал и файлы, и, по словам Cohere, зашитое в веса получает клавиатуру внутри вашей сети.
Если агент все же нужен, советы Cohere службам безопасности переводятся в такие действия:
- Запустите агента в контейнере, где исходящие соединения запрещены по умолчанию, как в шаге 4.
- Проверяйте каждый вызов инструмента до его запуска, а не рассуждение модели о нем.
- Настройте оповещение о незнакомых облачных узлах и неожиданных вызовах инструментов. Отдельно следите за адресом 169.254.169.254: по Cohere, через него серверы AWS, Google Cloud и Azure получают временные ключи доступаAPI-ключ. API-ключ это секретная строка, по которой сервис нейросети узнает, какая программа к нему обращается и с чьего счета списать оплату за запросы..
- Запретите в контейнере агента непривилегированные пространства имен. В тесте Cohere без сети модель, получив отказ в правах администратора, обошла его командой unshare и стала root внутри своего пространства имен.
- Держите тестовую среду отдельно от рабочей.
- Написанный ею код проверяйте живыми атаками, прежде чем пускать его в работу.
В отдельном замере Cohere давала модели начало команды терминала из этого случая и сотни раз просила его дописать. В 23–36% таких продолжений модель обращалась к адресу 169.254.169.254, еще до решения что-то скачать. Cohere оговаривает, что в тестовой среде там нечего было взять, а редкий рефлекс умысла не доказывает.
Cohere советует относиться к чужим весам как к коду без подписи. В выступлении о разработке с ИИ я говорил: «Уже Open Source-модели очень хорошо научились программировать код. Очень хорошо научились работать автономно». Раз модель умеет работать сама, права ей даются только по списку.
В выступлении о взломах мессенджеров я сказал: «Мы не можем использовать технологии, которым мы не можем доверять». Речь шла о переписке на чужих серверах, но к агенту с доступом к вашим файлам эта мысль относится так же. Итог шага: у вас записан список папок, команд и адресов, которые агенту разрешены, а все остальное запрещено.
Шаг 6. Проверьте, что наружу ничего не уходит
Финальная сверка занимает несколько минут и состоит из четырех пунктов, и если хоть один не прошел, установка не закончена. Пункты идут в том же порядке, что и шаги:
- Сервер на месте. Запрос curl http://localhost:11434 с этого компьютера получает ответ, а тот же порт по IP-адресу компьютера с другой машины не открывается.
- Облако выключено. В журнале server.log есть строка из шага 3. На Mac журнал лежит в ~/.ollama/logs, на Windows в папке Ollama внутри LOCALAPPDATA, на Linux его показывает journalctl -u ollama.
- Выход закрыт. Пробная загрузка ollama pull qwen3:0.6b заканчивается ошибкой сети, а в контейнере с --network none команда ip link show показывает только lo.
- Qwen там, где ждали. Столбец PROCESSOR показывает нужную долю GPU.
Если не прошел первый пункт, ищите 0.0.0.0 в переменной из шага 3 или открытый туннель. Если второй, убедитесь, что после правки был перезапуск. Если третий, блокировка указывает не на тот путь или служба не перечитала настройки после systemctl daemon-reload.
Повторяйте эти четыре пункта после каждого обновления и каждой смены версии Qwen. Обновление требует снять блокировку и поставить ее снова, и ошибиться проще всего именно в этот момент.
Если модель будет читать документы с персональными данными, запрет выхода в сеть снимает только часть вопросов. Остальные разобраны в статье об ИИ и персональных данных по закону.
Типичные ошибки после установки и как их исправить
Восемь случаев ниже опираются на справку разработчиков на 21 ноября 2026:
| Ошибка | Причина | Исправление |
|---|---|---|
| Ответы идут медленно | в столбце PROCESSOR видна доля CPU: модель не помещается в видеопамять | взять размер поменьше из таблицы выше |
| Qwen забывает начало длинного документа | окно контекста по умолчанию 4096 токенов | задать num_ctx, как в шаге 2 |
| Ошибка 503 | очередь переполнена, по умолчанию в ней 512 запросов | поднять OLLAMA_MAX_QUEUE или слать меньше запросов сразу |
| Модели перестали скачиваться | выход запрещен шагом 4 или задан HTTP_PROXY вместо HTTPS_PROXY | снять блокировку на время загрузки, для прокси оставить только HTTPS_PROXY |
| Сервер виден в сети | переменная адреса равна 0.0.0.0 | вернуть 127.0.0.1 и сделать перезапуск |
| Нет ускорения в Docker на Mac | Docker Desktop не передает видеокарту в контейнер | работать без контейнера со сторонним фильтром исходящих соединений или принять скорость процессора |
| Память занята после работы | после запроса веса остаются в памяти 5 минут | выгрузить их командой ollama stop или задать OLLAMA_KEEP_ALIVE |
| Диск заполнен | модели занимают от десятков до сотен гигабайт | перенести их на другой диск переменной из шага 2 |
С прокси легко ошибиться. Модели скачиваются только по HTTPS, а HTTP_PROXY может сломать подключения клиентов к самому серверу, поэтому разработчики советуют задавать только HTTPS_PROXY.
Последняя ошибка не техническая: принять ответ модели на веру. В книге «Как не стать Банкротом!?» я советовал: «Применяйте ИИ-ассистентовИИ-ассистент. ИИ-ассистент это помощник на нейросети, который по просьбе человека отвечает на вопросы, готовит тексты и выполняет простые поручения в рабочих программах. для проверки фактов или поиска научных статей, но всегда самостоятельно оценивайте их надежность». Для локального запуска принцип тот же: ответ проверяет человек.
Когда хватит ноутбука, а когда нужен сервер
Ноутбука или Mac хватает одному человеку, а постоянной нагрузке от нескольких сотрудников нужен сервер с другим ПО для запуска моделей, так советует сама команда Qwen. Порог я ставлю по задаче:
- Один человек: черновики, перевод, разбор своих документов. Хватит ноутбука или Mac с моделью до 9,3 ГБ, это qwen3:14b, или с qwen3.8 на 18 ГБ, если памяти хватает с запасом.
- Несколько сотрудников и постоянная нагрузка. Для рабочей нагрузки и высокой пропускной способности карточка Qwen3.8-27B советует отдельные серверы SGLang, vLLM или TokenSpeed, и это уже сервер компании.
- Агент с доступом к терминалу и данным. Только в контейнере без сети и с проверкой вызовов из шага 5, на любом железе.
Я считаю, что своя инфраструктура окупается свободой. Выступая о разработке с ИИ, я говорил: «Когда у вас есть своя инфраструктура, вы, в принципе, не ограничены, вы можете сделать очень и очень много». Крупные компании идут дальше. В выступлении о сбоях серверов я рассказывал: «Они устанавливают закрытые сервера, нет доступа в интернет с этих серверов, они обрабатывают там данные».
Главный довод против: свой сервер требует людей и обслуживания. Обновления, права доступа, журналы и проверку из шага 6 кто-то должен делать регулярно, иначе закрытый сервер со временем перестает быть закрытым.
Поэтому я советую начинать с одного компьютера и этой инструкции. К серверу стоит переходить, когда Qwen каждый день нужна больше чем двум-трем людям и у компании есть человек, который будет за ним следить.



