ММООЗЗГГ.ru

Разбор

Ollama или LM Studio, llama.cpp или vLLM: чем запускать локальную модель

6 мин14 источников

Ollama или LM Studio подходят, когда модель нужна одному человеку или одной программе; для отдела берут vLLM на сервере с видеокартами. Модель это файл, а запускает его движок: от него зависят число одновременных пользователей и то, подключится ли ваш агент к модели как к облаку. Ниже сравнение четырех движков, замеры скорости, примеры российских компаний и что проверить до покупки железа.

На странице · 9 разделов

LM Studio: один человек, Mac или ноутбук

Программа с окном: выбрали модель из каталога, нажали скачать, начали чат. Показывает скорость в токенах в секунду после каждого ответа, поднимает локальный API, совместимый с привычными библиотеками. Подходит для проверки моделей перед покупкой железа и для персонального агента. Так работает персональный агент ИТ-руководителя банка на Mac.

Ollama: один-два человека, команда разработчиков

Командная строка и служба в фоне: одна команда ставит модель, вторая запускает API. Удобнее LM Studio для интеграций и скриптов, работает на Mac, Linux и Windows, на видеокартах и на Apple Silicon. Ограничение то же: одиночные запросы обрабатываются быстро, при многих одновременных часть ждет в очереди.

llama.cpp: основа и замеры

Библиотека, на которой построены LM Studio, Ollama и десятки других программ. Ее таблица замеров на Apple Silicon это источник цифр в этом разделе: M4 Max 83,1 токена в секунду, M5 Max 119,9 на модели Llama 2 7B в 4 битах. Используют напрямую, когда нужен полный контроль над параметрами и минимальные накладные расходы.

В чем разница между Ollama и LM Studio

Обе программы построены на llama.cpp, поэтому скорость у них задают прежде всего железо и модель. Разница в том, кто ими пользуется. LM Studio это окно с каталогом моделей: подходит руководителю или аналитику, который хочет проверить модель без командной строки. Ollama работает как служба в фоне: ее ставят разработчики, чтобы подключить модель к скрипту, агенту или внутреннему сервису. Обе программы бесплатны и поднимают локальный API, совместимый с привычными библиотеками.

Правило выбора: если модель нужна человеку, ставьте LM Studio; если программе, ставьте Ollama. Когда одновременных пользователей больше двух-трех, обе упираются в очередь, и пора считать сервер с vLLM.

vLLM: сервер для отдела

Движок пакетной выдачи для видеокарт: обрабатывает десятки запросов одновременно, распределяя память кэша между ними, и, по нашей оценке, дает суммарную скорость в тысячи токенов в секунду на серверной карте. По нашей оценке, он превращает сервер с двумя картами по 96 ГБ в сервис для 10–20 пользователей, а четыре H100 в сервис на сотни. Рассчитан на Linux-серверы с видеокартами и требует инженера.

Скорость: что дает железо, а что движок

Скорость одного ответа задает железо. По таблице сообщества llama.cpp на 25.08.2026 модель 7–8 млрд параметров в 4 битах выдает 50,7 токена в секунду на M4 Pro, 83,1 на M4 Max, 92,1 на M3 Ultra и 119,9 на M5 Max. На видеокартах по замерам мая 2024 года: RTX 4090 127,7 и H100 144,5 токена в секунду на модели 8 млрд, модель 70 млрд на двух RTX 4090 дает 19,1. Длинный запрос новое поколение тоже читает быстрее: M5 Max обрабатывает 3 220 токенов запроса в секунду против 886 у M4 Max.

Движок задает, сколько людей получат эту скорость одновременно. LM Studio и Ollama отдают ее одному потоку, остальные ждут. vLLM обрабатывает запросы пачкой, поэтому на сервере выигрывает суммарная скорость отдела, хотя каждый отдельный поток идет медленнее.

Как это устроено в российских компаниях

ИТ-руководитель Альфа-Банка запустил персонального агента на открытой модели с 35 млрд параметров, из которых на каждый токен работают около 3 млрд, через LM Studio на Mac: около 70 токенов в секунду. Сначала агент жил в Docker на том же Mac, потом переехал на виртуальную машину, и автор называет это переломным моментом по удобству. Это агент одного руководителя, а не сервис для банка.

Команда крупной российской ИТ-компании собрала агента на Ollama на арендованном сервере с картой NVIDIA A30 на 24 ГБ: модель gpt-oss 20b занимает 13 ГБ, модель зрения qwen3-vl 8b 6,1 ГБ, вместе с кэшем на 65 536 токенов 22,4 ГБ. Надежно агент проходил цепочку примерно до 6 вызовов инструментов подряд, время ожидания холодной загрузки модели подняли выше 300 секунд, на разбор двенадцати ошибок ушел один вечер. Режим однопользовательский.

Крупный российский ИТ-интегратор держит модели на 8–14 млрд параметров на стандартном сервере, а более крупные на выделенном железе. Оператор связи Т2 в тендере на ассистента для разработчиков требовал 15 пользователей и отклик автодополнения не дольше 400 мс в своем закрытом дата-центре: по нашей оценке, это уже задача серверного движка с пакетной выдачей, а не программы на одном компьютере.

Как выбрать

Один пользователь на Mac или ноутбуке: LM Studio. Разработчик или интеграция на одном компьютере: Ollama. Отдел и агенты с очередью запросов на сервере с видеокартами: vLLM. Наши агенты подключаются к любому из них через единый интерфейс модели, поэтому переезд с облака на локальный движок и обратно это настройка, а не переписывание.

Что проверить до покупки железа

Арендуйте нужную карту на час: по агрегатору GPU Индекс на 30.09.2026 RTX 4090 в российском облаке стоит от 43 ₽ в час, H100 от 242 ₽. Поставьте Ollama или vLLM и прогоните 50 своих запросов при 1, 4 и 16 параллельных потоках: суммарная скорость при 16 потоках и есть число для расчета сервера. На Mac то же самое делают в LM Studio, установка по нашему опыту занимает 10–30 минут.

Затем зафиксируйте версии модели и движка: обновление любого из них это отдельное событие с повторной проверкой на тех же запросах. Заложите время ожидания на холодную загрузку модели и отдельную проверку результата агента. Пилотный агент на локальной модели у нас занимает 14 дней и стоит от 149 000 ₽ без стоимости оборудования, на вашем железе или на арендованных GPU в России.

Вопросы и ответы

Нужен ли Linux для локальной модели?

Для одного пользователя нет: LM Studio и Ollama работают на macOS и Windows. Для сервера с vLLM да.

Можно ли запустить vLLM на Mac Studio?

Для работы отдела нет: vLLM рассчитан на серверы с видеокартами. На Mac для нескольких пользователей используют llama.cpp с сервером и параллельными слотами, скорость на поток при этом падает.

Что выбрать для бизнеса: Ollama или LM Studio?

Для проверки модели руководителем или аналитиком подходит LM Studio: окно, каталог моделей и скорость после каждого ответа. Для подключения к агенту, скрипту или внутреннему сервису удобнее Ollama: служба в фоне и API одной командой. Для отдела с одновременными запросами не подходит ни одна из них, нужен vLLM на сервере.

Сколько стоит запустить модель локально?

Программы бесплатные: Ollama, LM Studio, llama.cpp и vLLM. Платите вы за железо и время инженера: Mac Studio M4 Max со 128 ГБ стоил 886 757 ₽ на 29.09.2026, а час аренды RTX 4090 в российском облаке от 43 ₽. Начинайте с аренды и покупайте после проверки на своих запросах.

Сколько пользователей выдержит Ollama?

Одному потоку Ollama отвечает быстро, при нескольких одновременных запросах часть ждет в очереди. Агент российской ИТ-компании на Ollama и карте с 24 ГБ работал в однопользовательском режиме. Для 10–20 пользователей, по нашей оценке, нужен сервер с двумя картами по 96 ГБ и vLLM.

Источники и проверка

Проверено редакцией 29 сентября 2026.

  1. llama.cpp, производительность на Apple Silicon, таблица обновлена 25.08.2026 (github.com)
  2. GPU-Benchmarks-on-LLM-Inference, Llama 3 8B и 70B, май 2024 (github.com)
  3. Цифровые платформы, кейс №2447, октябрь 2025: Т-Банк (platforms.su)
  4. Цифровые платформы, кейс №3855, 2 сентября 2026: Т-Технологии (platforms.su)
  5. Цифровые платформы, кейс №4067, 2 сентября 2026: Альфа-Банк, ИТ-руководитель (platforms.su)
  6. Цифровые платформы, кейс №2929, 2025: ИТ-холдинг Т1 (platforms.su)
  7. Цифровые платформы, кейс №3475, 2 сентября 2026: НСИС, оператор АИС страхования (platforms.su)
  8. Цифровые платформы, кейс №3661, 2 сентября 2026: Digital Sector и заказчик из ИТ-инфраструктуры (platforms.su)
  9. Цифровые платформы, кейс №4084, 2 сентября 2026: VK Tech (platforms.su)
  10. Цифровые платформы, кейс №2874, 2025: ЛАНИТ (platforms.su)
  11. GPU Индекс, аренда RTX 4090 в России: 173 предложения, от 31,75 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  12. GPU Индекс, аренда H100 в России: 41 предложение, от 242 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  13. Цифровые платформы, кейс №3148, февраль 2026: Т2 (Tele2) (platforms.su)
  14. store-apple.msk.ru, Mac Studio M4 Max 128 ГБ, 29.09.2026 (store-apple.msk.ru)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин

Кейсы по теме: 8

  • Кейс рынка · Россия

    Т-Банк собственные LLM решают 45% обращений, по оценке затраты на поддержку ниже минимум на 25% в год

    Банк встроил в чат-бот собственные языковые модели семейства Gen-T: около 45% обращений клиентов решаются без оператора. В октябре 2025 года запущены ИИ-копайлоты для операторов первой линии, ими ежедневно пользуются более 90% сотрудников поддержки. Модели развернуты в периметре банка, данные вовне не передаются.

    Банки и финансы

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Т-Технологии ИИ-ассистент для задач с деньгами на собственных моделях Gen-T, бета с 20 июля 2026

    Группа разработала ИИ-ассистента для задач, связанных с деньгами и покупками, на собственных больших языковых моделях семейства Gen-T. Чтобы избежать выдумок, система опирается на верифицированные источники данных, а не только на знания модели. Бета представлена 20 июля 2026 года, полноценный запуск запланирован на осень.

    Банки и финансы

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Альфа-Банк, ИТ-руководитель локальный агент на модели Qwen 3.6-35B-A3B: около 70 токенов в секунду на Mac

    Автономный рабочий агент работает на локально развернутой модели с 35 млрд параметров и примерно 3 млрд активных на токен через LM Studio, скорость около 70 токенов в секунду на Mac. Сначала агент запускался в Docker на Mac, затем переехал на виртуальную машину, что стало переломным моментом по удобству.

    Банки и финансы

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    ИТ-холдинг Т1 согласование договоров за 3 дня вместо двух недель, затраты на сравнение документов ниже на 40%

    Юридический департамент холдинга, более 70 юристов, больше года обучал собственную языковую модель на юридических данных компании. Согласование договоров сократилось с двух недель до трех дней, сравнение двух версий документа выполняется в пять раз быстрее, чем вручную.

    ИТ-компании

    источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    НСИС, оператор АИС страхования обработка обращений в 20 раз быстрее на локальной LLM, рост обращений в 1,5 раза без найма

    Оператор национальной страховой информационной системы развернул большую языковую модель локально и построил на ней три контура: автоматическую обработку обращений с множественными полями, RAG-сервис технической поддержки на документах компании и ИИ-агентов в процессе разработки, включая автоматический код-ревью.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    Digital Sector и заказчик из ИТ-инфраструктуры ИИ-агент анализа договоров в закрытом контуре заказчика; во внутреннем тестировании интегратора агенты высвободили 20% времени команды

    Интегратор реализовал ИИ-агента для первичного анализа договоров в закрытом контуре заказчика, который проектирует и поставляет ИТ-инфраструктуру: агент извлекает и сопоставляет данные, выявляет расхождения и готовит результат для специалиста. Агентов интегратор внедрил и в собственные процессы тестирования: высвобождено 20% рабочего времени команды за спринт.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    VK Tech две модели уместились в 22,4 ГБ из 24 ГБ видеопамяти при контексте 65 536 токенов

    Команда собрала локального ИИ-агента в закрытом контуре на связке Ollama и агентной обвязки на арендованном GPU-сервере с картой NVIDIA A30 на 24 ГБ. Модели: gpt-oss 20b (13 ГБ) для текста и инструментов и qwen3-vl 8b (6,1 ГБ) для изображений; вместе с KV-кэшем на контекст 65 536 токенов занято 22,4 ГБ.

    ИТ-компании

    2 сентября 2026 · источник: platforms.su

    Читать кейс
  • Кейс рынка · Россия

    ЛАНИТ сбор требований в 4 раза быстрее, время поиска документов на 66% меньше на платформе локальных LLM

    Группа разработала платформу для локального развертывания больших языковых моделей на инфраструктуре заказчика: чат и сложные конвейеры обработки документов, аудио и изображений. Дочерняя компания создала собственную модель, дообученную на русскоязычных данных, и пилотирует ее в CRM-, SRM- и HRM-проектах и корпоративных чат-ботах.

    ИТ-компании

    источник: platforms.su

    Читать кейс
Написать в Telegram