LM Studio: один человек, Mac или ноутбук
Программа с окном: выбрали модель из каталога, нажали скачать, начали чат. Показывает скорость в токенахтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. в секунду после каждого ответа, поднимает локальный API, совместимый с привычными библиотеками. Подходит для проверки моделей перед покупкой железа и для персонального агента. Так работает персональный агент ИТ-руководителя банка на Mac.
Ollama: один-два человека, команда разработчиков
Командная строка и служба в фоне: одна команда ставит модель, вторая запускает API. Удобнее LM Studio для интеграций и скриптов, работает на Mac, Linux и Windows, на видеокартах и на Apple Silicon. Ограничение то же: одиночные запросы обрабатываются быстро, при многих одновременных часть ждет в очереди.
llama.cpp: основа и замеры
Библиотека, на которой построены LM Studio, Ollama и десятки других программ. Ее таблица замеров на Apple Silicon это источник цифр в этом разделе: M4 Max 83,1 токена в секундутокены в секунду. Токены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду., M5 Max 119,9 на модели Llama 2 7B в 4 битах. Используют напрямую, когда нужен полный контроль над параметрами и минимальные накладные расходы.
В чем разница между Ollama и LM Studio
Обе программы построены на llama.cpp, поэтому скорость у них задают прежде всего железо и модель. Разница в том, кто ими пользуется. LM Studio это окно с каталогом моделей: подходит руководителю или аналитику, который хочет проверить модель без командной строки. Ollama работает как служба в фоне: ее ставят разработчики, чтобы подключить модель к скрипту, агенту или внутреннему сервису. Обе программы бесплатны и поднимают локальный API, совместимый с привычными библиотеками.
Правило выбора: если модель нужна человеку, ставьте LM Studio; если программе, ставьте Ollama. Когда одновременных пользователей больше двух-трех, обе упираются в очередь, и пора считать сервер с vLLM.
vLLM: сервер для отдела
Движок пакетной выдачи для видеокарт: обрабатывает десятки запросов одновременно, распределяя память кэша между ними, и, по нашей оценке, дает суммарную скорость в тысячи токенов в секунду на серверной карте. По нашей оценке, он превращает сервер с двумя картами по 96 ГБ в сервис для 10–20 пользователей, а четыре H100 в сервис на сотни. Рассчитан на Linux-серверы с видеокартами и требует инженера.
Скорость: что дает железо, а что движок
Скорость одного ответа задает железо. По таблице сообщества llama.cpp на 25.08.2026 модель 7–8 млрд параметров в 4 битах выдает 50,7 токена в секунду на M4 Pro, 83,1 на M4 Max, 92,1 на M3 Ultra и 119,9 на M5 Max. На видеокартах по замерам мая 2024 года: RTX 4090 127,7 и H100 144,5 токена в секунду на модели 8 млрд, модель 70 млрд на двух RTX 4090 дает 19,1. Длинный запрос новое поколение тоже читает быстрее: M5 Max обрабатывает 3 220 токенов запроса в секунду против 886 у M4 Max.
Движок задает, сколько людей получат эту скорость одновременно. LM Studio и Ollama отдают ее одному потоку, остальные ждут. vLLM обрабатывает запросы пачкой, поэтому на сервере выигрывает суммарная скорость отдела, хотя каждый отдельный поток идет медленнее.
Как это устроено в российских компаниях
ИТ-руководитель Альфа-Банка запустил персонального агента на открытой моделимодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. с 35 млрд параметров, из которых на каждый токен работают около 3 млрд, через LM Studio на Mac: около 70 токенов в секунду. Сначала агент жил в Docker на том же Mac, потом переехал на виртуальную машину, и автор называет это переломным моментом по удобству. Это агент одного руководителя, а не сервис для банка.
Команда крупной российской ИТ-компании собрала агента на Ollama на арендованном сервере с картой NVIDIA A30 на 24 ГБ: модель gpt-oss 20b занимает 13 ГБ, модель зрения qwen3-vl 8b 6,1 ГБ, вместе с кэшем на 65 536 токенов 22,4 ГБ. Надежно агент проходил цепочку примерно до 6 вызовов инструментоввызов функций. Вызов функций (function calling) это способ, которым языковая модель просит программу выполнить действие: модель выбирает функцию и заполняет ее параметры, а код приложения выполняет запрос и возвращает результат. подряд, время ожидания холодной загрузки модели подняли выше 300 секунд, на разбор двенадцати ошибок ушел один вечер. Режим однопользовательский.
Крупный российский ИТ-интегратор держит модели на 8–14 млрд параметров на стандартном сервере, а более крупные на выделенном железе. Оператор связи Т2 в тендере на ассистента для разработчиков требовал 15 пользователей и отклик автодополнения не дольше 400 мс в своем закрытом дата-центредата-центр для ИИ. Дата-центр для ИИ это здание с тысячами серверов на видеокартах и других ускорителях, мощным электропитанием и охлаждением, где обучают и запускают нейросети.: по нашей оценке, это уже задача серверного движка с пакетной выдачей, а не программы на одном компьютере.
Как выбрать
Один пользователь на Mac или ноутбуке: LM Studio. Разработчик или интеграция на одном компьютере: Ollama. Отдел и агенты с очередью запросов на сервере с видеокартами: vLLM. Наши агенты подключаются к любому из них через единый интерфейс модели, поэтому переезд с облака на локальный движок и обратно это настройка, а не переписывание.
Что проверить до покупки железа
Арендуйте нужную карту на час: по агрегатору GPUGPU. GPU (graphics processing unit) это графический процессор: чип, который выполняет тысячи одинаковых вычислений одновременно, поэтому на нем обучают и запускают нейросети. Индекс на 30.09.2026 RTX 4090 в российском облаке стоит от 43 ₽ в час, H100 от 242 ₽. Поставьте Ollama или vLLM и прогоните 50 своих запросов при 1, 4 и 16 параллельных потоках: суммарная скорость при 16 потоках и есть число для расчета сервера. На Mac то же самое делают в LM Studio, установка по нашему опыту занимает 10–30 минут.
Затем зафиксируйте версии модели и движка: обновление любого из них это отдельное событие с повторной проверкой на тех же запросах. Заложите время ожидания на холодную загрузку модели и отдельную проверку результата агента. Пилотный агент на локальной моделилокальная модель. Локальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят. у нас занимает 14 дней и стоит от 149 000 ₽ без стоимости оборудования, на вашем железе или на арендованных GPU в России.