собственные LLM решают 45% обращений, по оценке затраты на поддержку ниже минимум на 25% в год
Банки и финансы
источник: platforms.su
Читать кейсСравнение
Сравнение Ollama, LM Studio, llama.cpp и vLLM: чем запускать локальную модель
Михаил Мозг2 минуты чтения
Модель это файл, а запускает его движок. От движка зависит скорость, число одновременных пользователей и то, подключится ли к нему ваш агент как к облаку. Ниже сравнение Ollama, LM Studio, llama.cpp и vLLM: для кого каждый движок и как они соотносятся с железом из этого раздела.
LM Studio: один человек, Mac или ноутбук
Программа с окном: выбрали модель из каталога, нажали скачать, начали чат. Показывает скорость в токенах в секунду после каждого ответа, поднимает локальный API, совместимый с привычными библиотеками. Подходит для проверки моделей перед покупкой железа и для персонального агента. Так работает персональный агент ИТ-руководителя банка на Mac.
Ollama: один-два человека, команда разработчиков
Командная строка и служба в фоне: одна команда ставит модель, вторая запускает API. Удобнее LM Studio для интеграций и скриптов, работает на Mac, Linux и Windows, на видеокартах и на Apple Silicon. Ограничение то же: одиночные запросы обрабатываются быстро, при многих одновременных часть ждет в очереди.
llama.cpp: основа и замеры
Библиотека, на которой построены LM Studio, Ollama и десятки других программ. Ее таблица замеров на Apple Silicon это источник цифр в этом разделе: M4 Max 83,1 токена в секунду, M5 Max 119,9 на модели Llama 2 7B в 4 битах. Используют напрямую, когда нужен полный контроль над параметрами и минимальные накладные расходы.
vLLM: сервер для отдела
Движок пакетной выдачи для видеокарт: обрабатывает десятки запросов одновременно, распределяя память кэша между ними, и, по нашей оценке, дает суммарную скорость в тысячи токенов в секунду на серверной карте. По нашей оценке, он превращает сервер с двумя картами по 96 ГБ в сервис для 10–20 пользователей, а четыре H100 в сервис на сотни. Рассчитан на Linux-серверы с видеокартами и требует инженера.
Как выбрать
Один пользователь на Mac или ноутбуке: LM Studio. Разработчик или интеграция на одном компьютере: Ollama. Отдел и агенты с очередью запросов на сервере с видеокартами: vLLM. Наши агенты подключаются к любому из них через единый интерфейс модели, поэтому переезд с облака на локальный движок и обратно это настройка, а не переписывание.
Вопросы и ответы
Нужен ли Linux для локальной модели?
Можно ли запустить vLLM на Mac Studio?
Источники и даты
- llama.cpp, производительность на Apple Silicon, таблица обновлена 25.08.2026github.com
- GPU-Benchmarks-on-LLM-Inference, Llama 3 8B и 70B, май 2024github.com
- Цифровые платформы, кейс №2447, октябрь 2025: Т-Банкplatforms.su
- Цифровые платформы, кейс №3855, 2 сентября 2026: Т-Технологииplatforms.su
- Цифровые платформы, кейс №4067, 2 сентября 2026: Альфа-Банк, ИТ-руководительplatforms.su
- Цифровые платформы, кейс №2929, 2025: ИТ-холдинг Т1platforms.su
- Цифровые платформы, кейс №3475, 2 сентября 2026: НСИС, оператор АИС страхованияplatforms.su
- Цифровые платформы, кейс №3661, 2 сентября 2026: Digital Sector и заказчик из ИТ-инфраструктурыplatforms.su
- Цифровые платформы, кейс №4084, 2 сентября 2026: VK Techplatforms.su
- Цифровые платформы, кейс №2874, 2025: ЛАНИТplatforms.su
Кейсы по теме: 8
Кейс рынка · Россия Кейс рынка · Россия ИИ-ассистент для задач с деньгами на собственных моделях Gen-T, бета с 20 июля 2026
Банки и финансы
2 сентября 2026 · источник: platforms.su
Читать кейсКейс рынка · Россия локальный агент на модели Qwen 3.6-35B-A3B: около 70 токенов в секунду на Mac
Банки и финансы
2 сентября 2026 · источник: platforms.su
Читать кейсКейс рынка · Россия согласование договоров за 3 дня вместо двух недель, затраты на сравнение документов ниже на 40%
ИТ-компании
источник: platforms.su
Читать кейсКейс рынка · Россия обработка обращений в 20 раз быстрее на локальной LLM, рост обращений в 1,5 раза без найма
ИТ-компании
2 сентября 2026 · источник: platforms.su
Читать кейсКейс рынка · Россия ИИ-агент анализа договоров в закрытом контуре заказчика; во внутреннем тестировании интегратора агенты высвободили 20% времени команды
ИТ-компании
2 сентября 2026 · источник: platforms.su
Читать кейсКейс рынка · Россия две модели уместились в 22,4 ГБ из 24 ГБ видеопамяти при контексте 65 536 токенов
ИТ-компании
2 сентября 2026 · источник: platforms.su
Читать кейсКейс рынка · Россия сбор требований в 4 раза быстрее, время поиска документов на 66% меньше на платформе локальных LLM
ИТ-компании
источник: platforms.su
Читать кейс
Цены и замеры в разделе проверены 29.09.2026 по источникам внизу страниц. Мы собираем ИИ-агентов на облачных и локальных моделях и не продаем железо. Расчеты оценочные, юридические выводы по 152-ФЗ и 243-ФЗ дает ваш юрист.
Контакты
Разберем, где вашей компании нужен локальный ИИ, а где хватит облака
Посчитаем железо, токены и людей на ваших цифрах и скажем честно, что дешевле. Бесплатно, 30 минут.