Словарь ИИ
Что такое vLLM
Коротко
vLLM это открытая библиотека для серверного запуска языковых моделей, которая обслуживает много запросов одновременно и экономно расходует видеопамять.
Модели и сервисы · vLLM
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь столовую, где один повар готовит сразу для всего класса. Если он будет варить по одной тарелке, очередь растянется до вечера. А умный повар раскладывает продукты по маленьким коробочкам и готовит много порций сразу, ничего не выбрасывая. Есть программа, которая так же быстро раздает ответы многим людям, когда они одновременно спрашивают умного помощника.
Простыми словами
Это программа для серверов, через которую языковую модель подключают сразу ко многим пользователям. Обычный запуск модели быстро упирается в память видеокарты: каждый разговор держит свои промежуточные вычисления. Библиотека раскладывает их по небольшим страницам, как операционная система раскладывает оперативную память, и на той же видеокарте помещается больше разговоров. Например, компания ставит модель на свой сервер, и весь отдел продаж одновременно пользуется ассистентом без долгих ожиданий.
Для бизнеса
Код открыт под Apache 2.0, лицензионных платежей нет, а запросы и ответы остаются на ваших серверах. Главная статья расходов здесь видеокарты: чем плотнее программа их загружает, тем меньше серверов нужно на то же число сотрудников. Совместимый с OpenAI интерфейс позволяет перевести готовые приложения с облачного API на свою модель почти без доработки. Понадобятся инженеры, которые настроят сервер, мониторинг и обновления, иначе экономия на железе уйдет на простои. До закупки оборудования замеряют пропускную способность на ваших запросах: от нее зависит, сколько видеокарт брать и во сколько обойдется миллион токенов.
Для специалиста
vLLM появился в Sky Computing Lab Калифорнийского университета в Беркли. Его основа описана в работе Kwon и др. «Efficient Memory Management for Large Language Model Serving with PagedAttention» (SOSP 2023): кэш ключей и значений (KV cache) делится на блоки по аналогии со страничной виртуальной памятью, и потери памяти на фрагментацию и дублирование становятся почти нулевыми. По данным авторов, пропускная способность выросла в 2-4 раза относительно FasterTransformer и Orca при той же задержке. Сейчас движок добавляет непрерывное батчирование (continuous batching), предзаполнение частями (chunked prefill), кэширование префиксов, квантизацию FP8, INT4, GPTQ, AWQ и GGUF, тензорный, конвейерный и экспертный параллелизм. Сервер совместим с API OpenAI и Anthropic Messages и работает на GPU NVIDIA, AMD, Intel и на CPU.
Пример
Страховая компания запускает открытую модель через vLLM на своих серверах и подключает к ней чат для операторов. Когда в сезон обращений нагрузка растет, инженеры смотрят на очередь запросов и добавляют видеокарты, не меняя приложение.
Связанные термины
Вопросы и ответы
Что такое vLLM?
Какая лицензия у vLLM?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений