Словарь ИИ
Что такое vLLM
Коротко
vLLM это открытая библиотека для серверного запуска языковых моделей, которая обслуживает много запросов одновременно и экономно расходует видеопамять.
Модели и сервисы · vLLM
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь столовую, где один повар готовит сразу для всего класса. Если он будет варить по одной тарелке, очередь растянется до вечера. А умный повар раскладывает продукты по маленьким коробочкам и готовит много порций сразу, ничего не выбрасывая. Есть программа, которая так же быстро раздает ответы многим людям, когда они одновременно спрашивают умного помощника.
Простыми словами
Это программа для серверов, через которую языковую модельбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. подключают сразу ко многим пользователям. Обычный запуск модели быстро упирается в память видеокарты: каждый разговор держит свои промежуточные вычисления. Библиотека раскладывает их по небольшим страницам, как операционная система раскладывает оперативную память, и на той же видеокарте помещается больше разговоров. Например, компания ставит модель на свой сервер, и весь отдел продаж одновременно пользуется ассистентом без долгих ожиданий.
Для бизнеса
Код открыт под Apache 2.0, лицензионных платежей нет, а запросы и ответы остаются на ваших серверах. Главная статья расходов здесь видеокарты: чем плотнее программа их загружает, тем меньше серверов нужно на то же число сотрудников. Совместимый с OpenAI интерфейс позволяет перевести готовые приложения с облачного API на свою модель почти без доработки. Понадобятся инженеры, которые настроят сервер, мониторинг и обновления, иначе экономия на железе уйдет на простои. До закупки оборудования замеряют пропускную способность на ваших запросах: от нее зависит, сколько видеокарт брать и во сколько обойдется миллион токеновтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель..
Для специалиста
vLLM появился в Sky Computing Lab Калифорнийского университета в Беркли. Его основа описана в работе Kwon и др. «Efficient Memory Management for Large Language Model Serving with PagedAttention» (SOSP 2023): кэш ключей и значений (KV cacheKV-кэш. KV-кэш это память, в которой языковая модель хранит промежуточные результаты (ключи и значения внимания) для уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового.) делится на блоки по аналогии со страничной виртуальной памятью, и потери памяти на фрагментацию и дублирование становятся почти нулевыми. По данным авторов, пропускная способность выросла в 2-4 раза относительно FasterTransformer и Orca при той же задержке. Сейчас движок добавляет непрерывное батчирование (continuous batching), предзаполнение частями (chunked prefill), кэширование префиксов, квантизацию FP8, INT4, GPTQ, AWQ и GGUFGGUF. GGUF это формат файла для языковых моделей, в котором веса и все сведения для запуска лежат в одном файле, чаще всего в сжатом виде для локального запуска., тензорный, конвейерный и экспертный параллелизм. Сервер совместим с API OpenAI и Anthropic Messages и работает на GPU NVIDIA, AMD, Intel и на CPU.
Пример
Страховая компания запускает открытую модельмодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. через vLLM на своих серверах и подключает к ней чат для операторов. Когда в сезон обращений нагрузка растет, инженеры смотрят на очередь запросов и добавляют видеокарты, не меняя приложение.
Связанные термины
Вопросы и ответы
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений