Словарь ИИ

Что такое маршрутизатор моделей

Коротко

Маршрутизатор моделей (LLM router) это программа, которая для каждого запроса выбирает, какой языковой модели его отправить: простые вопросы дешевой и быстрой, сложные более мощной.

Языковые модели · LLM router

Михаил МозгПроверено: 16 октября 20261 минута чтения

ПодробноLLM router и LLM gateway: подробно

Ребенку

В поликлинике сначала идешь в регистратуру. Там смотрят, что у тебя болит, и отправляют к нужному врачу: с простудой к одному, со сломанной рукой к другому. Никто не ведет всех сразу к главному профессору. Такая регистратура бывает и у нейросетей: она решает, какой из них поручить вопрос.

Простыми словами

У компании может быть доступ к нескольким моделям: маленькой и дешевой, большой и дорогой, отдельной для картинок. Отправлять все в большую модель расточительно, а все в маленькую рискованно. Маршрутизатор стоит на входе и быстро оценивает каждый запрос: насколько он сложный, нужен ли код, есть ли изображение, длинный ли документ. По этой оценке он выбирает модель. Если ответ слабый, некоторые схемы передают вопрос следующей, более сильной модели.

Для бизнеса

Маршрутизация снижает расходы без заметной потери качества, когда большая часть запросов простая. Еще она уменьшает зависимость от одного поставщика: при сбое или росте цен трафик переводят на другую модель. Расходы складываются из разработки правил или обучения классификатора, тестов и наблюдения за качеством. Риски: маршрутизатор ошибается и отправляет сложный вопрос слабой модели, разные модели отвечают в разном стиле, а данные могут уйти в сервис с другой юрисдикцией. Перед запуском разметьте реальные запросы по сложности и проверьте, где для вашей задачи проходит граница между моделями.

Для специалиста

Маршрутизатор моделей (LLM router) решает задачу выбора модели под запрос с учетом качества, стоимости и задержки. Подходы: правила по признакам запроса; классификатор, который предсказывает, справится ли слабая модель; каскад (cascade), где ответ дешевой модели проверяют и при низкой уверенности вызывают следующую. FrugalGPT (Chen, Zaharia, Zou, 2023) описал три стратегии экономии: адаптацию промпта, аппроксимацию модели и каскад; каскад сравнялся с GPT-4 при снижении затрат до 98% или повысил точность на 4% при той же цене. RouteLLM (Ong и соавторы, 2024) обучает выбор между сильной и слабой моделью на данных человеческих предпочтений с аугментацией и в ряде случаев снижает затраты более чем вдвое без потери качества; обученные маршрутизаторы сохраняли эффективность при замене пары моделей. Не путать с маршрутизатором внутри смеси экспертов (mixture of experts), который выбирает экспертов для каждого токена внутри одной сети.

Не путать. Не путать с сетевым маршрутизатором (роутером), который передает пакеты данных между компьютерными сетями.

Пример

Интернет-магазин направляет вопросы о статусе заказа в малую модель, а претензии и споры о возврате в крупную. Счет за модели снизился, а сложные обращения получают более подробные ответы.

Связанные термины

Вопросы и ответы

Что такое LLM router?

Это англоязычное название маршрутизатора моделей. Он принимает запрос, оценивает его и решает, какой языковой модели его отправить, чтобы получить нужное качество за меньшие деньги.

Чем каскад отличается от маршрутизатора?

Маршрутизатор выбирает модель до ответа, по самому запросу. Каскад сначала получает ответ дешевой модели, проверяет его и при сомнении зовет более сильную. Сложные запросы в каскаде идут дольше, потому что проходят через две модели.

Источники

Где это применяют в компании

Зависимость от поставщика ИИ: как не остаться без сервиса

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений