LLM router: как запрос сам выбирает подходящую модель

Три слова часто путают, хотя они про разное. Router (роутер, маршрутизатор моделей) решает, какой модели отдать конкретный запрос. Gateway (шлюз) принимает все запросы компании в одной точке и уже потом передает их моделям.

Proxy (прокси, посредник) в этой теме почти синоним шлюза: программа стоит между вашим приложением и поставщиками моделей. Например, LiteLLM называет один и тот же продукт и AI Gateway, и LiteLLM Proxy.

Роутер обычно работает внутри шлюза или рядом с ним: шлюз дает единый вход, ключи и учет расходов, роутер добавляет выбор модели. С сетевым роутером, который передает пакеты данных между сетями, это не связано.

Агрегатор API устроен иначе: это чужой сервис, который продает доступ ко многим моделям через свой аккаунт. Чем он отличается и когда удобен, разобрано на странице об агрегаторах API.

Путь запроса показан на схеме ниже. Запрос приходит в шлюз: один адрес, ключи, бюджеты. Шлюз передает его роутеру, а роутер отвечает на один вопрос: простой запрос или сложный?

Если простой, запрос уходит в быструю недорогую модель: справку, статус заказа или короткий перевод она закроет сама. Если сложный, его получает сильная модель: разбор договора, расчет, задача в несколько шагов.

Если поставщик модели не отвечает, шлюз переводит запрос на запасную модель. На схеме это пунктирная линия «Сбой: запасная модель».

Сложность роутер оценивает двумя способами. Простой способ это правила: длина запроса, ключевые слова, нужен ли код или файл. Способ точнее это небольшая модель-классификатор, которая предсказывает, справится ли слабая модель.

В RouteLLM роутеры учили на данных о предпочтениях людей: какой из двух ответов человек выбрал. Есть и каскад: сначала отвечает недорогая модель, ответ проверяют и при сомнении зовут сильную, но сложный запрос тогда проходит через две модели и идет дольше.

Основные цифры дает RouteLLM, открытый фреймворк исследователей LMSYS, опубликованный 1 июля 2024 года. Роутер выбирал между сильной моделью GPT-4 Turbo и более дешевой Mixtral 8x7B.

При 95% качества GPT-4 расходы упали больше чем на 85% на MT Bench, на 45% на MMLU и на 35% на GSM8K. MT Bench это разговорные вопросы в несколько ходов, MMLU проверяет знания по многим предметам, GSM8K это школьные задачи по математике.

Разброс от 35% до 85% показывает главное: экономия зависит от доли простых запросов. Где много сложных задач, роутер чаще зовет сильную модель, и выигрыш меньше.

В статье к фреймворку авторы пишут осторожнее: в ряде случаев расходы ниже больше чем в 2 раза без потери качества. Роутеры сохранили эффект и при замене пары моделей без повторного обучения.

Посчитать свой случай можно по цене токеновтокен Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. Подробнее в словаре, то есть кусков слов, за которые платят поставщику. Как считать токены, разобрано на странице о стоимости токенов, а прикинуть месячный счет поможет калькулятор облачного API.

Роутер есть и внутри ChatGPT. В системной карте GPT-5 (август 2025) OpenAI описывает систему из быстрой модели, модели с рассуждениемрассуждающая модель Рассуждающая модель (reasoning model) это языковая модель, которая перед ответом пишет для себя ход решения и тратит на сложную задачу больше времени и вычислений. Подробнее в словаре для трудных задач и маршрутизатора в реальном времени.

Маршрутизатор решает по типу разговора, сложности, нужным инструментам и явной просьбе пользователя, например «подумай как следует». Он учится на реальных сигналах: когда люди сами переключают модель и какие ответы оценивают выше.

Для компании из этого два вывода. Первый: крупные поставщики уже используют роутер в своих продуктах. Второй: внутри чужого сервиса вы не управляете выбором модели и ценой каждого ответа, а свой роутер дает этот контроль.

Не путайте это с маршрутизатором внутри смеси экспертов: там выбор идет внутри одной нейросети для каждого токена, а не между отдельными моделями.

Шлюз нужен, как только моделями пользуются несколько отделов. Возьмем LiteLLM: это открытый шлюз, который ставят на свой сервер. По документации он дает один адрес в формате OpenAI для 100+ поставщиков моделей.

Формат OpenAI значит, что программа, написанная под API OpenAI, работает с любой моделью за шлюзом без переписывания кода. Подробнее на странице про OpenAI-совместимый API.

Каждый пользователь, команда или проект получает свой виртуальный ключ со списком моделей, бюджетом и лимитами. Шлюз записывает стоимость каждого запроса, и расходы видны по ключам, командам и пользователям.

При сбое поставщика шлюз переводит запросы на другую модель или повторяет попытку. Журналы запросов уходят в системы наблюдения, а фильтры могут скрывать персональные данные до отправки модели.

Код LiteLLM открыт под лицензией MIT, кроме папки enterprise: функции в ней идут под отдельной коммерческой лицензией. Если вам нужны именно они, проверьте условия до внедрения.

Роутер решает не только вопрос цены, но и вопрос данных. По 152-ФЗ (часть 5 статьи 18) записывать и хранить персональные данные граждан России в базах за пределами страны нельзя, кроме случаев, прямо названных в законе.

Отсюда рабочая схема. Облачная модельоблачная модель Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. Подробнее в словаре получает только запросы без персональных данных: общие вопросы, тексты для сайта, код. Все, где есть имена, телефоны и договоры клиентов, идет на вашу модель в вашем контуре.

Роутер в такой схеме проверяет запрос еще и на персональные данные, а шлюз на своем сервере ведет журнал: какой запрос и куда ушел.

Как устроена гибридная схема и сколько стоит своя часть, разобрано на странице о гибридной схеме. Правовая сторона подробно описана на странице о законе и данных.

Если у вас одно приложение, одна модель и один разработчик, шлюз лишний. Документация LiteLLM сама советует в таком случае обычную библиотеку для Python, а шлюз ставить, когда запросы шлют несколько людей или программ и нужны ключи, учет расходов или фильтры.

Роутер не нужен, если почти все запросы одного типа. Когда все задачи сложные, их все равно получит сильная модель, а когда все простые, хватит одной недорогой.

И еще один случай: запросов мало. Экономия считается в процентах от счета, и при маленьком счете она не окупит настройку и проверку качества.

Начните с замера: выгрузите запросы за месяц, разметьте их по сложности и посчитайте, какая доля могла бы уйти недорогой модели.