Словарь ИИ
Что такое лимит запросов
Коротко
Лимит запросов (rate limit) это ограничение, сколько запросов и токенов программа может отправить облачной нейросети за минуту или другой отрезок времени.
Инфраструктура · rate limit
Михаил МозгПроверено: 1 минута чтения
Ребенку
В школьной столовой на раздаче стоит один повар. Если весь класс прибежит разом, он не успеет, поэтому дежурный пропускает ребят по очереди: столько, сколько повар успевает накормить. Остальные ждут минутку и подходят снова. У умных помощников в интернете тоже есть такой дежурный. Он следит, чтобы никто не занял повара целиком и всем досталось по тарелке.
Простыми словами
Сервис нейросети обслуживает тысячи клиентов сразу, и его мощности не бесконечны. Поэтому у каждого аккаунта есть потолок: сколько запросов в минуту можно отправить и сколько токенов прочитать и написать. Пока вы под потолком, все работает как обычно. Если программа его превысила, сервис отказывает с ошибкой и часто подсказывает, через сколько секунд можно повторить. Например, в час пик бот поддержки получил вдвое больше вопросов, чем обычно, и часть ответов задержалась на несколько секунд, пока очередь не разошлась.
Для бизнеса
От этих потолков зависит, сколько клиентов ваш ИИ-агент обслужит в пиковый час, поэтому их считают до запуска, а не после первой жалобы. Поставщики поднимают потолок по мере истории использования: например, у Anthropic лимиты привязаны к уровню аккаунта (usage tier), и для каждого уровня есть еще месячный предел расходов. Типичный сбой: распродажа или рассылка дает всплеск, агент упирается в ограничение, клиенты ждут. Что проверить: значения для нужной модели на вашем уровне, поведение системы при отказе (очередь, повтор, запасная модель), кэширование повторяющихся инструкций и отдельные квоты для разных отделов. Своя модель на сервере снимает внешние ограничения, но скорость тогда задает ваше железо. Зависимость от правил поставщика разбирают в оценке рисков ИИ.
Для специалиста
Ограничение частоты (rate limiting) защищает сервис от перегрузки и злоупотреблений и делит мощность между клиентами. В HTTP превышение обозначает код 429 Too Many Requests, который ввели Nottingham и Fielding в RFC 6585 (апрель 2012); ответ может нести заголовок Retry-After с паузой до повтора. У API языковых моделей счетчиков несколько: запросы в минуту (RPM), входные и выходные токены в минуту (ITPM, OTPM). Anthropic применяет алгоритм маркерной корзины (token bucket): емкость пополняется непрерывно до максимума, а не сбрасывается раз в минуту, и на коротких интервалах 60 RPM могут действовать как один запрос в секунду. Для большинства моделей Claude токены, прочитанные из кэша промпта, в ITPM не входят, так что кэширование поднимает эффективную пропускную способность. Клиент должен повторять запросы с экспоненциальной задержкой (exponential backoff) и читать заголовки с остатком квоты.
Пример
Интернет-магазин запускает рассылку по всей базе клиентов, и ИИ-агент должен ответить каждому, кто напишет в первый час. Команда заранее считает пиковое число запросов в минуту, ставит входящие сообщения в очередь и включает кэширование общей инструкции агента, чтобы не упереться в лимит токенов.
Связанные термины
Вопросы и ответы
Что делать, если нейросеть отвечает ошибкой 429?
Чем лимит запросов отличается от лимита расходов?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений