Словарь ИИ
Что такое кэширование промптов
Коротко
Кэширование промптов (prompt caching) это прием, при котором провайдер модели сохраняет уже обработанное начало запроса и при повторе берет его из памяти: ответ приходит быстрее и стоит дешевле.
Языковые модели · prompt caching
Михаил МозгПроверено: 1 минута чтения
Ребенку
Каждое утро ты собираешь портфель и кладешь одни и те же учебники. Можно собрать стопку заранее и просто брать ее, добавляя только тетрадь на сегодня. Нейросеть тоже может запомнить ту часть задания, которая не меняется, и не читать ее заново каждый раз. Так она отвечает быстрее.
Простыми словами
Многие запросы к модели начинаются одинаково: длинная инструкция, справочник компании, описание инструментов, а меняется только вопрос в конце. Каждый раз модели приходится заново перечитывать все это начало. Кэш решает проблему: обработанное начало сохраняется на короткое время, и следующий запрос с тем же началом использует готовый результат. Модель тратит силы только на новую часть. Условие одно: начало должно совпадать полностью, до знака.
Для бизнеса
Для компании с ассистентом или агентом это прямая экономия. По документации Anthropic, чтение из кэша стоит от 2,5 до 10% базовой цены входных токенов в зависимости от модели, а запись в кэш на пять минут дороже обычного входа в 1,25 раза. OpenAI включает кэширование по умолчанию и дает скидку на повторно использованный вход до 95%. Выгода зависит от структуры запросов: постоянную часть ставят в начало, переменную в конец, иначе кэш не срабатывает. Риск небольшой, но есть: кэш живет минуты, и при редких запросах успевает очиститься. Перед расчетом бюджета сравните цены разных моделей с учетом кэша.
Для специалиста
Кэширование промптов (prompt caching) переиспользует вычисленные состояния внимания, то есть KV-кэш, для общего префикса запросов. Gim и соавторы (2023) в работе Prompt Cache предложили описывать повторяющиеся фрагменты (системные сообщения, шаблоны, документы) как модули и хранить их состояния; время до первого токена (time to first token) сократилось в 8 раз на GPU и в 60 раз на CPU без потери точности. В API кэш срабатывает по точному совпадению префикса. У Anthropic по порядку кэшируются инструменты, системный промпт и сообщения до блока с пометкой cache_control; срок жизни по умолчанию 5 минут и бесплатно продлевается при каждом попадании, за доплату доступен час. Минимальная длина кэшируемого префикса зависит от модели, от 512 до 4096 токенов. У OpenAI кэш включен по умолчанию, для GPT-5.6 и новее минимум 1024 токена, а префикс хранится 30 минут после последнего использования. Стабильную часть ставят в начало, а метки времени и идентификаторы пользователя выносят в конец.
Пример
Служба поддержки отправляет в модель с каждым вопросом одну и ту же инструкцию и большой справочник. После включения кэша эта часть оплачивается по сниженной цене, и ответы приходят заметно быстрее.
Связанные термины
Вопросы и ответы
Сколько можно сэкономить на кэшировании промптов?
Влияет ли кэш на ответы модели?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений