Словарь ИИ
Что такое контекстное окно
Коротко
Контекстное окно это объем текста в токенах, который языковая модель видит за один раз: инструкции, документы, вопрос и ее собственный ответ.
Языковые модели · context window
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты смотришь на длинную картину через окошко, вырезанное в листе бумаги. Видна только та часть, что попала в окошко, а остальное приходится вспоминать или двигать лист. У нейросети тоже есть такое окошко для текста. Если рассказ слишком длинный, начало выпадает из поля зрения, и она про него забывает.
Простыми словами
Модель не помнит разговор сама по себе. Каждый раз ей заново передают все: инструкцию, историю переписки, приложенные файлы и новый вопрос. Предел этого объема и называют окном. Его меряют в токенах, кусочках слов, и ответ модели тоже занимает в нем место. Когда переписка разрастается, старые сообщения обрезают, и модель перестает их учитывать. Например, вы обсуждали условия поставки в начале длинного чата, а через час она отвечает так, будто этого разговора не было.
Для бизнеса
Размер окна определяет, сколько материала модель обработает за один запрос: один договор или целый архив переписки. Большое окно удобно, но каждый переданный токен оплачивается, и запрос на сотню страниц стоит заметно дороже короткого. Кроме того, исследования показывают, что модели хуже находят нужный факт в середине длинного текста, чем в начале или в конце. Поэтому для работы с базой знаний обычно не загружают все сразу, а находят несколько подходящих фрагментов через RAG. До внедрения проверьте на своих документах, теряет ли модель детали при полной загрузке и во что обходится такой запрос. Эти расчеты входят в пилот.
Для специалиста
Контекстное окно (context window) это максимальное число токенов, которое модель учитывает одновременно, включая входные и уже сгенерированные. В трансформере Vaswani и соавторов (2017) сложность самовнимания на слой равна O(n²·d), то есть растет квадратично от длины n, а при генерации видеопамять занимает KV-кеш (key-value cache) каждого токена. Окно расширяют интерполяцией позиционных кодировок (RoPE scaling), скользящим (sliding window attention) и разреженным (sparse attention) вниманием, а память под KV-кеш при обслуживании экономят страничным управлением PagedAttention (Kwon и соавторы, 2023). Заявленная длина не равна полезной: в работе «Lost in the Middle» (Liu и соавторы, 2023) точность заметно падала, когда нужный факт стоял в середине входа, даже у моделей для длинного контекста. Полезную длину проверяют тестами поиска иголки (needle in a haystack) и задачами на многошаговый вывод по длинному документу.
Пример
Менеджер загрузил в чат три года переписки с клиентом и спросил о скидке из первого письма. Переписка не поместилась, начало обрезалось, и модель ответила, что о скидке ничего не известно.
Связанные термины
Вопросы и ответы
Что будет, если текст не помещается в контекстное окно?
Чем больше контекстное окно, тем выше качество?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений