Словарь ИИ
Что такое длинный контекст
Коротко
Длинный контекст это способность языковой модели принять и учесть за один запрос очень большой объем текста: толстые документы, долгую переписку или целый репозиторий кода.
Языковые модели · long context
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что учитель читает классу толстую книгу, а потом спрашивает про мелочь со страницы из середины. Кто-то запомнил начало и конец, а середину прослушал. Некоторые нейросети стараются удержать в голове всю книгу сразу. Получается не всегда: середину они тоже иногда пропускают, поэтому ответы стоит проверять.
Простыми словами
Все, что вы отправляете модели за раз, вместе с ее ответом должно поместиться в рабочую память, контекстное окно. Раньше туда входило несколько страниц, теперь у ряда моделей помещаются целые книги и папки договоров. Это удобно: можно загрузить весь документ и спросить о нем, не разрезая на части. Но больше не значит внимательнее. На очень длинном входе модель чаще упускает детали, медленнее отвечает, а каждый запрос стоит дороже, потому что оплачиваются все переданные токены.
Для бизнеса
Работа с большими документами становится проще: сравнить две редакции договора, найти противоречия в тендерной документации, разобрать годовую переписку с клиентом. По документации Anthropic, окно в 1 млн токенов на текущем токенизаторе вмещает примерно 555 тысяч слов. Но счет растет вместе с объемом: если каждый вопрос несет с собой весь архив, расходы на токены быстро обгоняют пользу. Повторяющуюся часть входа удешевляют кэшированием, а для больших баз знаний обычно выгоднее поиск нужных фрагментов. Перед внедрением проверьте качество на документах той длины, с которой будете работать, и задержку ответа. Такая проверка показывает, какой подход дешевле для вашего ассистента.
Для специалиста
Длинным контекстом (long context) называют работу модели с входом от десятков тысяч до миллионов токенов. Ограничений два: вычислительная сложность внимания и обобщение позиционного кодирования за пределы длин, виденных при обучении. Для расширения применяют интерполяцию позиций RoPE, эффективные реализации внимания и распределенные схемы вроде кольцевого внимания (ring attention). Отчет о Gemini 1.5 (2024) сообщил о почти полном извлечении фактов, выше 99%, на длинах как минимум до 10 млн токенов. Однако тест «иголка в стоге сена» (needle in a haystack) проверяет лишь поиск одного факта. В бенчмарке RULER (Hsieh и соавторы, 2024) все 17 моделей заявляли окно от 32 тыс. токенов, но удовлетворительное качество на этой длине сохраняла лишь примерно половина, особенно на задачах с несколькими переходами и агрегацией. Отсюда различие заявленной и эффективной длины. На практике длинный вход сочетают с извлечением фрагментов, кэшированием префикса и сжатием истории диалога.
Пример
Юрист загружает в модель договор поставки со всеми приложениями и просит найти пункты, где сроки оплаты расходятся. Модель называет такие места с номерами разделов, а юрист проверяет каждое вручную.
Связанные термины
Вопросы и ответы
Нужен ли RAG, если у модели длинный контекст?
Почему модель теряет детали в длинном тексте?
Источники
- Gemini Team, Google, Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context, 2024arxiv.org
- Hsieh и др., RULER: What's the Real Context Size of Your Long-Context Language Models?, 2024arxiv.org
- Liu и др., Lost in the Middle: How Language Models Use Long Contexts, 2023arxiv.org
- Anthropic, Models overview (документация Claude, проверено 16.10.2026)platform.claude.com
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений