Словарь ИИ
Что такое чанкинг
Коротко
Чанкинг это нарезка документов на небольшие фрагменты (чанки), по которым потом ищет система RAG.
Поиск и RAG · chunking
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь толстую книгу сказок. Если друг спросит, как зовут кота в одной сказке, ты не станешь перечитывать всю книгу, а откроешь нужную главу. А если книгу заранее поделить на маленькие главы с закладками, найти ответ еще проще. Чанкинг и есть такое деление большой книги на удобные кусочки для компьютера.
Простыми словами
Модель не может прочитать сразу всю папку с документами, а поиск плохо работает с целыми файлами на сотню страниц. Поэтому тексты заранее режут на куски, их называют чанками. Резать можно по числу слов, по абзацам, по разделам документа. Каждый кусок хранится отдельно, и на вопрос система ищет несколько подходящих. Важен размер. Слишком мелкий кусок теряет смысл: фраза «срок составляет десять дней» без заголовка непонятна. Слишком крупный тянет в ответ лишнее.
Для бизнеса
От нарезки во многом зависит, найдет ли ассистент нужный пункт договора или выдаст соседний. Ошибки здесь дешевы на старте и дороги потом: после запуска пересчет индекса означает новые расходы на эмбеддинги и повторную проверку качества. Сложнее всего с таблицами, сканами, прайсами и документами со сквозной нумерацией пунктов: их режут по своим правилам, а не по числу знаков. Полезная практика: к каждому фрагменту дописывать название документа, раздел и дату версии. Прежде чем выбирать способ, посмотрите, какие документы у вас есть и в каком они состоянии. Эту часть разбирают вместе с подготовкой данных для ИИ.
Для специалиста
Чанкинг (chunking) это этап индексации, на котором документ делится на единицы извлечения. Базовые стратегии: фиксированный размер в токенах или словах с перекрытием (overlap), рекурсивное деление по разделителям (разделы, абзацы, предложения), деление по структуре документа (заголовки, таблицы) и семантическое, где границу ставят при резкой смене темы между соседними предложениями. В Dense Passage Retrieval (Karpukhin и др., 2020) статьи Википедии делили на непересекающиеся блоки по 100 слов. Главная проблема независимой нарезки: фрагмент теряет контекст соседних частей. Ее решают двумя путями. Contextual Retrieval (Anthropic, 2024) дописывает к каждому фрагменту пояснение на 50-100 токенов, которое модель пишет по всему документу. Позднее разбиение (late chunking, Günther и др., 2024) сначала пропускает весь текст через модель эмбеддингов с длинным контекстом, а делит уже токенные представления перед усреднением (mean pooling).
Пример
В регламенте пункт «Срок рассмотрения: пять рабочих дней» оказался в отдельном фрагменте без заголовка, и ассистент не понимал, о каком процессе речь. После того как к каждому фрагменту добавили название раздела, ответы стали точными.
Связанные термины
Вопросы и ответы
Какой размер чанка выбрать?
Что такое перекрытие при нарезке?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений