Словарь ИИ
Что такое семантический чанкинг
Коротко
Семантический чанкинг это нарезка документов на фрагменты по смыслу: границу ставят там, где текст переходит к новой теме, а не через фиксированное число слов.
Поиск и RAG · semantic chunking
Михаил МозгПроверено: 1 минута чтения
Ребенку
Ты делишь сборник рассказов на части для друзей. Можно резать ровно по десять страниц, и тогда один рассказ разорвется пополам. А можно смотреть, где кончается история и начинается новая, и резать там. Так каждый друг получит целый рассказ с началом и концом. Семантический чанкинг делит тексты для компьютера вторым способом.
Простыми словами
Перед поиском документы режут на куски. Простой способ режет текст через равное число слов и может разорвать мысль посередине. Семантическая нарезка действует аккуратнее. Каждое предложение переводят в числа, которые описывают его смысл, и сравнивают с соседним. Пока соседние предложения похожи, они идут в один кусок. Когда сходство резко падает, значит, началась новая тема, и здесь ставят границу. Например, в договоре раздел об оплате и раздел о штрафах попадут в разные фрагменты, даже если первый короткий, а второй длинный.
Для бизнеса
Метод обещает более цельные фрагменты, а значит более точные ответы ассистента. Но у него есть цена: каждое предложение нужно пропустить через модель эмбеддингов, и подготовка базы обходится дороже и дольше. Исследование 2024 года показало, что эти затраты не окупаются стабильным приростом качества по сравнению с нарезкой фиксированного размера. Поэтому решение принимают по замеру: берут свои документы, режут двумя способами и сравнивают долю найденных правильных фрагментов. Для договоров и регламентов с четкой структурой часто достаточно резать по разделам и пунктам. Если документов совсем мало, можно обойтись без нарезки через CAG. Сравнение способов входит в подготовку данных для ИИ.
Для специалиста
Семантический чанкинг (semantic chunking) определяет границы фрагментов по смысловой близости соседних предложений. Типовая реализация: текст делится на предложения, каждое кодируется эмбеддинг-моделью, иногда вместе с соседями, затем считается косинусное расстояние между последовательными векторами. Граница ставится там, где расстояние превышает порог, обычно заданный процентилем распределения расстояний по документу; в примере из документации LlamaIndex это 95-й процентиль, а саму идею документация приписывает Грегу Камрадту. Варианты: порог по абсолютному значению сходства, кластеризация предложений, деление с помощью языковой модели. Qu, Tu, Bao (2024) проверили метод на трех задачах: поиск документов, поиск доказательств и генерация ответа по найденному. Вывод авторов: вычислительные затраты не оправданы стабильным выигрышем относительно фиксированного размера. Другие подходы к потере контекста на границах: поздний чанкинг (late chunking) и дописывание к фрагменту пояснения по всему документу.
Пример
Юристы загружают в ассистента договоры поставки. При нарезке по смыслу раздел о неустойке целиком попадает в один фрагмент, и ассистент не теряет условие, которое при резке по числу слов оказалось бы в соседнем куске.
Связанные термины
Вопросы и ответы
Чем семантический чанкинг отличается от обычного?
Стоит ли использовать семантический чанкинг?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений