Словарь ИИ
Что такое токенизация
Коротко
Токенизация это разбиение текста на токены, то есть кусочки слов и знаки, которые языковая модель переводит в числа и только потом читает.
Языковые модели · tokenization
Михаил МозгПроверено: 1 минута чтения
Ребенку
Когда ты учишься читать, ты делишь длинное слово на слоги: «ма-ши-на». Компьютеру тоже трудно сразу понять целую фразу, поэтому специальная программа заранее режет ее на маленькие кусочки. Каждому кусочку она дает свой номер, как карточке в коробке с лото. Дальше компьютер работает уже с номерами, а не с буквами.
Простыми словами
Модель не умеет читать буквы, она работает с номерами. Поэтому перед каждым запросом текст проходит через токенизатор (tokenizer): программу со словарем кусочков. Он находит в тексте знакомые куски и заменяет каждый его номером. Частые слова лежат в словаре целиком, редкие собираются из нескольких частей. Например, слово «договор» может остаться одним куском, а необычная фамилия клиента развалится на три-четыре. На выходе все идет в обратную сторону: номера снова склеиваются в слова, и вы видите обычный ответ.
Для бизнеса
От токенизации зависит счет за облачную модель. Тарифы считают в токенах, а один и тот же текст у разных моделей режется на разное число кусков. Русский текст часто занимает больше токенов, чем английский того же смысла, если в словаре модели мало русских фрагментов. Поэтому сравнивать поставщиков только по прайсу неточно: прогоните через каждого свои типовые документы и посчитайте фактический расход. От этого же зависит, сколько страниц поместится в один запрос и как быстро придет ответ. Такой замер удобно включить в пилот до выбора поставщика.
Для специалиста
Токенизация (tokenization) переводит строку в последовательность целочисленных индексов из фиксированного словаря (vocabulary). Словные токенизаторы спотыкаются о незнакомые слова, символьные дают слишком длинные последовательности, поэтому в языковых моделях закрепился подсловный подход. Sennrich, Haddow и Birch (ACL, 2016) применили к переводу Byte Pair Encoding (BPE): алгоритм начинает с отдельных символов и итеративно сливает наиболее частую пару в новую единицу, пока словарь не достигнет заданного размера. Kudo и Richardson (2018) выпустили SentencePiece: он обучается прямо на сырых предложениях без предварительного деления на слова и поддерживает BPE и униграммную модель (unigram LM). Байтовый вариант (byte-level BPE) работает с байтами UTF-8 и не знает неизвестных символов. Нормализация, предтокенизация и специальные токены (BOS, EOS) входят в конвейер и обязаны совпадать при обучении и инференсе.
Пример
Компания сравнивала две облачные модели на сотне реальных писем клиентов. По прайсу первая была дешевле, но ее словарь резал русский текст на заметно большее число кусков, и итоговый счет оказался выше.
Связанные термины
Вопросы и ответы
Чем токенизация отличается от токена?
Почему русский текст обходится дороже в токенах?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений