Словарь ИИ

Что такое токен в нейросети

Коротко

Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель.

Языковые модели · token

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты собираешь фразу из кубиков с буквами. Нейросеть тоже не читает текст целиком, а делит его на кубики. Один кубик может быть целым словом, а может быть половинкой слова. Такие кубики и называются токенами.

Простыми словами

Нейросеть не видит слова так, как видим их мы. Перед работой она режет текст на кусочки, токены. Короткое частое слово обычно становится одним токеном, длинное или редкое делится на несколько. Модель читает токены, а потом по одному токену пишет ответ. Поэтому длина вопроса и ответа измеряется в токенах, а не в словах.

Для бизнеса

Токены это единица оплаты и единица памяти модели. Облачные модели берут деньги за каждый миллион токенов на входе и на выходе, поэтому длинные инструкции и большие документы стоят дороже. Контекстное окно модели тоже считается в токенах: если документ не помещается, его нужно сокращать или искать в нем нужное через RAG. В русском тексте токенов на то же число слов обычно больше, чем в английском, и это стоит учитывать в бюджете.

Для специалиста

Токен это элемент словаря токенизатора, которому соответствует целочисленный индекс. Большинство современных моделей используют подсловную токенизацию: варианты Byte Pair Encoding (BPE) и близкие методы, которые склеивают частые последовательности символов или байтов в одну единицу. Модель получает последовательность индексов, превращает их в эмбеддинги и на каждом шаге предсказывает распределение вероятностей следующего токена. Размер словаря, правила разбиения и доля текстов на конкретном языке в обучающих данных определяют, сколько токенов займет одна и та же фраза.

Пример

Фраза «Нейросеть отвечает клиенту» может разбиться на токены так: «Ней», «рос», «еть», « отвечает», « клиенту». Точное разбиение зависит от модели.

Связанные термины

Вопросы и ответы

Сколько токенов в одном слове?

Зависит от языка и модели. Частое короткое слово часто занимает один токен, длинное русское слово может занять три-четыре. Точно посчитать можно токенизатором той модели, которую вы используете.

Почему ответы нейросети оплачиваются в токенах?

Модель тратит вычисления на каждый прочитанный и каждый написанный токен. Поэтому облачные сервисы считают цену за миллион токенов отдельно для входа и выхода.

Источники

Sennrich и др., Neural Machine Translation of Rare Words with Subword Units, 2016arxiv.org

Где это применяют в компании

Сколько стоит миллион токенов на своем сервере

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений