Словарь ИИ
Что такое перплексия
Коротко
Перплексия это метрика качества языковой модели, которая показывает, насколько модель «удивлена» текстом: чем ниже значение, тем точнее она предсказывает следующие токены.
Языковые модели · perplexity
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь игру: друг читает сказку и останавливается, а ты угадываешь следующее слово. Если сказку ты знаешь, угадываешь почти всегда, и выбирать почти не из чего. Если сказка незнакомая, вариантов в голове целая куча. Ученые придумали число, которое показывает, из скольких вариантов в среднем приходится выбирать нейросети. Чем оно меньше, тем увереннее она угадывает.
Простыми словами
Чтобы понять, насколько хорошо модель знает язык, ей дают текст, которого она не видела, и смотрят, какие шансы она давала каждому настоящему следующему слову. Если шансы высокие, модель хорошо предугадывает текст. Метрика сводит это в одно число, похожее на среднее количество равновероятных вариантов, между которыми модель колеблется. Значение около десяти значит, что модель словно выбирает из десятка слов, а около тысячи, что она почти не ориентируется. Сравнивать числа можно только на одном и том же тексте.
Для бизнеса
Метрика полезна разработчикам, но плохо подходит для выбора модели под задачу компании. Низкое значение говорит, что модель хорошо предсказывает тексты, похожие на тестовые, и ничего не говорит о том, правильно ли она отвечает клиенту или извлекает реквизиты. Сравнивать разные модели напрямую нельзя: результат зависит от токенизатора, и модель с другим словарем получит другие числа на том же тексте. Где метрика действительно помогает: проверить, не испортила ли квантизация модель для своего сервера, и сравнить версии после дообучения на ваших документах. Окончательное решение принимают по тестам на реальных задачах, их проводят при сравнении локального и облачного варианта.
Для специалиста
Перплексия (perplexity, PPL) авторегрессионной модели на последовательности X = (x_1, ..., x_t) равна экспоненте средней отрицательной лог-вероятности токенов: PPL = exp(-(1/t) Σ log p(x_i | x_<i)). Это экспонента кросс-энтропии между данными и моделью, ее трактуют как эффективное число равновероятных вариантов на шаге. Документация Hugging Face подчеркивает, что для маскированных моделей вроде BERT метрика корректно не определена, а от токенизации она зависит напрямую, поэтому модели с разными словарями сравнивают осторожно. Для моделей с ограниченным окном важен способ подсчета: при разбиении WikiText-2 на непересекающиеся куски по 1024 токена GPT-2 large дает 19,44, а скользящее окно с шагом 512 снижает оценку до 16,44, потому что у каждого токена больше контекста. Метрику используют для контроля предобучения, оценки квантизации и фильтрации обучающих данных, но с качеством ответов на прикладные задачи она связана не напрямую.
Не путать. Не путать с Perplexity, поисковым сервисом на основе ИИ: о нем в словаре отдельная страница.
Пример
Команда сжимает открытую модель, чтобы она поместилась на сервер компании. Перплексия на внутренних документах выросла незначительно, и только после этого модель отправляют на проверку реальными вопросами сотрудников.
Связанные термины
Вопросы и ответы
Что показывает перплексия?
Можно ли выбирать модель по перплексии?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений