Словарь ИИ
Что такое логиты
Коротко
Логиты это необработанные числовые оценки, которые модель выдает каждому возможному варианту ответа, например каждому токену словаря, до превращения их в вероятности.
Языковые модели · logits
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь конкурс рисунков, где каждый судья ставит баллы как хочет: один дает от одного до ста, другой может поставить и минус пять. Чтобы понять, у кого больше шансов на приз, баллы потом пересчитывают в понятные доли. Нейросеть тоже сначала ставит такие сырые баллы каждому варианту ответа, а уже потом переводит их в шансы.
Простыми словами
Перед тем как выбрать следующее слово, модель оценивает каждое из десятков тысяч слов, которые знает, и выставляет ему число. Числа могут быть любыми: большими, маленькими, отрицательными. Чем выше число, тем сильнее модель склоняется к этому слову. Сами по себе они не проценты, поэтому следующий шаг переводит их в вероятности, которые в сумме дают единицу. Например, после слов «Счет оплачен» у слова «полностью» оценка может быть высокой, а у слова «банан» сильно отрицательной.
Для бизнеса
Бизнесу эти числа нужны косвенно, но они дают полезный сигнал уверенности. Некоторые API по запросу возвращают логарифмы вероятностей токенов (logprobs), а модель на своем сервере отдает и сами оценки. По ним можно отличить ответ, в котором модель уверена, от ответа наугад: например, отправлять заявку человеку, если уверенность классификации ниже порога. Через тот же механизм работают ограничения формата: запрещенным токенам ставят минимальную оценку, и модель не может выдать недопустимую категорию. Помните, что уверенность модели не равна правильности: она бывает уверенно неправа, поэтому порог подбирают на размеченной выборке. Где ИИ ошибается и когда нужен человек, разбирают при оценке рисков.
Для специалиста
Логиты (logits) это выход последнего линейного слоя модели до нормализации: вектор z размером со словарь, который функция softmax переводит в распределение p_i = exp(z_i) / Σ exp(z_j). Название пришло из статистики, где логит означает логарифм отношения шансов. Логиты определены с точностью до сдвига: прибавление константы ко всем компонентам не меняет вероятностей. В PyTorch функция потерь CrossEntropyLoss ожидает на входе именно ненормализованные логиты для каждого класса. На них же работают процессоры генерации: деление на температуру, маскирование для top-k и top-p, штраф за повторы, ограниченное декодирование (constrained decoding) по грамматике или схеме. Hinton, Vinyals и Dean (2015) в дистилляции знаний называют логитами входы финального softmax и обучают малую модель на распределениях большой, смягченных высокой температурой. Абсолютные значения логитов разных моделей напрямую не сравнимы, осмысленны только их разности внутри одного распределения.
Пример
Система разбирает входящие письма по отделам. Если после пересчета логитов в вероятности ни один отдел не набирает больше восьмидесяти процентов, письмо уходит на ручную проверку, а не в случайную очередь.
Связанные термины
Вопросы и ответы
Чем логиты отличаются от вероятностей?
Зачем бизнесу смотреть на логиты?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений