Словарь ИИ
Что такое ROC-AUC
Коротко
ROC-AUC это площадь под ROC-кривой, число от нуля до единицы, которое показывает, насколько уверенно модель ставит положительные примеры выше отрицательных при любых порогах.
Машинное обучение · ROC-AUC
Михаил МозгПроверено: 1 минута чтения
Ребенку
Учитель показывает тебе пары картинок: на одной кошка, на другой собака, и просит показать кошку. Если ты всегда угадываешь, ты молодец на все сто. Если показываешь наугад, то угадываешь примерно половину пар. Компьютер проверяют похожей игрой, только пар очень много. Чем чаще он выбирает правильную картинку из пары, тем выше его оценка.
Простыми словами
Многие модели выдают не ответ «да или нет», а степень уверенности, например вероятность, что клиент уйдет. Дальше выбирают порог: выше него считаем, что уйдет. Порог можно двигать. Низкий поймает почти всех уходящих, но поднимет много ложных тревог, высокий наоборот. ROC-кривая рисует, как меняется доля пойманных при росте доли ложных тревог на всех порогах сразу. Площадь под этой кривой и есть итоговая оценка. Единица значит, что модель всегда ставит уходящего клиента выше остающегося, половина значит угадывание монеткой. Удобно, что оценка не зависит от выбранного порога.
Для бизнеса
Эта метрика помогает сравнивать модели скоринга, оттока и поиска мошенничества до того, как выбран порог. Она отвечает на вопрос, умеет ли модель в принципе отличать рискованных клиентов от надежных. Но в рабочем решении деньги считают уже при конкретном пороге: сколько клиентов вы обзвоните, сколько платежей задержите. Поэтому после сравнения по площади порог выбирают по цене ошибок, а результат проверяют матрицей ошибок. Еще одна ловушка: при редком событии, например одном мошенничестве на тысячу операций, метрика может выглядеть высокой, хотя среди отмеченных моделью случаев почти одни ложные тревоги. В таких задачах смотрят и на кривую точность-полнота. Сценарии прогнозной аналитики с такой проверкой обсуждают до начала разработки.
Для специалиста
ROC-кривая (receiver operating characteristic) строится по всем порогам решения как зависимость доли истинно положительных TPR = TP / (TP + FN) от доли ложноположительных FPR = FP / (FP + TN). Площадь под ней (area under the curve, AUC) равна вероятности того, что случайно выбранный положительный объект получит более высокий балл, чем случайно выбранный отрицательный. Значение 0,5 соответствует случайному ранжированию, 1,0 идеальному, а значение ниже 0,5 означает, что инверсия предсказаний даст модель сильнее случайной. Метрика не меняется при монотонных преобразованиях баллов и не оценивает калибровку вероятностей. Для многоклассовых задач scikit-learn поддерживает схемы один-против-остальных (one-vs-rest), чувствительную к дисбалансу, и один-против-одного (one-vs-one, Hand и Till, 2001), а параметр max_fpr дает стандартизованную частичную площадь на участке малых FPR (McClish, 1989). При сильном дисбалансе классов информативнее кривая точность-полнота (precision-recall curve), об этом прямо пишет и учебный курс Google по машинному обучению.
Пример
Банк сравнивает две модели одобрения кредитов и берет ту, у которой площадь под ROC-кривой выше. Затем риск-менеджер выбирает порог так, чтобы доля просрочек среди одобренных заявок не превышала план, и проверяет этот порог на заявках последнего квартала.
Связанные термины
Вопросы и ответы
Какое значение ROC-AUC считается хорошим?
Чем ROC-AUC отличается от F1-меры?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений