Словарь ИИ
Что такое F1-мера
Коротко
F1-мера это одно число от нуля до единицы, которое объединяет точность и полноту модели и получается высоким, только когда высоки обе.
Машинное обучение · F1 score
Михаил МозгПроверено: 1 минута чтения
Ребенку
Учительница проверяет, как ты нашел в тексте все ошибки. Можно подчеркнуть почти все слова подряд, тогда ни одна ошибка не спрячется, но и лишнего будет много. Можно подчеркнуть одно слово наверняка, тогда лишнего нет, зато пропущено почти все. Хорошую оценку ставят, только если ты нашел почти все ошибки и почти не подчеркнул лишнего. Такую общую оценку дают и компьютеру.
Простыми словами
У модели, которая что-то ищет, бывают два вида промахов: она находит лишнее и пропускает нужное. Точность показывает, какая доля найденного верна, полнота показывает, какую долю нужного удалось найти. Сравнивать модели по двум числам неудобно, поэтому их сводят в одно. Обычное среднее тут обманывает: модель, которая объявляет подозрительным все подряд, получит полноту единица и будет выглядеть прилично. Здесь берут среднее гармоническое, а оно тянется к меньшему из двух чисел. Поэтому высокий результат возможен, только если модель и аккуратна, и внимательна. Как экзамен из двух частей, где итог тянет вниз слабая часть.
Для бизнеса
Эта мера удобна, когда одним числом нужно описать качество поиска редких, но важных случаев: мошеннических платежей, претензий с угрозой суда, брака на линии, заявок, которые нельзя потерять. Доля верных ответов здесь обманывает, а она нет. Но у нее есть слабость: пропуск и ложная тревога считаются одинаково дорогими. В деньгах так бывает редко: пропущенный мошенник может стоить намного больше лишней проверки. Тогда берут взвешенный вариант, где полнота важнее, или прямо считают стоимость ошибок. Перед приемкой договоритесь, на каких данных и по какому классу считается метрика, иначе подрядчик покажет среднее по всем классам, где провал на редком классе не виден. Такие условия удобно записать в договор пилота.
Для специалиста
F1-мера (F1 score) это гармоническое среднее точности (precision) и полноты (recall): F1 = 2PR / (P + R) = 2TP / (2TP + FP + FN). Истинно отрицательные ответы (TN) в формулу не входят, поэтому мера не меняется при росте числа легких отрицательных примеров. Общий случай Fβ задает вес полноты через β и восходит к мере эффективности E из классической книги Information Retrieval (второе издание 1979 года), где параметр α = 1/(β² + 1). В scikit-learn многоклассовые варианты усредняют так: micro по суммарным TP, FP и FN, macro как невзвешенное среднее по классам, чувствительное к редким классам, weighted с весами по числу примеров класса, и тогда итог может выйти за пределы отрезка между точностью и полнотой, samples для многометочной постановки. Если класс не встречается ни в истинных метках, ни в предсказаниях, мера не определена, и библиотека по умолчанию возвращает 0 с предупреждением. Значение зависит от порога решения, поэтому порог подбирают на валидации, а для сравнения без порога смотрят на кривую точность-полнота.
Пример
Служба безопасности банка сравнивает две модели поиска мошенничества. У первой доля верных ответов выше, но F1 по мошенническим платежам почти вдвое ниже: она просто считает честными почти всех. Выбирают вторую.
Связанные термины
Вопросы и ответы
Как считается F1-мера?
Какое значение F1 считается хорошим?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений