Словарь ИИ
Что такое точность и полнота
Коротко
Точность и полнота (precision и recall) это две метрики качества модели: первая показывает, какая доля найденного верна, вторая показывает, какую долю нужного модель нашла.
Машинное обучение · precision and recall
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что из большой коробки нужно достать все красные кубики. Если в руке оказались только красные, ты был аккуратным. Если в коробке не осталось ни одного красного, ты был внимательным. Бывает, что ты аккуратный, но половину пропустил, или схватил все красные вместе с парой оранжевых. Компьютер проверяют точно так же: сколько лишнего и сколько пропущено.
Простыми словами
Возьмем почтовый фильтр. Из ста писем, которые он отправил в спам, девяносто действительно спам: это первая метрика, точность. Из всех спамерских писем за день он поймал, допустим, восемь из десяти: это вторая, полнота. Одно тянет другое в обратную сторону. Если фильтр станет хватать все подозрительное, полнота вырастет, но в спам улетят нужные письма. Если он станет осторожным, важные письма останутся на месте, зато больше мусора дойдет до вас. Настройку выбирают под цену каждой ошибки.
Для бизнеса
Одна общая цифра качества в презентации подрядчика почти ничего не говорит. Руководителю важно, какая ошибка дороже. Пропущенный мошеннический платеж или претензия с угрозой суда стоят денег, поэтому там важнее полнота, даже ценой лишних проверок. Ложная тревога, когда честного клиента блокируют или менеджер тратит час на пустую заявку, бьет по выручке и репутации, и там важнее точность. Обе метрики считают на ваших реальных данных и отдельно по каждому важному классу, а не на демонстрационных примерах. Перед договором записывают целевые значения обеих метрик и порог, при котором ИИ передает решение человеку. Такие пороги согласуют до запуска пилота.
Для специалиста
Для бинарной классификации по матрице ошибок: precision = TP / (TP + FP), recall (sensitivity) = TP / (TP + FN), где TP, FP и FN это истинно положительные, ложноположительные и ложноотрицательные ответы. Обе величины зависят от порога решения; перебор порога дает кривую точность-полнота (precision-recall curve), а ее сводкой служит средняя точность (average precision). Взвешенное гармоническое среднее двух метрик называют F-мерой: в Fβ параметр β задает относительный вес полноты, при β = 1 получается F1. Для многоклассовых задач метрики усредняют по классам (macro, micro, weighted). При редком положительном классе доля верных ответов (accuracy), которую по-русски тоже иногда называют точностью, обманчива, поэтому смотрят именно на эту пару. В поиске и RAG используют варианты precision@k и recall@k по первым k выданным документам. Формулы и реализации приведены в руководстве scikit-learn.
Пример
Банк настраивает модель, которая ищет мошеннические переводы. При высокой полноте она ловит почти всех мошенников, но иногда задерживает честные платежи, поэтому спорные случаи сразу проверяет сотрудник.
Связанные термины
Вопросы и ответы
Что важнее: точность или полнота?
Чем precision отличается от accuracy?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений