Словарь ИИ
Что такое бейзлайн
Коротко
Бейзлайн это простое исходное решение задачи, с которым сравнивают новую модель, чтобы понять, дает ли она реальный выигрыш.
Машинное обучение · baseline
Михаил МозгПроверено: 1 минута чтения
Ребенку
Ты учишься прыгать в длину. В первый день измеряешь, как далеко прыгаешь без всяких тренировок, и записываешь в тетрадь. Через месяц снова прыгаешь и смотришь, насколько дальше получилось. Без той первой записи ты бы не понял, помогли ли тренировки. Компьютерные программы тоже сравнивают с такой первой записью, чтобы понять, стали ли они умнее.
Простыми словами
Прежде чем хвалить модель, нужно знать, с чем ее сравнивать. Точка отсчета и называется базовой линией. Обычно это очень простое правило: всегда называть ответ, который встречается чаще других, прогнозировать продажи как в прошлом месяце, искать по ключевым словам. Если сложная модель угадывает девять случаев из десяти, звучит красиво. Но если девять писем из десяти не спам, то правило «все письма нормальные» дает тот же результат и ничего не стоит. Полезная модель должна заметно обогнать такую точку отсчета, иначе ее сложность не нужна.
Для бизнеса
Без точки отсчета невозможно честно посчитать отдачу от ИИ. В проекте их обычно две. Техническая: насколько новая модель точнее простого правила или текущего алгоритма. Деловая: как процесс работает сейчас, сколько времени занимает операция, сколько она стоит, как часто ошибаются люди. Деловую фиксируют до старта, иначе через месяц не с чем будет сравнить, и эффект превратится в спор мнений. Частая уловка: сравнивать с заведомо слабым вариантом, чтобы результат выглядел внушительно. Попросите подрядчика показать, какой бейзлайн он взял и почему. В пилоте с метрикой в договоре исходные цифры процесса записывают в первый же день.
Для специалиста
Бейзлайн (baseline) это эталонное решение, относительно которого измеряют прирост качества новой модели на той же выборке, той же метрике и с той же схемой валидации. Уровни: тривиальный (dummy), который игнорирует признаки; эвристический, например правило эксперта, прогноз «как вчера» или сезонный наивный прогноз для временных рядов; простая обучаемая модель вроде логистической регрессии; предыдущая версия системы в рабочей среде (production) или опубликованный результат на бенчмарке. В scikit-learn тривиальные варианты дает DummyClassifier со стратегиями most_frequent, prior, stratified, uniform и constant, а для регрессии DummyRegressor. Сравнение честно, только если эталон проходит тот же конвейер: то же разбиение, та же нормализация данных, тот же бюджет подбора гиперпараметров. Прирост проверяют статистически, например доверительным интервалом по бутстрепу, а при дисбалансе классов смотрят не на долю верных ответов (accuracy), а на F1-меру и матрицу ошибок.
Пример
Подрядчик сообщает, что модель верно определяет уходящих клиентов в девяти случаях из десяти. Аналитик проверяет простое правило «никто не уйдет» и получает почти тот же результат, потому что уходит мало клиентов. После этого сравнения модель отправляют на доработку.
Связанные термины
Вопросы и ответы
Что значит бейзлайн в машинном обучении?
Как перевести baseline на русский?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений