Словарь ИИ
Что такое блендинг
Коротко
Блендинг это способ объединить прогнозы нескольких моделей с помощью еще одной модели, которую обучают на отдельной отложенной части данных.
Машинное обучение · blending
Михаил МозгПроверено: 1 минута чтения
Ребенку
Ты печешь блины по трем рецептам и хочешь понять, как смешать тесто, чтобы вышло вкуснее. Часть блинов ты оставляешь не для себя, а для бабушки. Она пробует, говорит, каких блинов в смеси нужно больше, и ты запоминаешь ее совет. Бабушка не видела, как ты готовил, поэтому ее мнение честное. Компьютер поступает похоже: часть примеров откладывает для честной проверки.
Простыми словами
Сначала данные делят на две части. На большой обучают несколько моделей. Маленькую, ее называют отложенной частью, модели не видят. Потом каждая модель делает прогнозы для отложенных примеров, и на этих прогнозах учат итоговую модель-смеситель. Она подбирает, с каким весом сложить мнения участников. Схема простая и быстрая: каждую модель учат один раз, без многократного перебора частей данных. Цена простоты в том, что отложенная часть уходит только на смеситель, а значит, участники учатся на меньшем объеме. Так повар оставляет пару тарелок гостям, которые не видели кухню, и правит рецепт по их отзывам.
Для бизнеса
Подход удобен, когда несколько подрядчиков или команд принесли свои модели на одну задачу и нужно быстро собрать из них общее решение. Его легко объяснить и повторить: одна отложенная часть данных, одна простая модель сверху. Метод известен по соревнованию Netflix Prize: один из способов смешивания прогнозов был ключевой частью решения, занявшего второе место. Риски: если отложенная часть мала или не похожа на будущие данные, веса подстроятся под случайность, и в работе прогноз просядет. Перед запуском результат проверяют на третьей части данных, которую не трогали ни модели, ни смеситель. Нужен ли вообще такой слой сложности, решают по сравнению с одной моделью на пилоте.
Для специалиста
Блендинг (blending) это упрощенный вариант стекинга. Обучающую выборку делят на основную и отложенную (holdout); модели первого уровня обучаются на основной, а их предсказания на отложенной части становятся признаками для модели второго уровня, чаще всего линейной или логистической регрессии с регуляризацией. В отличие от стекинга, здесь нет предсказаний вне фолдов (out-of-fold), поэтому каждую модель первого уровня обучают один раз, а утечку исключает само разбиение. Недостатки: меньше данных и для моделей первого уровня, и для метамодели, выше дисперсия оценки весов. В статье Sill и др. (2009) по итогам Netflix Prize ансамбли описаны как смешивание (blending) прогнозов нескольких моделей; авторы предлагают feature-weighted linear stacking, где веса моделей линейно зависят от метапризнаков, то есть дополнительных описаний каждого примера. Для оценки итогового качества нужна третья, тестовая выборка, которая не участвовала ни в одном шаге.
Не путать. Не путать с блендингом в производстве чая, кофе и вин, где так называют смешивание сортов.
Пример
Три команды сделали модели прогноза оттока. Аналитик откладывает данные за последний месяц, смотрит, как каждая модель предсказала уход клиентов, и обучает на этом простую модель-смеситель. Итоговый прогноз проверяют на следующем месяце, которого не видел никто.
Связанные термины
Вопросы и ответы
Чем блендинг отличается от стекинга?
Сколько данных откладывать для смесителя?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений