Словарь ИИ

Что такое ансамбль моделей

Коротко

Ансамбль моделей это несколько моделей машинного обучения, чьи ответы объединяют в один прогноз, чтобы он получился точнее и устойчивее, чем у каждой модели по отдельности.

Машинное обучение · ensemble

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Когда в классе спрашивают, сколько конфет в банке, один ученик может сильно ошибиться. А если записать догадки всех ребят и взять среднее, ответ часто выходит удивительно близким. Кто-то назвал слишком много, кто-то слишком мало, и промахи гасят друг друга. Компьютеры тоже иногда советуются так: несколько программ дают ответ, а потом их мнения складывают в одно.

Простыми словами

Любая модель ошибается, но разные модели ошибаются по-разному. Если объединить их ответы, случайные промахи частично погасят друг друга. Объединяют несколькими способами. Можно устроить голосование: какой вариант назвало большинство, тот и ответ. Можно усреднить числа, например прогнозы продаж от трех разных моделей. Можно обучать модели по очереди, чтобы каждая следующая исправляла предыдущую. А можно поставить над ними еще одну модель-арбитра, которая решает, кому и насколько верить. Так работает консилиум врачей: решение группы надежнее мнения одного специалиста, если врачи смотрят на случай с разных сторон.

Для бизнеса

Ансамбли дают прибавку к точности там, где каждая доля процента стоит денег: прогноз спроса и закупок, кредитный скоринг, поиск мошенничества, ранжирование товаров. Платить за прибавку приходится сложностью. Несколько моделей дольше обучать, дороже держать в работе и труднее объяснить проверяющему или клиенту, почему решение именно такое. Если разница с одной хорошей моделью мала, проще оставить одну. До внедрения стоит сравнить объединенную систему с простым бейзлайном на свежих данных и посчитать, окупает ли выигрыш затраты на сопровождение. Такое сравнение для прогноза спроса и других предиктивных задач закладывают еще на этапе пилота.

Для специалиста

Ансамбль (ensemble) объединяет предсказания нескольких базовых оценщиков (base estimators), чтобы повысить обобщающую способность и устойчивость по сравнению с одной моделью. Выигрыш появляется, когда ошибки участников слабо коррелированы. Усредняющие методы снижают дисперсию: бэггинг (bagging) обучает модели на бутстреп-выборках, его предложил Брейман (L. Breiman, 1996); случайный лес добавляет случайный выбор признаков при каждом разбиении; голосование (voting) бывает жестким, по большинству меток, и мягким, по усредненным вероятностям. Бэггинг дает больше пользы со сложными моделями, бустинг со слабыми. Бустинг (boosting) обучает слабые модели последовательно и снижает смещение: AdaBoost, градиентный бустинг. Стекинг (stacking) учит метамодель на предсказаниях участников вне выборки, а блендинг делает то же на отложенной части данных. Ключевой частью решения, занявшего второе место в Netflix Prize, был линейный стекинг с весами, зависящими от метапризнаков (Sill и др., 2009).

Пример

Сеть магазинов прогнозирует продажи тремя моделями: одна ловит сезонность, вторая реагирует на акции, третья учитывает погоду. Итоговый прогноз берут как взвешенное среднее, и в праздники он промахивается реже, чем любая из трех моделей по отдельности.

Связанные термины

Вопросы и ответы

Какие бывают ансамбли моделей?

Основные виды: бэггинг и случайный лес, где модели учатся параллельно и усредняются, бустинг, где они учатся по очереди, а также голосование и стекинг. Выбор зависит от того, что нужно снизить: разброс прогнозов или систематическую ошибку.

Всегда ли объединение моделей точнее одной модели?

Нет. Если модели похожи и ошибаются на одних и тех же примерах, объединение почти ничего не дает. Выигрыш появляется, когда участники разные, а его размер проверяют на отложенных данных.

Источники

Где это применяют в компании

Прогнозирование спроса с ИИ: спрос, поломки и загрузка заранее

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений