Словарь ИИ
Что такое дрейф данных
Коротко
Дрейф данных это изменение реальных данных после запуска модели, из-за которого они перестают походить на обучающие, и качество прогнозов тихо падает.
Машинное обучение · data drift
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты научился узнавать всех ребят из своего класса. За лето они выросли, кто-то подстригся, кто-то надел очки. Осенью ты путаешь имена, хотя память у тебя прежняя. Просто мир вокруг изменился. С компьютерной программой бывает так же, поэтому ее время от времени учат заново на свежих примерах.
Простыми словами
Модель учится на прошлом и молча предполагает, что будущее на него похоже. Но жизнь меняется: у клиентов другие привычки, в магазине новый ассортимент, датчик на станке заменили на другой. Входящие данные понемногу уходят от тех, на которых модель училась, и ответы становятся хуже. Ошибку при этом не видно сразу: система продолжает уверенно выдавать прогнозы. Пример: модель спроса, обученная до повышения цен, по-прежнему ждет старых объемов продаж, и склад закупает лишнее.
Для бизнеса
Для компании это частая причина, по которой модель, успешно прошедшая пилот, через полгода начинает ошибаться. Источники: сезонность, новые продукты, изменения законов и тарифов, смена оборудования или формата выгрузки из 1С. Проблема дорогая именно потому, что тихая: отчеты строятся, а решения по ним уже неверные. Что заложить до запуска: регулярное сравнение входящих данных с обучающими, контроль качества на свежих размеченных примерах, порог, после которого модель обучают заново, и ответственного за эти сигналы. Стоимость складывается из мониторинга и периодического дообучения, ее включают в бюджет поддержки, а не только внедрения. Порядок такой поддержки стоит записать в договор.
Для специалиста
Дрейф данных (data drift, dataset shift) это изменение совместного распределения P(X, Y) между обучением и эксплуатацией. Различают сдвиг ковариат (covariate shift), когда меняется P(X) при прежней зависимости P(Y|X), сдвиг меток (label shift), когда меняется P(Y) при прежнем P(X|Y), и дрейф концепции (concept drift), когда меняется сама зависимость P(Y|X). По характеру изменения дрейф бывает внезапным, постепенным, инкрементным и повторяющимся. Обзор Lu и соавторов (IEEE TKDE, 2018) делит работу с ним на три задачи: обнаружение, понимание и адаптацию. Для обнаружения сравнивают окна данных статистическими тестами (Колмогорова-Смирнова, хи-квадрат), индексом стабильности популяции (PSI) и детекторами по потоку ошибок (DDM, ADWIN). Rabanser, Günnemann и Lipton (NeurIPS 2019) сравнили методы и получили, что надежнее всего работают двухвыборочные тесты после снижения размерности предобученным классификатором. Адаптация: повторное обучение по расписанию или по сигналу, скользящее окно, взвешивание примеров, онлайн-обучение.
Пример
Сеть аптек обучила модель прогноза спроса на данных за два спокойных года. Осенью пришла волна простуды, и модель занизила спрос на жаропонижающие. Мониторинг заметил расхождение с фактом за неделю, и модель дообучили на свежих продажах.
Связанные термины
Вопросы и ответы
Как обнаружить дрейф данных?
Что делать, если модель начала ошибаться из-за изменения данных?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений