Словарь ИИ
Что такое разведочный анализ данных
Коротко
Разведочный анализ данных (EDA) это первое знакомство с набором данных: графики, сводные цифры и проверки, которые показывают, что в данных есть, чего не хватает и где ошибки.
Машинное обучение · EDA
Михаил МозгПроверено: 1 минута чтения
Ребенку
Перед тем как собрать большой пазл, ты высыпаешь детали на стол и разглядываешь их. Отделяешь краешки, раскладываешь кусочки по цветам, ищешь, не потерялось ли что-нибудь и не попали ли детали от другой коробки. Только потом начинаешь собирать. Ученые и программисты так же сначала разглядывают свои записи и цифры, а уже потом учат на них компьютер.
Простыми словами
Прежде чем строить модель, данные нужно рассмотреть. Аналитик считает, сколько строк и столбцов, где пустые ячейки, какие значения встречаются чаще, нет ли нелепых записей вроде покупателя возрастом двести лет. Строит гистограммы, диаграммы размаха, графики по времени, смотрит, какие показатели меняются вместе. Здесь же всплывают дубли, перепутанные единицы измерения, выбросы. Итог такого осмотра: понятно, годятся ли данные для задачи, что нужно почистить и какие гипотезы стоит проверить. Похоже на осмотр квартиры перед ремонтом: сначала обходите комнаты и замечаете трещины, потом составляете смету.
Для бизнеса
Этот этап дешевле остальных и нередко решает судьбу проекта. За несколько дней аналитик показывает, хватит ли истории для прогноза, совпадают ли выгрузки из 1С и CRM, нет ли провалов за целые месяцы. Если данных мало или они грязные, это выясняется до того, как потрачены деньги на разработку. Отсюда же видно, сколько работы уйдет на чистку, а она часто становится основной статьей затрат. Риск в том, что осмотр пропускают ради скорости и узнают о проблемах уже после запуска модели. Попросите показать отчет по данным с графиками и списком найденных проблем. Подобную проверку проводят перед оценкой сценариев в карте ИИ-решений.
Для специалиста
Разведочный анализ данных (exploratory data analysis, EDA) это подход, при котором данные изучают преимущественно графическими методами, без заранее заданной модели, чтобы выявить структуру, важные переменные, выбросы и аномалии, проверить допущения и наметить простые модели. Основополагающей работой считается книга Джона Тьюки (John Tukey) Exploratory Data Analysis 1977 года; приемы описаны в электронном справочнике NIST/SEMATECH. Типичные инструменты: гистограммы, диаграммы размаха (box plot), графики запаздывания (lag plot), диаграммы рассеяния, матрицы корреляций, сводные статистики по группам. В машинном обучении сюда добавляют проверку пропусков и дублей, распределения целевой переменной и дисбаланса классов, поиск утечки (data leakage), когда признак косвенно содержит ответ, и сравнение распределений обучающей и тестовой выборок. На практике это делают в Jupyter с pandas и matplotlib или генераторами отчетов. В отличие от подтверждающего анализа (confirmatory data analysis), гипотезы здесь рождаются, а не проверяются.
Пример
Перед прогнозом спроса аналитик строит график продаж по неделям и видит провал на целый месяц. Выясняется, что в это время меняли учетную систему и часть продаж не выгрузилась. Без этой находки модель решила бы, что спрос тогда упал.
Связанные термины
Вопросы и ответы
Зачем нужен разведочный анализ данных?
Чем EDA отличается от обычной отчетности?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений