Словарь ИИ
Что такое разведочный анализ данных
Коротко
Разведочный анализ данных (EDA) это первое знакомство с набором данных: графики, сводные цифры и проверки, которые показывают, что в данных есть, чего не хватает и где ошибки.
Машинное обучение · EDA
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Перед тем как собрать большой пазл, ты высыпаешь детали на стол и разглядываешь их. Отделяешь краешки, раскладываешь кусочки по цветам, ищешь, не потерялось ли что-нибудь и не попали ли детали от другой коробки. Только потом начинаешь собирать. Ученые и программисты так же сначала разглядывают свои записи и цифры, а уже потом учат на них компьютер.
Простыми словами
Прежде чем строить модель, данные нужно рассмотреть. Аналитик считает, сколько строк и столбцов, где пустые ячейки, какие значения встречаются чаще, нет ли нелепых записей вроде покупателя возрастом двести лет. Строит гистограммы, диаграммы размаха, графики по времени, смотрит, какие показатели меняются вместе. Здесь же всплывают дубли, перепутанные единицы измерения, выбросы. Итог такого осмотра: понятно, годятся ли данные для задачи, что нужно почистить и какие гипотезы стоит проверить. Похоже на осмотр квартиры перед ремонтом: сначала обходите комнаты и замечаете трещины, потом составляете смету.
Для бизнеса
Этот этап дешевле остальных и нередко решает судьбу проекта. За несколько дней аналитик показывает, хватит ли истории для прогноза, совпадают ли выгрузки из 1С и CRM, нет ли провалов за целые месяцы. Если данных мало или они грязные, это выясняется до того, как потрачены деньги на разработку. Отсюда же видно, сколько работы уйдет на чистку, а она часто становится основной статьей затрат. Риск в том, что осмотр пропускают ради скорости и узнают о проблемах уже после запуска модели. Попросите показать отчет по данным с графиками и списком найденных проблем. Подобную проверку проводят перед оценкой сценариев в карте ИИ-решенийкарта ИИ-решений. Карта ИИ-решений это документ, который показывает по каждому процессу компании, какое решение на основе ИИ подходит, сколько оно стоит и какой эффект даст в рублях..
Для специалиста
Разведочный анализ данных (exploratory data analysis, EDA) это подход, при котором данные изучают преимущественно графическими методами, без заранее заданной модели, чтобы выявить структуру, важные переменные, выбросы и аномалии, проверить допущения и наметить простые модели. Основополагающей работой считается книга Джона Тьюки (John Tukey) Exploratory Data Analysis 1977 года; приемы описаны в электронном справочнике NIST/SEMATECH. Типичные инструменты: гистограммы, диаграммы размаха (box plot), графики запаздывания (lag plot), диаграммы рассеяния, матрицы корреляций, сводные статистики по группам. В машинном обучениимашинное обучение. Машинное обучение (machine learning, ML) это раздел ИИ, в котором программа находит правила в данных сама, а не получает их готовыми от разработчика. сюда добавляют проверку пропусков и дублей, распределения целевой переменной и дисбаланса классов, поиск утечки (data leakage), когда признак косвенно содержит ответ, и сравнение распределений обучающей и тестовой выборок. На практике это делают в Jupyter с pandas и matplotlib или генераторами отчетов. В отличие от подтверждающего анализа (confirmatory data analysis), гипотезы здесь рождаются, а не проверяются.
Пример
Перед прогнозом спроса аналитик строит график продаж по неделям и видит провал на целый месяц. Выясняется, что в это время меняли учетную систему и часть продаж не выгрузилась. Без этой находки модель решила бы, что спрос тогда упал.
Связанные термины
Вопросы и ответы
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений