Словарь ИИ
Что такое обучающая выборка
Коротко
Обучающая выборка это часть данных, на которой модель подбирает свои веса: примеры с известными ответами, по которым она учится.
Машинное обучение · training set
Михаил МозгПроверено: 1 минута чтения
Ребенку
Перед контрольной учительница раздает тренировочные задачки, а ответы к ним напечатаны в конце тетради. Ты решаешь, сверяешься и видишь, где ошибся. А на самой контрольной будут другие задачки, которых ты раньше не встречал. Компьютер тоже сначала тренируется на задачках с ответами, и такая стопка у него называется обучающей выборкой.
Простыми словами
Чтобы модель научилась, ей показывают много примеров с правильными ответами: письма с пометкой «спам» или «не спам», сделки с итогом «купил» или «отказался». Эту часть данных и называют обучающей. Остальные примеры откладывают, чтобы потом проверить модель на том, чего она не видела. Важно, чтобы тренировочные примеры походили на будущую работу: если учить только на зимних продажах, летом прогноз подведет. Ошибки в пометках модель тоже выучит, поэтому данные сначала чистят. Похоже на стажера, который учится на прошлых делах отдела.
Для бизнеса
На эту часть ИИ-проекта часто уходит больше всего работы: выгрузить историю из CRM и 1С, убрать дубли, разметить примеры, согласовать права на использование. От нее зависит потолок качества: модель ничего не узнает о ситуациях, которых в данных не было. Проверьте три вещи. Покрывает ли набор все сезоны, регионы и типы клиентов, с которыми модели предстоит работать. Нет ли в признаках сведений, которые появляются только после события, например статуса оплаты в прогнозе просрочки. Не попадают ли одни и те же клиенты и в обучение, и в проверку. Персональные данные в таком наборе обрабатывают по 152-ФЗ. Состав данных для старта определяют на пилоте.
Для специалиста
Обучающая выборка (training set) это подмножество размеченных данных, по которому оптимизируют параметры модели, минимизируя функцию потерь. Ее отделяют от валидационной (validation set) и тестовой (test set) частей; функция train_test_split в scikit-learn, если размеры не заданы, отдает в тест 25% строк, по умолчанию перемешивает их и умеет сохранять доли классов (stratify). Обучающие примеры должны приходить из того же распределения, что и будущие данные, иначе возникает сдвиг распределения (distribution shift). Документация scikit-learn отдельно требует обучать предобработку (стандартизацию, отбор признаков) только на этой части и затем применять к отложенным данным, удобнее всего через Pipeline. Нарушение порождает утечку данных (data leakage): Kapoor и Narayanan (2022) насчитали 17 научных областей, где нашли такие ошибки, и 329 затронутых работ. Временные ряды делят по времени, данные с группами (клиенты, пациенты) по группам.
Пример
Страховая собрала обучающую выборку для модели оценки ущерба из заявлений за три года. Сначала в нее попали только городские филиалы, и модель занижала ущерб в сельских районах. После добавления заявлений из всех регионов промахи по районам выровнялись.
Связанные термины
Вопросы и ответы
Сколько данных нужно для обучающей выборки?
Чем обучающая выборка отличается от тестовой?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений