Словарь ИИ

Что такое валидационная выборка

Коротко

Валидационная выборка это отложенная часть данных, на которой сравнивают варианты модели и ее настроек во время разработки, не трогая финальный тест.

Машинное обучение · validation set

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Ты готовишься к школьному концерту и поешь песню по-разному: громче, тише, быстрее. Чтобы выбрать, ты зовешь бабушку послушать. Бабушка не разучивала песню вместе с тобой, поэтому честно скажет, какой вариант звучит приятнее. А настоящие зрители придут только в день концерта. У компьютера тоже есть такая бабушка-слушательница из особых примеров.

Простыми словами

Разработчики почти никогда не обучают одну-единственную модель. Они пробуют разные алгоритмы и настройки и выбирают удачный вариант. Сравнивать их на тех данных, где модель училась, бессмысленно: она их уже видела. Поэтому откладывают отдельную порцию примеров для промежуточных проверок. По ней решают, какой вариант оставить и когда остановить обучение. Но после множества сравнений эта порция тоже немного «засвечена», и для окончательной оценки нужна еще одна, нетронутая. Похоже на пробные экзамены в школе: по ним готовятся, а итог показывает настоящий экзамен.

Для бизнеса

Эта часть данных защищает вас от модели, подогнанной под проверку. Если подрядчик выбирает вариант по тем же данным, по которым потом отчитывается, цифра в отчете окажется завышенной. Правильная схема из трех частей: обучение, валидация для выбора, тест для финальной оценки, причем тест хранится у заказчика. Чем больше вариантов перебрали, тем важнее эта граница. Еще один нюанс: валидационные примеры должны напоминать реальную работу. Для прогноза продаж это последние месяцы, а не случайные дни из всей истории. Попросите показать, как делили данные и сколько раз заглядывали в каждую часть. Эти правила стоит записать в задание на пилот.

Для специалиста

Валидационная выборка (validation set, development set) это отложенные данные для выбора модели (model selection): сравнения архитектур, подбора гиперпараметров, ранней остановки (early stopping). Документация scikit-learn объясняет ее назначение так: если настраивать параметры по тестовой выборке, знания о ней «утекают» в модель, и метрика перестает отражать обобщение; поэтому выбор делают на валидации, а тест оставляют для финальной проверки. Минус трехчастного деления в том, что для обучения остается меньше примеров, а результат зависит от случайного разбиения; при малом объеме одну валидационную часть заменяют кросс-валидацией. В Keras обратный вызов (callback) EarlyStopping по умолчанию следит за val_loss, останавливает обучение после patience эпох без прогресса и может вернуть веса эпохи с оптимальным значением метрики (restore_best_weights). Многократный выбор по одной и той же валидации сам ведет к переобучению на нее, поэтому при большом числе экспериментов тест держат закрытым до конца.

Пример

Команда подбирала глубину деревьев для модели оттока: попробовала десять вариантов и каждый оценила на валидационной выборке из клиентов прошлого квартала. Выбранный вариант затем один раз проверили на тестовых данных текущего квартала, и результат почти совпал с валидацией.

Связанные термины

Вопросы и ответы

Чем валидационная выборка отличается от тестовой?

На валидационной выбирают модель и настройки, поэтому в разработке к ней обращаются много раз. Тестовую открывают один раз, в конце, чтобы получить честную оценку.

Какой размер валидационной выборки нужен?

Достаточный, чтобы разница между вариантами модели не тонула в случайном шуме. При малом объеме данных вместо одной отложенной части делают кросс-валидацию.

Источники

Где это применяют в компании

Пилот ИИ-агента: один процесс, метрика в договоре

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений