Словарь ИИ
Что такое тестовая выборка
Коротко
Тестовая выборка это данные, которые модель не видела ни при обучении, ни при настройке и по которым один раз получают итоговую оценку качества.
Машинное обучение · test set
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты долго учился кататься на велосипеде во дворе, где знаешь каждую кочку. Потом вы с папой едете в незнакомый парк. Только там видно, умеешь ли ты кататься по-настоящему или просто запомнил свой двор. Компьютер тоже проверяют на незнакомых примерах, которые от него заранее спрятали, и такие примеры называют тестовой выборкой.
Простыми словами
Когда модель готова, нужно понять, как она поведет себя с новыми клиентами, письмами или снимками. Для этого заранее откладывают часть данных и не показывают ее ни модели, ни людям, которые ее настраивают. В конце модель один раз отвечает на эти примеры, и ответы сравнивают с правильными. Получается честная оценка. Если же подглядывать в спрятанные данные и подправлять модель под них, оценка выходит завышенной. Похоже на экзаменационные билеты, которые хранят в запечатанном конверте до дня экзамена.
Для бизнеса
Именно цифра на этих данных должна стоять в договоре и в акте приемки. Надежная схема: вы сами отбираете и храните тестовые примеры, например заявки за последний месяц, и передаете их подрядчику только для финального прогона. Так никто не подгонит модель под проверку, даже нечаянно. Риски: тест не похож на реальную работу (одни простые случаи, другой период), он слишком мал, и пара удачных ответов меняет процент, или его много раз использовали при разработке. Исследователи, которые заново собрали тест для известного набора изображений, увидели падение точности моделей на 11-14%. Поэтому после запуска качество проверяют и на живом потоке. Как закрепить такую проверку в договоре, решают при подготовке пилота.
Для специалиста
Тестовая выборка (test set, holdout set) это отложенные данные для несмещенной оценки ошибки обобщения уже выбранной модели. Она не участвует ни в обучении, ни в подборе гиперпараметров, ни в выборе архитектуры: любое решение, принятое по ней, превращает ее в валидационную и делает оценку оптимистичной. Recht и соавторы (2019) повторили процедуру сбора тестов CIFAR-10 и ImageNet и получили падение точности на 3-15% и 11-14% соответственно; авторы связывают его не с многократным использованием теста, а с тем, что модели хуже переносятся на чуть более трудные изображения. Отсюда требования: тест взят из целевого распределения, достаточно велик для узких доверительных интервалов, не пересекается с обучением по объектам и группам, а для временных данных лежит позже обучающих. Публичные бенчмарки страдают от загрязнения (contamination), когда тестовые примеры попадают в обучающие корпуса языковых моделей.
Пример
Сеть клиник приняла модель расшифровки записей врачей только после прогона на двухстах свежих записях, которые отобрал главный врач и не показывал подрядчику. На них доля ошибок оказалась выше, чем в презентации, и запуск отложили до доработки.
Связанные термины
Вопросы и ответы
Зачем нужна тестовая выборка, если есть валидационная?
Какую долю данных отдают в тестовую выборку?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений