Словарь ИИ

Что такое гиперпараметры

Коротко

Гиперпараметры это настройки обучения, которые человек задает до старта и которые модель сама не меняет: скорость обучения, размер батча, число эпох, размер сети.

Машинное обучение · hyperparameters

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Когда ты печешь пирог с мамой, вы заранее решаете, какую взять форму, как сильно нагреть духовку и сколько минут ждать. Сам пирог в духовке этого не решает. Если выбрать неудачно, он подгорит или останется сырым. У компьютера перед учебой тоже есть такие решения, и их принимают люди. Их называют гиперпараметрами.

Простыми словами

У модели есть два вида чисел. Первые она подбирает сама во время обучения, это ее веса. Вторые задает человек заранее, и они управляют самим процессом: как быстро учиться, сколько примеров брать за раз, сколько кругов делать по данным, сколько слоев будет в сети. Угадать их с первой попытки трудно, поэтому пробуют несколько вариантов и сравнивают результат на проверочных данных. Как с рецептом борща: продукты одни и те же, а вкус зависит от того, сколько варить и когда солить.

Для бизнеса

Подбор гиперпараметров съедает заметную часть бюджета обучения: каждый вариант настроек означает отдельный запуск на видеокартах. Если подрядчик пробует двадцать сочетаний, вы платите за двадцать обучений, хотя в работу пойдет одно. Поэтому спросите заранее, сколько запусков заложено в смету, как их выбирают и на каких данных сравнивают. Есть и риск качества: если настройки подгоняли, много раз заглядывая в тестовую выборку, на реальных клиентах модель покажет результат хуже обещанного. Требуйте отложенную выборку, которую команда не трогала до финальной проверки, и записанные значения настроек, чтобы обучение можно было повторить без исходной команды. Такие условия удобно закрепить в задании на пилот.

Для специалиста

Гиперпараметры (hyperparameters) это параметры процесса обучения и архитектуры, которые не оптимизируются градиентом по функции потерь: скорость обучения, размер батча, число эпох, коэффициенты регуляризации, доля dropout, число и ширина слоев, параметры оптимизатора. В терминологии scikit-learn это аргументы конструктора оценщика (estimator), например max_depth у случайного леса. Подбор (hyperparameter optimization) ведут по качеству на валидационной выборке или по кросс-валидации. Перебор по сетке (grid search) плохо масштабируется на многомерное пространство: Bergstra и Bengio (JMLR, 2012) показали, что случайный поиск (random search) находит модели не хуже сетки за малую долю вычислений. Следующий шаг, байесовская оптимизация: Snoek, Larochelle и Adams (2012) моделировали качество гауссовским процессом и по его апостериорному распределению выбирали очередную точку. Отдельная группа методов рано отсеивает слабые запуски (successive halving, Hyperband). Финальную оценку делают на тестовой выборке, которая в подборе не участвовала.

Пример

Розничная сеть заказала модель прогноза оттока клиентов. Подрядчик перебрал 40 сочетаний глубины деревьев и скорости обучения и выбрал вариант, который на отложенных данных за последний квартал дал меньше ложных тревог.

Связанные термины

Вопросы и ответы

Чем гиперпараметры отличаются от параметров модели?

Параметры, или веса, модель подбирает сама во время обучения. Гиперпараметры задает человек до запуска, и они определяют, как пойдет обучение и какой получится модель.

Как подбирают гиперпараметры?

Пробуют несколько наборов настроек и сравнивают качество на проверочных данных. Вместо полного перебора по сетке обычно используют случайный поиск или байесовскую оптимизацию: они находят хороший вариант за меньшее число запусков.

Источники

Где это применяют в компании

Как работает ИИ в компании, простыми словами

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений