Словарь ИИ
Что такое гиперпараметры
Коротко
Гиперпараметры это настройки обучения, которые человек задает до старта и которые модель сама не меняет: скорость обучения, размер батча, число эпох, размер сети.
Машинное обучение · hyperparameters
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Когда ты печешь пирог с мамой, вы заранее решаете, какую взять форму, как сильно нагреть духовку и сколько минут ждать. Сам пирог в духовке этого не решает. Если выбрать неудачно, он подгорит или останется сырым. У компьютера перед учебой тоже есть такие решения, и их принимают люди. Их называют гиперпараметрами.
Простыми словами
У модели есть два вида чисел. Первые она подбирает сама во время обучения, это ее веса. Вторые задает человек заранее, и они управляют самим процессом: как быстро учиться, сколько примеров брать за раз, сколько кругов делать по данным, сколько слоев будет в сети. Угадать их с первой попытки трудно, поэтому пробуют несколько вариантов и сравнивают результат на проверочных данных. Как с рецептом борща: продукты одни и те же, а вкус зависит от того, сколько варить и когда солить.
Для бизнеса
Подбор гиперпараметров съедает заметную часть бюджета обучения: каждый вариант настроек означает отдельный запуск на видеокартах. Если подрядчик пробует двадцать сочетаний, вы платите за двадцать обучений, хотя в работу пойдет одно. Поэтому спросите заранее, сколько запусков заложено в смету, как их выбирают и на каких данных сравнивают. Есть и риск качества: если настройки подгоняли, много раз заглядывая в тестовую выборкутестовая выборка. Тестовая выборка это данные, которые модель не видела ни при обучении, ни при настройке и по которым один раз получают итоговую оценку качества., на реальных клиентах модель покажет результат хуже обещанного. Требуйте отложенную выборку, которую команда не трогала до финальной проверки, и записанные значения настроек, чтобы обучение можно было повторить без исходной команды. Такие условия удобно закрепить в задании на пилот.
Для специалиста
Гиперпараметры (hyperparameters) это параметры процесса обучения и архитектуры, которые не оптимизируются градиентомградиент. Градиент это набор чисел, который показывает, в какую сторону и насколько быстро меняется ошибка модели при небольшом изменении каждого ее параметра. по функции потерь: скорость обучения, размер батча, число эпох, коэффициенты регуляризации, доля dropoutdropout. Dropout это прием обучения нейросетей, при котором на каждом шаге часть нейронов случайно выключают, чтобы сеть не полагалась на отдельные связи., число и ширина слоев, параметры оптимизатора. В терминологии scikit-learn это аргументы конструктора оценщика (estimator), например max_depth у случайного леса. Подбор (hyperparameter optimization) ведут по качеству на валидационной выборке или по кросс-валидации. Перебор по сетке (grid search) плохо масштабируется на многомерное пространство: Bergstra и Bengio (JMLR, 2012) показали, что случайный поиск (random search) находит модели не хуже сетки за малую долю вычислений. Следующий шаг, байесовская оптимизация: Snoek, Larochelle и Adams (2012) моделировали качество гауссовским процессом и по его апостериорному распределению выбирали очередную точку. Отдельная группа методов рано отсеивает слабые запуски (successive halving, Hyperband). Финальную оценку делают на тестовой выборке, которая в подборе не участвовала.
Пример
Розничная сеть заказала модель прогноза оттока клиентов. Подрядчик перебрал 40 сочетаний глубины деревьев и скорости обучения и выбрал вариант, который на отложенных данных за последний квартал дал меньше ложных тревог.
Связанные термины
Вопросы и ответы
Источники
- Bergstra, Bengio, Random Search for Hyper-Parameter Optimization, JMLR, 2012jmlr.org
- Snoek, Larochelle, Adams, Practical Bayesian Optimization of Machine Learning Algorithms, 2012arxiv.org
- scikit-learn, Glossary of Common Terms: parameter, официальная документация, проверено 16.10.2026scikit-learn.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений