Словарь ИИ

Что такое регуляризация

Коротко

Регуляризация это набор приемов, которые не дают модели подгоняться под случайные детали обучающих данных и помогают ей работать на новых.

Машинное обучение · regularization

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты соединяешь точки на картинке. Можно вести линию точно через каждую точку, и выйдет смешная зигзагообразная каракуля. А можно провести плавную линию рядом с точками, и рисунок станет понятнее. Учитель говорит: «Не дергай карандаш». Для компьютера похожее правило придумали взрослые, и оно называется регуляризацией.

Простыми словами

Модель с большим числом настроек умеет подогнаться под любые примеры, даже под случайные опечатки в них. Регуляризация этому мешает. Простой способ: прибавить к ошибке штраф за слишком большие веса, чтобы модели было невыгодно строить запутанные объяснения. Другие способы: случайно выключать часть нейронов при обучении, вовремя останавливаться, искусственно размножать примеры. Цена в том, что на обучающих данных модель промахивается чуть чаще, зато на новых держится стабильнее. Так опытный бухгалтер не строит прогноз по одному удачному месяцу, а смотрит на общую картину за год.

Для бизнеса

От этих приемов зависит, будет ли модель с демонстрации так же работать после запуска. Слишком слабые ограничения дают переобучение и красивые цифры на старых данных, слишком сильные делают модель грубой и глухой к важным сигналам. Силу ограничений подбирают на отложенных данных, и это отдельные запуски обучения, которые входят в смету. Полезный побочный эффект: L1-регуляризация обнуляет лишние признаки, поэтому модель проще объяснить проверяющим и аудиторам. Спросите подрядчика, какие методы он применил, как подбирал их силу и на каких данных проверял. Если внятного ответа нет, цифры на презентации мало что значат. Эти вопросы входят в проверку ИИ-проекта перед покупкой.

Для специалиста

Регуляризация (regularization) объединяет изменения обучения, которые снижают ошибку обобщения ценой возможного роста ошибки на обучающей выборке. Явная форма добавляет штраф к функции потерь: L2 (ridge, гребневая регрессия) штрафует квадрат нормы весов, L1 (lasso) сумму их модулей и обнуляет часть коэффициентов; лассо предложил Tibshirani (JRSS B, 1996). Elastic Net сочетает обе нормы, а коэффициент alpha в scikit-learn задает силу сжатия. В нейросетях L2 обычно реализуют как затухание весов (weight decay); Loshchilov и Hutter (ICLR 2019) показали, что для Adam эти вещи не эквивалентны, и предложили раздельное затухание (AdamW). Методы без штрафного слагаемого: dropout (Srivastava и соавторы, JMLR, 2014), ранняя остановка (early stopping) по валидационной метрике, аугментация данных, сглаживание меток (label smoothing). Силу регуляризации считают гиперпараметром и подбирают на валидационной выборке или кросс-валидацией.

Пример

Банк строил модель отклика на кредитное предложение по трем сотням полей анкеты. Без штрафа модель цеплялась за случайные поля и разваливалась на данных следующего месяца. С L1-регуляризацией осталось около двадцати признаков, и прогноз стал устойчивым.

Связанные термины

Вопросы и ответы

Зачем нужна регуляризация?

Чтобы модель училась общим закономерностям, а не запоминала шум конкретных примеров. Без нее гибкая модель часто блестяще работает на обучающих данных и плохо на новых.

Чем отличаются L1 и L2 регуляризация?

L2 уменьшает все веса пропорционально их величине, но почти никогда не делает их нулевыми. L1 обнуляет часть весов и тем самым отбирает признаки. Их можно сочетать, такой вариант называют Elastic Net.

Источники

Где это применяют в компании

ИИ Due Diligence: аудит бизнеса перед внедрением ИИ

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений