Словарь ИИ
Что такое регуляризация
Коротко
Регуляризация это набор приемов, которые не дают модели подгоняться под случайные детали обучающих данных и помогают ей работать на новых.
Машинное обучение · regularization
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что ты соединяешь точки на картинке. Можно вести линию точно через каждую точку, и выйдет смешная зигзагообразная каракуля. А можно провести плавную линию рядом с точками, и рисунок станет понятнее. Учитель говорит: «Не дергай карандаш». Для компьютера похожее правило придумали взрослые, и оно называется регуляризацией.
Простыми словами
Модель с большим числом настроек умеет подогнаться под любые примеры, даже под случайные опечатки в них. Регуляризация этому мешает. Простой способ: прибавить к ошибке штраф за слишком большие веса, чтобы модели было невыгодно строить запутанные объяснения. Другие способы: случайно выключать часть нейроновнейрон. Нейрон в нейросети это простой вычислительный элемент: он умножает входные числа на веса, складывает их и через функцию активации передает результат дальше. при обучении, вовремя останавливаться, искусственно размножать примеры. Цена в том, что на обучающих данных модель промахивается чуть чаще, зато на новых держится стабильнее. Так опытный бухгалтер не строит прогноз по одному удачному месяцу, а смотрит на общую картину за год.
Для бизнеса
От этих приемов зависит, будет ли модель с демонстрации так же работать после запуска. Слишком слабые ограничения дают переобучение и красивые цифры на старых данных, слишком сильные делают модель грубой и глухой к важным сигналам. Силу ограничений подбирают на отложенных данных, и это отдельные запуски обучения, которые входят в смету. Полезный побочный эффект: L1-регуляризация обнуляет лишние признаки, поэтому модель проще объяснить проверяющим и аудиторам. Спросите подрядчика, какие методы он применил, как подбирал их силу и на каких данных проверял. Если внятного ответа нет, цифры на презентации мало что значат. Эти вопросы входят в проверку ИИ-проекта перед покупкой.
Для специалиста
Регуляризация (regularization) объединяет изменения обучения, которые снижают ошибку обобщения ценой возможного роста ошибки на обучающей выборкеобучающая выборка. Обучающая выборка это часть данных, на которой модель подбирает свои веса: примеры с известными ответами, по которым она учится.. Явная форма добавляет штраф к функции потерь: L2 (ridge, гребневая регрессия) штрафует квадрат нормы весов, L1 (lasso) сумму их модулей и обнуляет часть коэффициентов; лассо предложил Tibshirani (JRSS B, 1996). Elastic Net сочетает обе нормы, а коэффициент alpha в scikit-learn задает силу сжатия. В нейросетях L2 обычно реализуют как затухание весов (weight decay); Loshchilov и Hutter (ICLR 2019) показали, что для Adam эти вещи не эквивалентны, и предложили раздельное затухание (AdamW). Методы без штрафного слагаемого: dropout (Srivastava и соавторы, JMLR, 2014), ранняя остановка (early stopping) по валидационной метрике, аугментация данныхаугментация данных. Аугментация данных это способ расширить обучающую выборку измененными копиями имеющихся примеров: повернутыми фото, перефразированными текстами, зашумленными записями., сглаживание меток (label smoothing). Силу регуляризации считают гиперпараметром и подбирают на валидационной выборке или кросс-валидацией.
Пример
Банк строил модель отклика на кредитное предложение по трем сотням полей анкеты. Без штрафа модель цеплялась за случайные поля и разваливалась на данных следующего месяца. С L1-регуляризацией осталось около двадцати признаков, и прогноз стал устойчивым.
Связанные термины
Вопросы и ответы
Чем отличаются L1 и L2 регуляризация?
Источники
- Tibshirani, Regression Shrinkage and Selection via the Lasso, JRSS B, 1996academic.oup.com
- scikit-learn, Linear Models: Ridge, Lasso, Elastic-Net, документацияscikit-learn.org
- Loshchilov, Hutter, Decoupled Weight Decay Regularization, ICLR 2019arxiv.org
- Srivastava и др., Dropout: A Simple Way to Prevent Neural Networks from Overfitting, JMLR, 2014jmlr.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений