Регуляризация (математика)

Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.

С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Некоторые виды регуляризации:

$L_{1}$ -регуляризация (англ. lasso regression), или регуляризация через манхэттенское расстояние:
$L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}$ .
$L_{2}$ - регуляризация, или регуляризация Тихонова (в англоязычной литературе — ridge regression или Tikhonov regularization), для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:
$L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}$ .

Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, необходимо добавить в целевую функцию штраф за слишком большие коэффициенты.

Нет решения относительно многокритериальной оптимизации или оптимизации, в которой область значения целевой функции есть пространство, на котором нет линейного порядка, или его затруднительно ввести. Почти всегда найдутся точки в области определения функции которую оптимизируют и которые удовлетворяют ограничениям, но значения в точках не сравнимые между собой. Чтобы найти все точки на кривой Парето, используют скаляризацию^[1]. В оптимизации регуляризация — это общий метод скаляризации для задачи двухкритериальной оптимизации^[2]. Варьируя параметр лямбда — элемент, который должен быть больше нуля в дуальном конусе относительно которого определён порядок — можно получить разные точки на кривой Парето.

Литература

Boyd S., Vandenberghe L. Convex Optimization. — UK : Cambridge University Press, 2004. — 716 p. — (Berichte über verteilte messysteme). — ISBN 9780521833783.