Actualizado por ultima vez el 21 de octubre de 2021, por Luis Benites.
¿Qué es la regresión regularizada?
La regresión regularizada es un tipo de regresión donde las estimaciones de los coeficientes están restringidas a cero. Se penaliza la magnitud (tamaño) de los coeficientes, así como la magnitud del término de error . Se desaconsejan los modelos complejos, principalmente para evitar el sobreajuste .
La “regularización” es una forma de penalizar determinados modelos (normalmente demasiado complejos). La regresión de crestas pertenece al conjunto de herramientas de regularización L2 . La regularización L2 añade una penalización denominada penalización L2, que es igual al cuadrado de la magnitud de los coeficientes. Todos los coeficientes se reducen por el mismo factor, por lo que todos los coeficientes permanecen en el modelo. La fuerza del término de penalización está controlada por un parámetro de ajuste. Cuando este parámetro de ajuste (λ) se establece en cero, la regresión de cresta es igual a la regresión de mínimos cuadrados. Si λ = ∞, todos los coeficientes se reducen a cero. Por lo tanto, la penalización ideal se encuentra entre 0 y ∞.
El otro tipo de regularización, la regularización L1, limita el tamaño de los coeficientes añadiendo una penalización L1 igual al valor absoluto de la magnitud de los coeficientes. Esto a veces resulta en la eliminación de algunos coeficientes por completo, lo que puede resultar en modelos dispersos.
Tipos de regresión regularizada
Dos tipos de métodos de regresión regularizados comúnmente utilizados son la regresión de cresta y la regresión de lazo .
- La regresión de cresta es una forma de crear un modelo parsimonioso cuando la cantidad de variables predictoras en un conjunto excede la cantidad de observaciones, o cuando un conjunto de datos tiene multicolinealidad (correlaciones entre variables predictoras).
- La regresión de lazo es un tipo de regresión lineal que utiliza la contracción. La reducción es donde los valores de los datos se reducen hacia un punto central, como la media. Este tipo es muy útil cuando tiene altos niveles de muticolinealidad o cuando desea automatizar ciertas partes de la selección del modelo, como la selección de variables/eliminación de parámetros.
Referencias:
Dorugade y DN Kashid. Método alternativo para elegir el parámetro Ridge para la regresión . Ciencias Matemáticas Aplicadas, vol. 4, 2010, núm. 9, 447 – 456. Recuperado el 29 de julio de 2017 de: http://www.m-hikari.com/ams/ams-2010/ams-9-12-2010/dorugadeAMS9-12-2010.pdf.
Wessel N. van Wieringen. Apuntes de clase sobre RR. Recuperado el 29 de julio de 2017 de: https://arxiv.org/pdf/1509.09169.pdf
