Introducción a la regresión de crestas

Actualizado por ultima vez el 7 de mayo de 2021, por .

En la regresión lineal múltiple ordinaria , utilizamos un conjunto de p variables predictoras y una variable de respuesta para ajustar un modelo de la forma:

Y = β 0 + β 1 X 1 + β 2 X 2 +… + β p X p + ε

dónde:

  • Y : la variable de respuesta
  • X j : La j- ésima variable predictora
  • β j : El efecto promedio en Y de un aumento de una unidad en X j , manteniendo todos los demás predictores fijos
  • ε : el término de error

Los valores para β 0 , β 1 , B 2 ,…, β p se eligen utilizando el método de mínimos cuadrados , que minimiza la suma de los residuos al cuadrado (RSS):

RSS = Σ (y i – ŷ i ) 2

dónde:

  • Σ : símbolo griego que significa suma
  • y i : El valor de respuesta real para la i- ésima observación
  • ŷ i : el valor de respuesta predicho basado en el modelo de regresión lineal múltiple

Sin embargo, cuando las variables predictoras están altamente correlacionadas, la multicolinealidad puede convertirse en un problema. Esto puede hacer que las estimaciones de los coeficientes del modelo no sean confiables y tengan una alta varianza.

Una forma de solucionar este problema sin eliminar por completo algunas variables predictoras del modelo es utilizar un método conocido como regresión de crestas , que en su lugar busca minimizar lo siguiente:

RSS + λΣβ j 2

donde j varía de 1 ap y λ ≥ 0.

Este segundo término de la ecuación se conoce como penalización por contracción .

Cuando λ = 0, este término de penalización no tiene efecto y la regresión de crestas produce las mismas estimaciones de coeficientes que los mínimos cuadrados. Sin embargo, a medida que λ se acerca al infinito, la penalización por contracción se vuelve más influyente y las estimaciones del coeficiente de regresión de la cresta se acercan a cero.

En general, las variables predictoras que son menos influyentes en el modelo se reducirán más rápidamente a cero.

¿Por qué utilizar la regresión de crestas?

La ventaja de la regresión de crestas en comparación con la regresión de mínimos cuadrados radica en la compensación de sesgo-varianza .

Recuerde que el error cuadrático medio (MSE) es una métrica que podemos usar para medir la precisión de un modelo dado y se calcula como:

MSE = Var ( f̂ ( x 0 )) + [Sesgo ( f̂ ( x 0 ))] 2 + Var (ε)

MSE = Varianza + Sesgo 2 + Error irreducible

La idea básica de la regresión de crestas es introducir un pequeño sesgo para que la varianza pueda reducirse sustancialmente, lo que conduce a un MSE general más bajo.

Para ilustrar esto, considere la siguiente tabla:

Compensación de sesgo-varianza de regresión de cresta

Observe que a medida que aumenta λ, la varianza cae sustancialmente con muy poco aumento en el sesgo. Sin embargo, más allá de cierto punto, la varianza disminuye con menos rapidez y la contracción de los coeficientes hace que se subestimen significativamente, lo que da como resultado un gran aumento del sesgo.

Podemos ver en el gráfico que la prueba MSE es más baja cuando elegimos un valor para λ que produce una compensación óptima entre sesgo y varianza.

Cuando λ = 0, el término de penalización en la regresión de crestas no tiene efecto y, por lo tanto, produce las mismas estimaciones de coeficientes que los mínimos cuadrados. Sin embargo, al aumentar λ hasta cierto punto, podemos reducir el MSE general de la prueba.

Prueba de regresión de crestas Reducción de MSE

Esto significa que el ajuste del modelo por regresión de crestas producirá errores de prueba más pequeños que el ajuste del modelo por regresión de mínimos cuadrados.

Pasos para realizar la regresión de crestas en la práctica

Los siguientes pasos se pueden utilizar para realizar la regresión de la cresta:

Paso 1: Calcule la matriz de correlación y los valores de VIF para las variables predictoras.

Primero, debemos producir una matriz de correlación y calcular los valores de VIF (factor de inflación de la varianza) para cada variable de predicción.

Si detectamos una alta correlación entre las variables predictoras y los valores altos de VIF (algunos textos definen un valor de VIF «alto» como 5, mientras que otros usan 10), entonces es probable que sea apropiado usar la regresión de crestas.

Sin embargo, si no hay multicolinealidad presente en los datos, entonces puede que no sea necesario realizar la regresión de la cresta en primer lugar. En cambio, podemos realizar una regresión de mínimos cuadrados ordinarios.

Paso 2: estandarice cada variable predictora.

Antes de realizar la regresión de crestas, debemos escalar los datos de manera que cada variable predictora tenga una media de 0 y una desviación estándar de 1. Esto asegura que ninguna variable predictora individual sea demasiado influyente al realizar la regresión de crestas.

Paso 3: ajuste el modelo de regresión de crestas y elija un valor para λ.

No existe una fórmula exacta que podamos usar para determinar qué valor usar para λ. En la práctica, hay dos formas comunes de elegir λ:

(1) Cree una gráfica de traza Ridge. Esta es una gráfica que visualiza los valores de las estimaciones de los coeficientes a medida que λ aumenta hacia el infinito. Por lo general, elegimos λ como el valor en el que la mayoría de las estimaciones de los coeficientes comienzan a estabilizarse.

Gráfico de traza de cresta

(2) Calcule el MSE de prueba para cada valor de λ.

Otra forma de elegir λ es simplemente calcular el MSE de prueba de cada modelo con diferentes valores de λ y elegir λ como el valor que produce el MSE de prueba más bajo.

Pros y contras de la regresión de crestas

El mayor beneficio de la regresión de crestas es su capacidad para producir un error cuadrático medio (MSE) de prueba más bajo en comparación con la regresión de mínimos cuadrados cuando existe multicolinealidad.

Sin embargo, el mayor inconveniente de la regresión de crestas es su incapacidad para realizar la selección de variables, ya que incluye todas las variables predictoras en el modelo final. Dado que algunos predictores se reducirán muy cerca de cero, esto puede dificultar la interpretación de los resultados del modelo.

En la práctica, la regresión de crestas tiene el potencial de producir un modelo que puede hacer mejores predicciones en comparación con un modelo de mínimos cuadrados, pero a menudo es más difícil interpretar los resultados del modelo.

Dependiendo de si la interpretación del modelo o la precisión de la predicción es más importante para usted, puede optar por utilizar mínimos cuadrados ordinarios o regresión de crestas en diferentes escenarios.

Regresión de crestas en R & Python

Los siguientes tutoriales explican cómo realizar la regresión de crestas en R y Python, los dos lenguajes más comunes utilizados para ajustar modelos de regresión de crestas:

Regresión de crestas en R (paso a paso)
Regresión de crestas en Python (paso a paso)

  • https://r-project.org
  • https://www.python.org/
  • https://www.stata.com/

Deja un comentario

Dos eventos son mutuamente excluyentes si no pueden ocurrir al mismo tiempo. Por ejemplo, supongamos que el evento A es…
statologos comunidad-2

Compartimos información EXCLUSIVA y GRATUITA solo para suscriptores (cursos privados, programas, consejos y mucho más)

You have Successfully Subscribed!