La mayoría de los algoritmos de aprendizaje automático supervisados se basan en el uso de un único modelo predictivo como regresión lineal , regresión logística , regresión de crestas , etc.
Sin embargo, métodos como el ensacado y los bosques aleatorios construyen muchos modelos diferentes basados en muestras repetidas de bootstrap del conjunto de datos original. Las predicciones sobre nuevos datos se realizan tomando el promedio de las predicciones realizadas por los modelos individuales.
Estos métodos tienden a ofrecer una mejora en la precisión de la predicción con respecto a los métodos que solo usan un único modelo predictivo porque usan el siguiente proceso:
- Primero, construya modelos individuales que tengan alta varianza y bajo sesgo (por ejemplo , árboles de decisión profundamente desarrollados ).
- A continuación, tome el promedio de las predicciones realizadas por modelos individuales para reducir la varianza.
Otro método que tiende a ofrecer una mejora aún mayor en la precisión predictiva se conoce como refuerzo .
¿Qué es impulsar?
El impulso es un método que se puede usar con cualquier tipo de modelo, pero se usa con mayor frecuencia con árboles de decisión.
La idea detrás del impulso es simple:
1. Primero, construya un modelo débil.
- Un modelo «débil» es aquel cuya tasa de error es solo un poco mejor que la suposición aleatoria.
- En la práctica, este suele ser un árbol de decisiones con solo una o dos divisiones.
2. A continuación, cree otro modelo débil basado en los residuos del modelo anterior.
- En la práctica, utilizamos los residuos del modelo anterior (es decir, los errores en nuestras predicciones) para ajustar un nuevo modelo que mejora ligeramente la tasa de error general.
3. Continúe este proceso hasta que la validación cruzada de k-fold nos indique que nos detengamos.
- En la práctica, utilizamos la validación cruzada de k-fold para identificar cuándo debemos dejar de hacer crecer el modelo impulsado.
Al usar este método, podemos comenzar con un modelo débil y seguir «impulsando» su rendimiento mediante la construcción secuencial de nuevos árboles que mejoran el rendimiento del árbol anterior hasta que obtenemos un modelo final que tiene una alta precisión predictiva.
¿Por qué funciona el impulso?
Resulta que el impulso puede producir algunos de los modelos más poderosos de todo el aprendizaje automático.
En muchas industrias, los modelos potenciados se utilizan como modelos de referencia en producción porque tienden a superar a todos los demás modelos.
La razón por la que los modelos mejorados funcionan tan bien se reduce a comprender una idea simple:
1. Primero, los modelos impulsados construyen un árbol de decisiones débil que tiene baja precisión predictiva. Se dice que este árbol de decisión tiene baja varianza y alto sesgo.
2. A medida que los modelos potenciados pasan por el proceso de mejorar secuencialmente los árboles de decisión anteriores, el modelo general es capaz de reducir lentamente el sesgo en cada paso sin aumentar mucho la varianza.
3. El modelo final ajustado tiende a tener un sesgo y una varianza lo suficientemente bajos , lo que conduce a un modelo que puede producir tasas de error de prueba bajas en datos nuevos.
Pros y contras de impulsar
El beneficio obvio del impulso es que puede producir modelos que tienen una alta precisión predictiva en comparación con casi todos los demás tipos de modelos.
Un posible inconveniente es que un modelo potenciado ajustado es muy difícil de interpretar. Si bien puede ofrecer una gran capacidad para predecir los valores de respuesta de nuevos datos, es difícil explicar el proceso exacto que utiliza para hacerlo.
En la práctica, la mayoría de los científicos de datos y los profesionales del aprendizaje automático crean modelos mejorados porque quieren poder predecir con precisión los valores de respuesta de los nuevos datos. Por lo tanto, el hecho de que los modelos potenciados sean difíciles de interpretar no suele ser un problema.
Impulso en la práctica
En la práctica, existen muchos tipos de algoritmos que se utilizan para impulsar, que incluyen:
Según el tamaño de su conjunto de datos y la potencia de procesamiento de su máquina, uno de estos métodos puede ser preferible al otro.
- https://r-project.org
- https://www.python.org/
- https://www.stata.com/
