Actualizado por ultima vez el 13 de marzo de 2022, por Luis Benites.
¿Qué es el método de Gauss-Newton?
El método de Gauss-Newton es un algoritmo iterativo para resolver problemas de mínimos cuadrados no lineales. «Iterativo» significa que utiliza una serie de cálculos (basados en conjeturas para los valores de x) para encontrar la solución. Es una modificación del método de Newton , que encuentra intersecciones x (mínimos) en cálculo. El Gauss-Newton generalmente se usa para encontrar el modelo teórico de mejor ajuste , aunque también podría usarse para ubicar un solo punto.
Este algoritmo es probablemente el método más popular para los mínimos cuadrados no lineales. Sin embargo, tiene algunas trampas :
- Si no hace una buena suposición inicial, será muy lento encontrar una solución y es posible que no encuentre ninguna.
- El procedimiento no es adecuado para matrices de diseño mal condicionadas o de rango deficiente.
- Si los residuos relativos son muy grandes, el procedimiento perderá una gran cantidad de información.
Opciones de software para el método de Gauss-Newton
Cualquier procedimiento de mínimos cuadrados no lineal va a ser «considerablemente más difícil» (Hartley) de encontrar a mano que su contraparte lineal (lo cual es bastante desafiante). El método de Gauss-Newton no es una excepción: requiere encontrar matrices jacobianas y muchas derivadas parciales . En algunos casos, puede tomar cientos de iteraciones para encontrar una solución (suponiendo que exista). Por lo tanto, se realiza casi exclusivamente con software. Los pasos básicos que realizará el software (tenga en cuenta que los siguientes pasos son para una sola iteración):
- Haga una conjetura inicial x 0 para x,
- Haz una conjetura para k = 1,
- Cree un vector f k con elementos f i (x k ),
- Crear una matriz jacobiana para J k
- Resolver (J T k J k p k = -J T k f k ). Esto te da las probabilidades p para todo k.
- Encuentra s. F(x k + sp k ) debe satisfacer las condiciones de Wolfe (que prueban que existen longitudes de paso).
- Conjunto x k+1 = x k + sp k .
- Repita los pasos 1 a 7 hasta la convergencia .
Al momento de escribir (agosto de 2017), SPSS no tiene el procedimiento. Otras opciones incluyen:
- MATLAB : Woodrow Herman del Stanford Center for Computer Research In Music and Acoustics proporciona un buen código para los pasos de cálculo ( haga clic aquí para ver el pdf ), junto con algunas instrucciones (relativamente) fáciles de seguir. Tenga en cuenta que realmente necesitará saber algunos conceptos básicos de cálculo y álgebra matricial para seguir adelante.
- Minitab : el algoritmo de Gauss-Newton es el predeterminado para la estimación de mínimos cuadrados.
- R : El algoritmo de mínimos cuadrados no lineales predeterminado es Gauss-Newton. Otras opciones son plinear para el algoritmo Golub-Pereyra (para LLS parcial), o port para el algoritmo nl2sol de Port Library.
variaciones
Existen muchas variaciones de Gauss-Newton, la mayoría de las cuales utilizan diferentes formas de calcular un tamaño de paso apropiado o mejorar la precisión de la matriz hessiana aproximada .
- El Gauss-Newton amortiguado (a veces llamado método de Hartley o GM modificado) mejora el método básico con una búsqueda lineal.
- >El Levenberg-Marquadt (LM) busca una «región de confianza» y proporciona tanto la dirección como la distancia para el siguiente paso. Funciona particularmente bien para problemas mal condicionados (Jelali & Kroll, 2012).
Se pueden encontrar más ejemplos de algunas variaciones diferentes en Gill & Murray (1978).
Referencias:
ETH Zúrich. Mínimos cuadrados no lineales. Recuperado el 20/8/2017 de: https://stat.ethz.ch/R-manual/R-devel/library/stats/html/nls.html
Gill, P. & Murray, W. Algorithms for the solution of the Problema de mínimos cuadrados no lineales. SIAM J. Número. Anal. 15, nº 5 (1978), 977-992.
Hartley, H. El método GN modificado para el ajuste de funciones de regresión no lineal por mínimos cuadrados . Tecnometría 3, no. 2 (1960). 269-280.
Herman, W. Aplicaciones del método de Gauss-Newton. Recuperado el 20/8/2107 de: https://ccrma.stanford.edu/~wherman/tulane/gauss_newton.pdf
Enciclopedia de optimización . Springer Science & Business Media, 2001.
Jelali, M. y Kroll, A. (2012). Servosistemas Hidráulicos: Modelado, Identificación y Control. Ciencia Springer.
