Actualizado por ultima vez el 27 de diciembre de 2021, por Luis Benites.
¿Qué es el algoritmo de Levenberg-Marquardt?
El algoritmo de Levenberg-Marquardt (LM) se utiliza para resolver problemas de mínimos cuadrados no lineales . Este método de ajuste de curvas es una combinación de otros dos métodos: el descenso de gradiente y el Gauss-Newton .
Tanto el método de Descenso de Gradiente como el de Gauss-Newton son algoritmos iterativos, lo que significa que usan una serie de cálculos (basados en conjeturas para los valores de x) para encontrar una solución. El descenso del gradiente difiere en que en cada iteración, la solución se actualiza eligiendo valores que hacen que el valor de la función sea más pequeño. Más específicamente, la suma de los errores al cuadrado se reduce moviéndose hacia la dirección del descenso más empinado. En cada iteración, el algoritmo de Levenberg-Marquardt elige el descenso de gradiente o GN y actualiza la solución.
La actualización iterativa depende del valor de un parámetro algorítmico, λ, un factor de amortiguamiento no negativo que suaviza el gráfico. La actualización es Gauss-Newton si λ es pequeño (es decir, cercano al valor óptimo) y un descenso de gradiente si λ es grande (Gavin, 2007). El Gauss-Newton es más preciso y rápido que el descenso de gradiente cuando se acerca al error mínimo. Por lo tanto, el algoritmo migrará hacia el algoritmo GN lo antes posible.
Ventajas y desventajas
ventajas:
- Como hay dos opciones posibles para la dirección del algoritmo en cada iteración, el LM es más robusto que el Gauss-Newton (Nelles, 2001).
- La convergencia es más rápida que la GN o el descenso de gradiente por sí solo.
- Puede manejar modelos con múltiples parámetros libres, que no se conocen con precisión (tenga en cuenta que para conjuntos muy grandes, el algoritmo puede ser lento).
- Si su suposición inicial está lejos de la marca, el algoritmo aún puede encontrar una solución óptima.
Desventajas:
- Para funciones planas (es decir, funciones suaves con derivadas que desaparecen en un punto determinado), el algoritmo puede “…perderse en el espacio de parámetros ” (Transtrum & Sethna, 2012).
- En algunos casos, el LM puede tardar mucho en converger. Esto es especialmente cierto si el modelo tiene más de diez parámetros (Waterfall et. al, 2006; Gutenkunst et.al, 2007), lo que requiere que el algoritmo avance poco a poco a lo largo de un espacio de rastreo estrechamente definido.
Referencias
Gavin (2007). El método de Levenberg-Marquardt para
problemas de ajuste de curvas por mínimos cuadrados no lineales. Recuperado el 22 de enero de 2017 de: http://people.duke.edu/~hpgavin/ce281/lm.pdf
Gutenkunst, R. et al. (2007). Sensibilidades de parámetros universalmente descuidadas en modelos de biología de sistemas. PLoS Comput Biol 3: 1871–1878. e189.
Nelles, O. (2001) Identificación de sistemas no lineales: desde enfoques clásicos hasta redes neuronales y modelos borrosos . Recuperado el 24 de enero de 2001 de: https://books.google.com/books?id=7qHDgwMRqM4C
Marquardt, D., «An Algorithm for Least-Squares Estimation of Nonlinear Parameters», SIAM Journal on Applied Mathematics, vol. 11, núm. 2, junio de 1963, págs. 431–441.
Ng, A. (2017). Notas de clase CS22. Recuperado el 22 de enero de 2018 de: http://cs229.stanford.edu/notes/cs229-notes1.pdf
Transtrum, M. & Sethna, J. (2012). Mejoras en el algoritmo de Levenberg-Marquardt para la minimización de mínimos cuadrados no lineales. Recuperado el 25 de enero de 2018 de: https://arxiv.org/pdf/1201.5885.pdf
Waterfall, J. et al. (2006). La clase de universalidad del modelo descuidado y la matriz de Vandermonde. Cartas de revisión física 97 150601.
