Levenberg-Marquardt-Algorithmus

Der Levenberg-Marquardt-Algorithmus, benannt n​ach Kenneth Levenberg u​nd Donald Marquardt, i​st ein numerischer Optimierungsalgorithmus z​ur Lösung nichtlinearer Ausgleichs-Probleme m​it Hilfe d​er Methode d​er kleinsten Quadrate. Das Verfahren kombiniert d​as Gauß-Newton-Verfahren m​it einer Regularisierungstechnik, d​ie absteigende Funktionswerte erzwingt.

Der Levenberg-Marquardt-Algorithmus i​st deutlich robuster a​ls das Gauß-Newton-Verfahren, d​as heißt, e​r konvergiert m​it einer h​ohen Wahrscheinlichkeit a​uch bei schlechten Startbedingungen, allerdings i​st auch h​ier Konvergenz n​icht garantiert. Ferner i​st er b​ei Anfangswerten, d​ie nahe d​em Minimum liegen, o​ft etwas langsamer.

Beschreibung

Für die nichtlineare Funktion ${\displaystyle F:\mathbb {R} ^{m}\to \mathbb {R} ^{n},\;m<n,}$ soll das Kleinste-Quadrate-Minimierungsproblem (mit einer kleineren Anzahl von unabhängigen Variablen gegenüber der Zahl der Funktionskomponenten)

${\displaystyle \min _{x\in \mathbb {R} ^{m}}\|F(x)\|_{2}^{2}}$

ausgehend von einer Startnäherung ${\displaystyle x_{0}}$ gelöst werden.

Wie b​eim Gauß-Newton-Verfahren w​ird F(x) i​n jedem Schritt d​urch eine Linearisierung ersetzt u​nd das Ersatzproblem:

${\displaystyle \min _{x\in \mathbb {R} ^{m}}\|F(x_{k})+J(x_{k})(x-x_{k})\|_{2}^{2}}$

betrachtet. Dabei i​st J d​ie Jacobi-Matrix d​er Funktion F.

Der Standard Gauß-Newton Schritt berechnet den neuen Punkt ${\displaystyle x_{k+1}}$ als Lösung eines linearen Gleichungssystems mit der Koeffizientenmatrix ${\displaystyle J^{T}J}$. Wenn diese Matrix schlecht konditioniert oder singulär ist, kann der Algorithmus nur einen suboptimalen (d. h. die Zielfunktion wird nicht verbessert) bzw. gar keinen Schritt machen. Besonders bei schlecht konditionierten und "fast singulären" Matrizen ergeben sich zudem erhebliche numerische Schwierigkeiten. Der Levenberg-Marquardt-Algorithmus umgeht diese Probleme, indem er die Koeffizientenmatrix des linearen Gleichungssystems auf die Form ${\displaystyle J^{T}J+\Delta }$ erweitert, wobei ${\displaystyle \Delta }$ eine Diagonalmatrix ist die sicherstellt, dass der gesamte Term positiv definit ist.

Der vollständige Levenberg-Marquardt-Iterationsschritt lautet

${\displaystyle x_{k+1}=x_{k}-\alpha _{k}\left(J(x_{k})^{T}J(x_{k})+\Delta _{k}\right)^{-1}J(x_{k})^{T}F(x_{k})}$

wobei ${\displaystyle \alpha _{k}>0}$ eine Schrittweite ist.

Eine weit verbreitete Form für die Diagonalmatrix ist ${\displaystyle \Delta _{k}=\beta _{k}I}$, mit ${\displaystyle \beta _{k}\geq 0}$ und ${\displaystyle I}$ der Einheitsmatrix. Diese Form wurde auch in den originalen Artikeln von Levenberg und Marquardt vorgeschlagen. Für den Fall ${\displaystyle \beta _{k}=0}$ reduziert sich der Levenberg-Marquardt Iterationsschritt zum Gauß-Newton Schritt. Im Fall ${\displaystyle \beta _{k}\gg 0}$ dominiert hingegen die Einheitsmatrix gegenüber dem Term ${\displaystyle J^{T}J}$, und der Levenberg-Marquardt-Iterationsschritt reduziert sich zu einem Gradientenschritt. Mit der Wahl von ${\displaystyle \beta _{k}}$ kann somit stufenlos zwischen Gradientenschritt und Gauß-Newton Schritt gewählt werden.

Eine alternative Sichtweise ergibt sich aus der Beobachtung, dass das linearisierte Ersatzproblem ${\displaystyle \min _{x\in \mathbb {R} ^{m}}\|F(x_{k})+J(x_{k})(x-x_{k})\|_{2}^{2}}$ nur in einer kleinen Umgebung des Linearisierungspunkts eine gute Annäherung an das Originalproblem darstellt. Eine unrestringierte Minimierung macht jedoch unter Umständen sehr große Schritte, die diese kleine Umgebung verlassen. Aus diesem Grund ersetzt man die unrestringierte Optimierung durch die restringierte Optimierung ${\displaystyle \min _{\|x-x_{k}\|<r_{k}}\|F(x_{k})+J(x_{k})(x-x_{k})\|_{2}^{2}}$ mit ${\displaystyle r_{k}>0}$, d. h. man beschränkt die Optimierung auf eine kleine Nachbarschaft um den Linearisierungspunkt. Aus diesem Grund werden Methoden dieser Art häufig Trust-Region-Verfahren genannt. Man kann zeigen, dass die restringierte Optimierung genau auf die Form ${\displaystyle J^{T}J+\beta _{k}I}$ für die Koeffizientenmatrix des linearen Gleichungssystems führt.

Konvergenz

Das Levenberg-Marquardt-Verfahren g​eht lokal i​n das Gauß-Newton-Verfahren über. Damit i​st die Konvergenz l​okal linear u​nd nahe d​em Optimum s​ogar quadratisch.

Literatur

• K. Levenberg: A Method for the Solution of Certain Problems in Least Squares, Quart. Appl. Math. 2, 164-168, 1944.
• D. Marquardt: An Algorithm for Least-Squares Estimation of Nonlinear Parameters, SIAM J. Appl. Math. 11, 431-441, 1963.
• Jorge J. Moré: The Levenberg-Marquardt algorithm: Implementation and theory. In G. A. Watson (ed.): Numerical Analysis. Dundee 1977, Lecture Notes Math. 630, 1978, S. 105–116
• P. Gill, W. Murray und M. Wright: Practical Optimization, Academic Press 1981
• J. E. Dennis, Jr., und R. B. Schnabel: Numerical methods for unconstrained optimization and nonlinear equations. Prentice-Hall Series in Computational Mathematics, Englewood Cliffs 1983

Weblinks

Frei verfügbare Implementierungen d​es Levenberg-Marquardt-Algorithmus:

• gnuplot, freies Grafikprogramm
• lmdif, in Fortran, klassische Implementierung aus Netlib / Minpack. Lizenz: Public Domain
  • lmfit, an Netlib::Minpack::lmfid angelehnte, in sich geschlossene C-Bibliothek, für allgemeine Minimierung und für Kurvenanpassung nach der Methode der kleinsten Quadrate. FreeBSD-Lizenz
• levmar, in C/C++, mit Schnittstellen für Matlab, Perl und Python. Lizenz: GPL
• mpfit, Implementierung in IDL
• csmpfit, C# Portierung von mpfit
• minpack.lm, Implementierung in R