Trust-Region-Verfahren

Die Trust-Region-Verfahren s​ind eine Klasse v​on robusten u​nd effizienten Globalisierungsstrategien z​ur numerischen Berechnung e​ines lokalen Minimums e​iner möglicherweise nicht-konvexen, einmal stetig differenzierbaren Funktion. Die Trust-Region-Verfahren s​ind eng verwandt m​it dem Levenberg-Marquardt-Algorithmus, besitzen jedoch signifikante Unterschiede i​n den z​u lösenden quadratischen Teilproblemen u​nd sind deterministisch i​n der Wahl d​er Schrittweitenbeschränkung. Unter bestimmten Umständen k​ann man z​udem zeigen, d​ass Liniensuchverfahren spezielle Varianten v​on Trust-Region-Verfahren sind.

Übersicht

Trust-Region-Verfahren werden verwendet u​m Nichtlineare Programmierungsprobleme (NLP) d​er Art

${\displaystyle u\in H:J(u)=\min$ !}

zu lösen.

Hierbei nimmt man an, dass ${\displaystyle J}$ einmal stetig differenzierbar auf ${\displaystyle {\mathcal {K}}}$ ist. Das bedeutet aber nicht, dass ${\displaystyle J}$ eine konvexe Funktion ist. Da man zudem mit geringsten Änderungen am Algorithmus das folgende, nichtglatte Nichtlineare Programmierungsproblem

${\displaystyle u\in {\mathcal {K}}\subset H:J(u)=\min$ !}

lösen kann, werden wir das Trust-Region-Verfahren für diese Problemklasse betrachten. Hierbei ist ${\displaystyle {\mathcal {K}}=\{v\in H:{\underline {\phi }}\leq v\leq {\overline {\phi }},{\text{ fast ueberall}}\}}$ mit ${\displaystyle {\underline {\phi }},{\overline {\phi }}\in H}$, sowie ${\displaystyle H}$ ein Hilbertraum.

Ein Trust-Region-Verfahren ist ein iteratives Verfahren, welches aus einzelnen, sogenannten Trust-Region-Schritten besteht. Ein solcher Trust-Region-Schritt verläuft in zwei logischen Einheiten: Zunächst errechnet man eine Korrektur. Die Art und Weise, wie eine solche Korrektur errechnet wird, ist im Prinzip frei wählbar, solange die Korrektur eine sogenannte „Sufficient Decrease Condition“ erfüllt. Aus Performancegründen errechnet man jedoch oftmals die Korrektur, indem man ein quadratisches Minimierungsproblem unter Nebenbedingungen löst. Die mit dieser Sequential Quadratic Programming (SQP) Variante errechneten Korrekturen sind unter bestimmten Umständen die Korrekturen, die man in einem (Quasi-)Newtonschritt errechnet. Da diese Korrektur, im Sinne der Aufgabenstellung des Minimierungsproblems jedoch beliebig schlecht sein kann, misst man die Brauchbarkeit der Korrektur und verändert anhand dessen die Nebenbedingungen des quadratischen Problems.

Ein Trust-Region-Schritt im Detail

Errechnen der Korrektur

Wir nehmen an, dass eine zulässige Iterierte, ${\displaystyle u^{k}\in {\mathcal {K}}}$ gegeben ist. So errechnet man eine Korrektur, indem man das folgende Quadratische Programmierungs-Problem (QP) löst:

${\displaystyle s\in H:\psi ^{k}(s)=\min$ !\{{\tilde {s}}\in H:{\tilde {s}}+u^{k}\in {\mathcal {K}},\|s\|_{H}\leq \Delta ^{k}\}}

mit d​er quadratischen Funktion

${\displaystyle \psi ^{k}(s)=\langle \nabla J(u^{k}),s\rangle +{\frac {1}{2}}\langle M^{k}s,s\rangle }$

Hierbei bezeichnet ${\displaystyle \Delta ^{k}\in \mathbb {R} ^{+}}$ den Trust-Regionradius und ${\displaystyle M^{k}\colon H\to H'}$ eine symmetrische Approximation an die möglicherweise nicht existierende Hesse-Matrix an ${\displaystyle u^{k}}$. Für den Fall ${\displaystyle M^{k}=\nabla ^{2}J(u^{k})}$ ist die Funktion ${\displaystyle \psi ^{k}(s)}$ eine Taylorapproximation zweiter Ordnung an ${\displaystyle J(u^{k}+s)-J(u^{k})}$.

Wir nehmen kurz an, dass die Matrix ${\displaystyle M^{k}}$ symmetrisch positiv (semi-)definit ist und dass keine Nebenbedingungen in obigen QP Problem vorkommen. So sind die notwendigen und auch hinreichenden Bedingungen für ein Minimum gerade

${\displaystyle s\in H:M^{k}s=-\nabla J(u^{k})}$

welches e​in Quasi-Newtonschritt ist.

Bemerkung zur Lösung des quadratischen Problems

Dieses Minimierungsproblem kann gemeinhin approximativ gelöst werden. Das heißt, dass die Lösung lediglich eine bessere Lösung des QP Problems sein muss als der sogenannte Cauchypunkt. Genauer gesagt heißt das, dass ${\displaystyle s}$ folgende Ungleichung erfüllen muss

${\displaystyle -\psi ^{k}(s)\geq \beta \|D(u^{k})\nabla J(u^{k})\|\min\{\|D(u^{k})\nabla J(u^{k}),\Delta ^{k}\}}$

wobei ${\displaystyle D(u)}$ eine Coleman-Li-Skalierungsmatrix[1] ist, die auf der Hauptdiagonalen den Abstand zum Hindernis speichert.

Ohne weitere Annahmen muss man eine Formulierung mit Penaltyfunktion für die Lösung des quadratischen Minimierungsproblems verwenden, um ${\displaystyle \|s\|_{H}}$ in die Lösung mit einzubeziehen. Jedoch kann für einen endlich dimensionalen Raum ${\displaystyle H}$, ${\displaystyle \|s\|_{H}}$ durch ${\displaystyle \|s\|_{\infty }}$ ersetzt werden und ein abgeschnittenes Konjugierte Gradientenverfahren (truncated CG) oder ein nichtlineares Gauss-Seidelverfahren zur Lösung verwendet werden.

Wie erwähnt, kann ${\displaystyle s}$ eine beliebig schlechte Korrektur sein, daher errechnet man zur Bestimmung der Qualität einer Korrektur ein Skalar, die sogenannte Kontraktionsrate

${\displaystyle \rho ^{k}={\frac {J(u^{k})-J(u^{k}+s)}{-\psi ^{k}(s)}}}$

Der Wert ${\displaystyle \rho ^{k}}$ misst die Abweichung der durch die quadratischen Funktion ${\displaystyle \psi ^{k}(s)}$ vorhergesagten Reduktion von ${\displaystyle J}$ (predicted reduction) von der tatsächlichen (actual reduction). In der Literatur findet man daher auch oft

${\displaystyle \rho ^{k}={\frac {{\text{ared}}_{k}(s)}{{\text{pred}}_{k}(s)}}}$

Bemerkung zu ${\displaystyle \rho ^{k}}$: De facto misst die Kontraktionsrate die Linearität des Gradienten von ${\displaystyle J}$. Wenn ${\displaystyle J}$ eine quadratische Funktion ist, wird die Kontraktionsrate immer 1 sein, sofern ${\displaystyle M^{k}=\nabla ^{2}J(u^{k})}$. In der Praxis sollte man daher auch testen, ob ${\displaystyle J(u^{k})-J(u^{k}+s)>0}$ gilt.

Updateschritt

Schließlich wird anhand von ${\displaystyle \rho ^{k}}$ bestimmt, ob die Korrektur akzeptiert wird und wie der nächste Trust-Regionradius ${\displaystyle \Delta ^{k+1}}$ gewählt wird.

Gilt ${\displaystyle \rho ^{k}\geq \eta }$, so wird ${\displaystyle u^{k+1}=u^{k}+s}$ und ${\displaystyle \Delta ^{k+1}=\gamma _{2}\Delta ^{k}}$ gewählt. Andernfalls ist ${\displaystyle u^{k+1}=u^{k}}$ und ${\displaystyle \Delta ^{k+1}=\gamma _{1}\Delta ^{k}}$

Hierbei sind ${\displaystyle \eta \in (0,1)}$ und ${\displaystyle \gamma _{2}>1>\gamma _{1}>0}$ a priori zu wählen. In der Literatur werden gerne noch weitere Konstanten verwendet um die Wahl des neuen Trust-Regionradius feiner zu justieren, jedoch kommt das Verfahren mit diesen Konstanten aus.

Konvergenzeigenschaften

Man k​ann unter bestimmten, a​ber sehr schwachen Annahmen[1][2] zeigen, d​ass die s​o errechneten Iterierten g​egen Lösungen d​er notwendigen Bedingungen erster Ordnung konvergieren.

Grundsätzlich g​eht man hierbei w​ie folgt vor:

• die Lösung des QP Problems erfüllt immer die sufficient decrease condition (wenn nicht wählt man den Cauchy Punkt). Das heißt: Sind Korrekturen erfolgreich, also gilt ${\displaystyle \rho ^{k}\geq \eta }$, dann erhält man folgende Ungleichung

${\displaystyle J(u^{k})-J(u^{k}+s)\geq -\eta \psi ^{k}(s)\geq -\eta \beta \|D(u^{k})\nabla J(u^{k})\|\min\{\|D(u^{k})\nabla J(u^{k})\|,\Delta ^{k}\}}$

Man kann also den tatsächlichen Abstieg in ${\displaystyle J}$ durch die Norm des Gradienten und den Trust-Regionradius nach unten hin begrenzen.

• Nimmt man nun an, dass die Norm des Gradienten durch ${\displaystyle \varepsilon >0}$ nach unten beschränkt ist, so erhält man Folgendes: Angenommen es gibt unendlich viele erfolgreiche Schritte, dann konvergiert ${\displaystyle J(u^{k})}$ nach ${\displaystyle -\infty }$ oder ${\displaystyle \|D(u^{k})\nabla J(u^{k})\|\to 0}$ und man löst das Problem (zumindest dessen notwendigen Bedingungen erster Ordnung). Andernfalls muss aufgrund der obigen Ungleichung der Trust-Regionradius gegen 0 konvergieren. In dem Fall würde aber die quadratische Funktion eine immer bessere Approximation an ${\displaystyle J(u^{k})-J(u^{k}+s)}$ und die Decrease ratio ${\displaystyle \rho ^{k}}$ würde gegen 1 gehen. Das würde aber der Annahme, dass es nicht unendlich viele erfolgreiche Schritte gibt widersprechen.

Unterschiede zu anderen Verfahren

• Die Levenberg-Marquardt-Methode führt ein nichtdeterministisches Update der Schrittweitenbeschränkung durch.
• Das Trust-Region-Verfahren ist Newton-ähnlich, d. h. die Korrekturen werden anhand einer Taylorentwicklung zweiter Ordnung errechnet, bei der Levenberg-Marquardt-Methode wird ein quadratisches Hilfsproblem gelöst, basierend auf einer Taylorentwicklung erster Ordnung.
• Im Gegensatz zu Liniensuchverfahren wird im Trust-Region-Verfahren vor dem Errechnen einer Korrektur die Schrittweitenbeschränkung gewählt. Aufgrund der zusätzlichen Constraints im Minimierungsproblem zu ${\displaystyle \psi ^{k}(s)}$, wird daher eine andere und bessere Lösung errechnet, als sie die gleiche Schrittweitenbeschränkung im Linesearchalgorithmus liefern würde.

Erweiterungen zu Trust-Region Verfahren

• Um Nichtlineare Programmierungsprobleme mit noch allgemeineren Nebenbedingungen der Art

${\displaystyle u\in {\mathcal {K}}\subset H:J(u)=\min$ !}

wobei ${\displaystyle {\mathcal {K}}=\{u\in H:g^{I}(u)\leq 0{\text{ und }}g^{E}(u)=0\}}$ kann man sogenannte filter Trust-Region Verfahren verwenden.

• Es gibt Erweiterungen von Trust-Region-Verfahren, die auch Konvergenz zu kritischen Punkten zweiter Ordnung errechnen, also Punkte ${\displaystyle u^{*}}$ für die gilt

${\displaystyle \|D(u^{*})\nabla J(u^{*})\|=0}$ und ${\displaystyle \forall s\in H:u^{*}+s\in {\mathcal {K}}\Rightarrow \langle s,\nabla ^{2}J(u^{*})s\rangle \geq 0}$.

Methoden basierend auf Trust-Region Verfahren

• PDFO (Michael J. D. Powell)
• LANCELOT (Andrew Conn, Nick Gould, und Philippe Toint)

Literatur

• Thomas F. Coleman, Yuying Li: On the convergence of interior-reflective Newton methods for nonlinear minimization subject to bounds. In: Math. Programming. 67(2, Ser. A) 1994, ISSN 0025-5610, S. 189–224.
• A. R. Conn, N. I. M. Gould, Ph. L. Toint: Trust-region methods. Society for Industrial and Applied Mathematics, Philadelphia, PA, USA, 2000.

Einzelnachweise

1. Thomas F. Coleman, Yuying Li: On the convergence of interior-reflective Newton methods for nonlinear minimization subject to bounds.
2. A. R. Conn, N. I. M. Gould, Ph. L. Toint: Trust-region methods.