Resilient Propagation

Resilient Backpropagation (Rprop) bzw. elastische Fortpflanzung ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die letzte Gewichtsänderung mit einbezogen wird. Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geändert. Mit einem gewichtsindividuellen Parameter ${\displaystyle \gamma }$ wird die Schrittweite bestimmt. Die Gewichtsänderung wird in zwei Schritten durchgeführt. Erster Schritt: Für jedes Gewicht wird der Änderungsparameter ${\displaystyle \gamma }$ für die k-te Iteration wie folgt bestimmt:

${\displaystyle \gamma _{ij}^{(k+1)}={\begin{cases}\min \left(\gamma _{ij}^{(k)}\,\cdot \eta ^{+},\gamma _{\mathrm {max} }\right)&{\text{falls}}\ \nabla _{ij}\,E^{(k)}\,\cdot \,\nabla _{ij}\,E^{(k-1)}>0\\\max \left(\gamma _{ij}^{(k)}\,\cdot \eta ^{-},\gamma _{\mathrm {min} }\right)&{\text{falls}}\ \nabla _{ij}\,E^{(k)}\,\cdot \,\nabla _{ij}\,E^{(k-1)}<0\\\gamma _{ij}^{(k)}&{\text{sonst}}\end{cases}}}$

mit ${\displaystyle 0<\eta ^{-}<1<\eta ^{+}}$

Schrittweite und maximale Schrittweite für einen Vorwärtsschritt bzw. einen Rückwärtsschritt werden mit den Parametern ${\displaystyle \eta ^{+},\eta ^{-},\gamma _{\mathrm {min} },\gamma _{\mathrm {max} }}$ festgelegt. Gute Werte für die Parameter sind: ${\displaystyle \eta ^{+}=1{,}2\,,\,\eta ^{-}=0{,}5\,,\,\gamma _{\mathrm {max} }=50\,,\,\gamma _{\mathrm {min} }=10^{-6}}$

Im zweiten Schritt w​ird die Änderung d​er Gewichte d​er k-ten Iteration bestimmt:

${\displaystyle w_{ij}^{(k+1)}=w_{ij}^{(k)}+\Delta \,w_{ij}^{(k)}}$

mit

${\displaystyle \Delta \,w_{ij}^{(k)}=-\gamma _{ij}^{(k)}\operatorname {sgn} \left(\nabla _{ij}\,E^{(k)}\right)}$

Dabei ist ${\displaystyle w_{ij}}$ das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler.

Der Rprop-Algorithmus konvergiert i​m Allgemeinen schneller a​ls die Fehlerrückführung (engl. backpropagation), jedoch k​ann es aufgrund d​er Unstetigkeitsstelle a​m Minimum d​er lokalen Approximation z​um Überspringen d​es Extremums kommen.

Der Rprop-Algorithmus w​urde erstmals 1992 v​on Martin Riedmiller u​nd Heinrich Braun i​n ihrer Arbeit „Rprop - A Fast Adaptive Learning Algorithm“ vorgestellt.

Christian Igel und Michael Hüsken (2003) haben eine leichte Modifikation des Algorithmus vorgeschlagen, die seine Stabilität und Geschwindigkeit erhöht. Durch die von Aristoklis D. Anastasiadis et al. (2005) beschriebenen Veränderungen kann globale Konvergenz des Verfahrens bewiesen werden.

Literatur

• M. Riedmiller und H. Braun: Rprop - A Fast Adaptive Learning Algorithm. Proceedings of the International Symposium on Computer and Information Science VII, 1992
• M. Riedmiller und H. Braun: A direct adaptive method for faster backpropagation learning: The Rprop algorithm. Proceedings of the IEEE International Conference on Neural Networks, 586–591, IEEE Press, 1993
• M. Riedmiller: Advanced supervised learning in multi-layer perceptrons - From backpropagation to adaptive learning algorithms. Computer Standards and Interfaces 16(5), 265–278, 1994
• C. Igel und M. Hüsken: Empirical Evaluation of the Improved Rprop Learning. Neurocomputing 50, 105–123, 2003
• A. D. Anastasiadis, G. D. Magoulas und M. N. Vrahatis: New globally convergent training scheme based on the resilient propagation algorithm. Neurocomputing 64, 253–270, 2005

Weblinks

• Rprop Optimization Toolbox
• Rprop training for Neural Networks in MATLAB