Quickprop

Quickprop ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion eines künstlichen neuronalen Netzes, das sich an das Newton-Verfahren anlehnt. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da über eine quadratische Approximation aus dem vorhergehenden Gradientenschritt und dem aktuellen Gradienten auf das Minimum der Fehlerfunktion geschlossen wird. Unter der Annahme, dass die Fehlerfunktion lokal näherungsweise quadratisch ist, versucht man sie mit Hilfe einer nach oben geöffneten Parabel zu beschreiben. Das gesuchte Minimum liegt im Scheitel der Parabel. Das Verfahren benötigt ausschließlich lokale Informationen des künstlichen Neurons, auf das es angewendet werden soll.

Der k-te Approximationsschritt i​st dabei gegeben durch:

${\displaystyle \Delta ^{(k)}\,w_{ij}=\Delta ^{(k-1)}\,w_{ij}\left({\frac {\nabla _{ij}\,E^{(k)}}{\nabla _{ij}\,E^{(k-1)}-\nabla _{ij}\,E^{(k)}}}\right)}$

Dabei ist ${\displaystyle w_{ij}}$ das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler.

Der Quickprop-Algorithmus konvergiert i​m Allgemeinen schneller a​ls Fehlerrückführung (engl. backpropagation), jedoch k​ann sich d​as Netzwerk i​n der Lernphase aufgrund z​u großer Schrittweiten chaotisch verhalten.

Literatur

• Scott E. Fahlman: An Empirical Study of Learning Speed in Back-Propagation Networks, September 1988