Backpropagation

Alles, was nicht direkt mit Python-Problemen zu tun hat. Dies ist auch der perfekte Platz für Jobangebote.
Antworten
fail
User
Beiträge: 122
Registriert: Freitag 11. Januar 2013, 09:47

Ich versuche gerade ein Künstliches Neuronales Netzwerk zu implementiern. Ich habe dieses wunderbare Tutorial zu Backpropagation gefunden: http://galaxy.agh.edu.pl/~vlsi/AI/backp ... kprop.html
Bei diesem Schritt: df1(e)/de
Bild
versteh ich das richtig, ich muss mit mit den unveränderten Gewichten wieder den Wert des Neurons berechnen und diesen Wert in die Ableitung der Aktivierungsfunktion eingeben?

Danke

Gruss
fail
EyDu
User
Beiträge: 4881
Registriert: Donnerstag 20. Juli 2006, 23:06
Wohnort: Berlin

Ja, du musst das ganze als Gradientenabstieg sehen. Du befindest dich auf der Funktion f1 an Position e und möchtest herausfinden, in welche Richtung du dich auf f1 bewegen musst, damit der Wert kleiner wird. Durch die Ableitung df1(e)/de bekommst du die Steigung und das Delta gibt dir die Richtung.

Schau dir das Gradientenverfahren mal an und rechne das für eine einfache Funktion, zum Beispiel y = (x-3)^2 - 2 mit dem Startwert x0=1, durch. Dann wird dir wahrscheinlich einiges klarer.
Das Leben ist wie ein Tennisball.
fail
User
Beiträge: 122
Registriert: Freitag 11. Januar 2013, 09:47

Ja, leider hatten wir in der Schule weder Analysis noch Matrizen. Aber ich glaub ich versteh jetzt in etwa das Prinzip. Danke


Gruss
fail
Antworten