Backpropagation (Kurzform für „Backward Propagation of Errors", also „Rückwärtige Fehlerfortpflanzung") ist der Lernalgorithmus, mit dem neuronale Netze trainieren: Nach jeder Vorhersage wird der Fehler gemessen und von der Ausgabeschicht rückwärts durch das Netz geleitet, um alle Gewichte in die richtige Richtung anzupassen.
Vorwärts: Die Vorhersage
Ein neuronales Netz besteht aus Schichten von Neuronen, die über Gewichte verbunden sind. Beim Vorwärtsdurchlauf fließen die Eingaben durch die Schichten; jede Aktivierung (berechnet über eine Aktivierungsfunktion) wird zur nächsten Schicht weitergereicht, bis am Ende eine Vorhersage entsteht. Wie gut diese ist, misst die Loss-Funktion.
Rückwärts: Der Fehler wandert zurück
Im Rückwärtsdurchlauf wendet der Algorithmus die Kettenregel der Analysis an: Ausgehend vom Fehler am Ausgang wird Schicht für Schicht berechnet, wie stark jedes einzelne Gewicht zum Fehler beigetragen hat. Diese Anteile, die Gradienten, fließen rückwärts durch das Netz — der entscheidende Trick, der das Training erst effizient macht.
Anpassen: Gradientenabstieg
Mit dem Gradientenabstieg verschiebt das Netz anschließend jedes Gewicht ein kleines Stück in die Richtung, die den Fehler verringert. Die Schrittweite bestimmt die Lernrate. Dieser Zyklus — vorwärts rechnen, rückwärts propagieren, Gewichte anpassen — wird über viele Epochen wiederholt, bis die Vorhersagen auf den Trainingsdaten gut genug sind.
Deep Learning
Hat das Netz viele versteckte Schichten, spricht man von Deep Learning. Backpropagation funktioniert dort prinzipiell genauso, begegnet aber zwei Hürden: Beim Verschwindenden Gradienten werden die Gradienten der frühen Schichten winzig klein, bei Explodierenden Gradienten unkontrolliert groß. Techniken wie geeignete Aktivierungsfunktionen, Batch-Normalisierung oder optimierte Initialisierung helfen dagegen.
Praxis
- Rechenaufwand: Das Training tiefer Netze benötigt massive Parallelrechnung; GPUs sind dafür Standard.
- Mini-Batches: Meist wird nicht mit allen Daten, sondern mit kleinen Stapeln trainiert — das ist schneller und robuster.
- Ein-Schicht-Fall: Bei einem Netz ohne versteckte Schicht entartet Backpropagation zum einfachen Gradientenabstieg — so lernt etwa die logistische Regression.
Backpropagation ist damit die Grundlage fast aller modernen Modelle des maschinellen Lernens — vom Sprachmodell bis zum Bildklassifikator. Weitere Grundlagen: KI-Modell.