Gradient Descent (Gradientenabstieg) ist ein iteratives Optimierungsverfahren, das eine Kostenfunktion minimiert, indem es schrittweise in Richtung des steilsten Abstiegs wandert. Es ist das Arbeitspferd des Trainings von maschinellen Lernen-Modellen: Fast jedes trainierte neuronale Netz hat seine Gewichte per Gradient Descent gelernt.
Die Grundidee
Stellt man sich die Kostenfunktion als Gebirgslandschaft vor (je höher, desto schlechter), dann entspricht ein Trainingsschritt einem Schritt bergab: Man berechnet den Gradienten ∇J(θ) — die Richtung des steilsten Anstiegs — und geht in die entgegengesetzte Richtung. Das Parameter-Update lautet:
θ = θ - η · ∇J(θ)Die Lernrate η bestimmt die Schrittweite: Zu groß führt sie zu Überschwingen oder Divergenz, zu klein dauert das Training unnötig lange oder endet früh in einem flachen Bereich.
Varianten
- Batch Gradient Descent: Der Gradient wird über den gesamten Datensatz berechnet — exakt, aber bei großen Datenmengen pro Schritt teuer.
- Stochastic Gradient Descent (SGD): Ein zufälliges Sample pro Schritt — rauschig, aber sehr schnell; Konvergenz trotzdem gesichert, weil das Rauschen im Mittel die richtige Richtung zeigt.
- Mini-Batch Gradient Descent: Kleine Stichproben (typisch 32-256 Punkte) — in der Praxis die Standardwahl, sie kombiniert Effizienz und Stabilität.
Herausforderungen
Bei konvexen Kostenfunktionen (etwa bei der linearen Regression) findet Gradient Descent garantiert das globale Minimum. Die Kostenfunktionen neuronaler Netze sind dagegen nicht konvex: Lokale Minima, Sattelpunkte und flache Plateaus erschweren die Suche. Moderne Varianten mildern das ab:
- Momentum und Nesterov: bauen „Schwung" in eine Richtung auf, überwinden Plateaus schneller.
- AdaGrad, RMSProp, Adam: passen die Lernrate pro Parameter an; Adam (Kingma und Ba, 2014) ist heute der Standard-Optimierer.
- Lernraten-Schedules: reduzieren η im Laufe des Trainings, um am Ende fein nachzujustieren.
Eine zu klein gewählte Lernrate oder zu viele Epochen können außerdem zu Overfitting führen — das Modell lernt dann das Rauschen der Trainingsdaten statt der eigentlichen Struktur.
Wo Gradient Descent überall steckt
Gradient Descent ist nicht auf neuronale Netze beschränkt: Die lineare und logistische Regression werden damit trainiert, Support Vector Machines im Dualraum ebenso. Auch die Support Vector Machine und der Kernel-Trick hängen mit dieser Optimierungsfamilie zusammen. Als lokales Suchverfahren ist Gradient Descent eng mit Hill-Climbing verwandt — mit dem Unterschied, dass er die Richtung des steilsten Abstiegs über den Gradienten berechnet statt Nachbarlösungen zu vergleichen. Der Rechenaufwand pro Schritt wächst linear mit der Zahl der Parameter: O(n) pro Iteration.
Einordnung: Grundlage für das Training von KI-Modellen und ein zentraler Baustein des maschinellen Lernens.