Die Lernrate (englisch learning rate, Formelzeichen η) ist der wichtigste Hyperparameter beim maschinellen Lernen. Sie bestimmt, wie groß der Schritt ist, den ein Modell bei jedem Update in Richtung des Minimums der Verlustfunktion macht. Im einfachsten Fall des Gradientenabstiegs lautet die Update-Regel: w ← w − η · ∇L(w).
Zu groß oder zu klein?
- Zu große Lernrate: Das Modell „springt über“ das Minimum hinweg und oszilliert — im Extremfall divergiert das Training und die Fehlerwerte wachsen ins Unendliche.
- Zu kleine Lernrate: Das Training ist extrem langsam, kann in lokalen Minima oder Sattelpunkten stecken bleiben und benötigt sehr viele Epochen.
- Gut gewählt: Das Modell konvergiert stabil und in vertretbarer Zeit — typische Startwerte sind 0,1 / 0,01 / 0,001.
Zusammenspiel mit anderen Trainingsgrößen
- Batch-Größe: Kleine Batches liefern verrauschte Gradienten; die passende Lernrate ist dann oft kleiner (siehe Epoche & Batch-Größe).
- Adaptive Optimierer: Verfahren wie Adam oder RMSProp passen die Schrittweite pro Parameter automatisch an und gelten als robust gegenüber der Lernraten-Wahl.
- Schedules: Lernraten-Abklingen (Decay), Warm-up oder zyklische Lernraten senken η während des Trainings systematisch, um am Ende fein zu justieren.
Praxis-Tipps
- Die Lernrate gehört zu den ersten Stellschrauben, wenn ein Modell nicht konvergiert — vor Struktur-Änderungen experimentieren.
- Zu beobachten sind die Trainingskurven: Oszilliert der Verlust, wird η verkleinert; bewegt er sich kaum, wird η vergrößert.
- Bei Backpropagation in neuronalen Netzen steuert die Lernrate das Gewicht-Update in jeder Epoche — das Training läuft über Trainings-Durchläufe.
- Eine zu große Lernrate führt zu springenden Gewichten und instabilem Training; gegen echtes Overfitting helfen eher Regularisierung und mehr Daten (siehe auch Modell).
Einordnung: Überwachtes Lernen und Maschinelles Lernen.