Grid Search (deutsch: Rastersuche) ist ein Verfahren zur systematischen Optimierung von Hyperparametern. Es probiert alle Kombinationen aus einer vorher festgelegten Werteliste durch und wählt die Kombination mit der besten Leistung aus.
So funktioniert es
Für jeden Hyperparameter definiert man eine Liste möglicher Werte. Ein Raster entsteht: Bei zwei Hyperparametern mit je zehn Werten ergeben sich 10 x 10 = 100 Kombinationen. Jede Kombination wird trainiert und bewertet, typischerweise mit einer Kreuzvalidierung (Cross-Validation), damit das Ergebnis nicht von der zufälligen Aufteilung der Trainingsdaten abhängt. Am Ende gewinnt die Kombination mit der besten Bewertung.
Stärken und Grenzen
- Vollständig und nachvollziehbar: Keine Kombination der Liste wird übersprungen.
- Simpel zu implementieren und gut parallelisierbar.
- Der Rechenaufwand wächst exponentiell mit der Zahl der Hyperparameter — die sogenannte Fluch der Dimensionen.
- Bei vielen Stellschrauben ist eine zufällige Suche (Random Search) oft effizienter, weil sie mehr Wertebereiche abdeckt.
Praxis-Tipps
- Zuerst grob rastern, dann in einem zweiten Lauf den vielversprechendsten Bereich verfeinern.
- Wertebereiche auf Plausibilität prüfen — die Lernrate zum Beispiel bewegt sich meist in logarithmischen Schritten wie 0,1, 0,01 und 0,001.
- Nicht nur auf die Trainingsleistung achten: Eine zu feine Suche kann zu Overfitting auf die Validierungsdaten führen.
- Der Suchraum hängt von den Modell-Parametern ab: Hyperparameter werden vor dem Training gesetzt, Parameter lernt das Modell selbst.