Random Search (auch Randomized Search) ist eine Methode der Hyperparameter-Optimierung: Statt alle Kombinationen systematisch durchzuprobieren, zieht sie Werte zufällig aus vorgegebenen Verteilungen und bewertet die so entstandenen Modellkonfigurationen. Sie ist die effizientere Alternative zur Grid Search, sobald mehrere Hyperparameter gleichzeitig optimiert werden.
Warum zufällig oft besser ist als systematisch
Die Grid Search testet jede Kombination einer festen Werteliste. Bei k Hyperparametern mit je n Werten sind das n^k Trainingsläufe - der Rechenaufwand wächst exponentiell (Fluch der Dimensionen). Random Search nutzt dagegen eine wichtige Beobachtung aus der Praxis: Nicht alle Hyperparameter beeinflussen das Ergebnis gleich stark. Oft sind nur ein oder zwei Stellschrauben wirklich entscheidend. Zufällige Stichproben decken den Suchraum gleichmäßiger ab als ein Raster, das auch in unwichtigen Dimensionen viele Werte testet. Dadurch findet Random Search bei gleichem Rechenbudget in der Regel die bessere Konfiguration.
So funktioniert es
- Für jeden Hyperparameter wird eine Verteilung festgelegt, z. B. uniform für einen Bereich wie 0,001 bis 1 oder log-uniform für Werte über Zehnerpotenzen.
- Es werden n zufällige Kombinationen gezogen - typischerweise einige Hundert.
- Jede Kombination wird trainiert und mit Cross-Validation bewertet; die beste gewinnt.
- Wichtig: Lernrate und ähnliche Größen werden oft logarithmisch verteilt, weil sie über Zehnerpotenzen skalieren (0,001, 0,01, 0,1).
Grenzen und Tipps
- Random Search liefert keine Garantie, das globale Optimum zu finden - wie alle Suchverfahren nähert es sich ihm nur an.
- Sehr viele zufällige Läufe erzeugen viel Rechenaufwand; Overfitting auf den Validierungsteil bleibt möglich.
- Bewährtes Vorgehen: erst grob suchen (wenige Läufe, weite Verteilungen), dann den Bereich um die besten Treffer verfeinern.
- Eine Grid Search eignet sich vor allem für wenige, klar abgegrenzte Werte, Random Search für viele oder unbekannt wichtige Stellschrauben.
Verwandte Grundlagen: Hyperparameter, Lernrate, Feature Engineering.