Hyperparameter sind die Einstellungen eines Lernalgorithmus, die vor dem Training festgelegt werden und nicht aus den Daten gelernt werden. Sie bestimmen, wie ein Modell trainiert wird — im Gegensatz zu den Modellparametern (z.B. den Gewichten eines neuronalen Netzes), die das Training selbst aus den Daten lernt.
Beispiele für Hyperparameter
- Lernrate: Die Schrittweite des Gradientenabstiegs — der wichtigste Hyperparameter überhaupt (siehe Lernrate).
- Batch-Größe: Wie viele Trainingsbeispiele pro Update verarbeitet werden (siehe Epoch & Batch-Size).
- Anzahl der Epochen: Wie oft der gesamte Datensatz durchlaufen wird.
- Netzarchitektur: Anzahl und Breite der versteckten Schichten, Wahl der Aktivierungsfunktion.
- Regularisierungsstärke: Zusatzterm in der Loss-Funktion, der große Gewichte bestraft und Overfitting eindämmt.
- Optimierer: Verfahren wie SGD oder Adam, das die Gewichte aktualisiert.
Hyperparameter-Tuning
Die Suche nach guten Hyperparametern heißt Tuning. Übliche Verfahren sind Grid Search (systematisch alle Kombinationen durchprobieren), Random Search (zufällige Stichproben) und Bayessche Optimierung. Bewertet wird dabei nicht auf den Trainingsdaten, sondern auf einem Validierungsdatensatz, der von der Trainingsmenge getrennt ist — sonst überstimmt man das Modell auf die Trainingsdaten und verschlechtert die Generalisierung.
Abgrenzung
- Hyperparameter werden vom Entwickler gesetzt (z.B. Lernrate, Batch-Größe).
- Modellparameter (Gewichte, Bias) lernt der Algorithmus selbst in Training.
- Die Lernrate ist ein Hyperparameter des Gradientenabstiegs; bei adaptiven Optimierern wie Adam wird sie laufend angepasst.
Ein gut gewählter Satz Hyperparameter entscheidet oft mehr über die Qualität eines KI-Modells als die Modellarchitektur selbst.