Random Forest (deutsch etwa „Zufallswald") ist ein Ensemble-Verfahren des maschinellen Lernens: Statt eines einzelnen Modells trainiert es viele Entscheidungsbäume parallel und kombiniert deren Vorhersagen. Die Idee dahinter ist die „Weisheit der Vielen": Viele schwache, unterschiedliche Modelle zusammen sind stabiler und genauer als jedes einzelne.
Grundidee: Warum ein Wald besser ist als ein Baum
Ein einzelner Entscheidungsbaum ist schnell und leicht verständlich, aber anfällig für Overfitting: Er passt sich den Trainingsdaten oft zu genau an. Ein Random Forest erzeugt deshalb viele Bäume, die bewusst unterschiedlich gemacht werden. Stimmen die Bäume bei einer Klassifikation ab, gewinnt die Mehrheit — bei einer Regression wird der Mittelwert aller Vorhersagen gebildet. Einzelne falsche Bäume fallen so kaum ins Gewicht.
So funktioniert das Training
- Bootstrap-Samples: Für jeden Baum wird eine Zufallsstichprobe aus dem Datensatz gezogen — manche Beispiele kommen mehrfach vor, andere gar nicht. Dieses Verfahren heißt Bagging (Bootstrap Aggregating).
- Feature-Randomisierung: Bei jedem Split darf der Baum nur eine zufällige Teilmenge der Merkmale betrachten. Dadurch entstehen möglichst unabhängige Bäume.
- Wachstum: Die Bäume werden in der Regel tief wachsen gelassen und nicht beschnitten — die Vielfalt übernimmt die Regulierung.
Warum das Overfitting reduziert
Die zwei Zufallsquellen (Stichproben und Merkmale) sorgen dafür, dass die Bäume unterschiedliche Fehler machen. Diese Fehler gleichen sich bei der Abstimmung weitgehend aus, während das echte Signal in allen Bäumen steckt. Ein Random Forest ist deshalb deutlich robuster als ein einzelner Baum und gehört zu den zuverlässigsten Standardverfahren des maschinellen Lernens.
Praxis: Hyperparameter und Stärken
- Anzahl der Bäume: Mehr Bäume verbessern die Stabilität, kosten aber Rechenzeit; typische Werte liegen zwischen 100 und 1000.
- max_depth / max_features: begrenzen die Tiefe der Bäume und die Merkmalsauswahl pro Split.
- Keine Skalierung nötig: Bäume arbeiten mit Zahlen- und Kategorie-Merkmalen direkt — ein Vorteil gegenüber vielen anderen Verfahren.
- Feature-Importance: Der Wald lässt sich abfragen, welche Merkmale am meisten zur Vorhersage beitragen.
Grenzen und Alternativen
Random Forests sind langsamer und speicherhungriger als ein einzelner Baum und nicht so gut interpretierbar. Als Alternativen für Klassifikationsprobleme dienen etwa die logistische Regression oder Support Vector Machines. Eng verwandte, aber getrennt trainierte Ensemble-Verfahren wie Gradient Boosting arbeiten statt mit Mittelung mit sequenzieller Fehlerkorrektur.
Ein Random Forest ist ein überwachtes Verfahren: Er lernt mit beschrifteten Beispielen aus dem Supervised Learning. Bewertet wird er wie andere Klassifikationsmodelle zum Beispiel mit dem F1-Score.