Ein Entscheidungsbaum ist ein Modell des überwachten Lernens, das Entscheidungen als Baumstruktur abbildet: Jede Verzweigung testet eine Eigenschaft der Daten, jedes Blatt liefert eine Vorhersage. Das macht die Modelle interpretierbar — anders als bei vielen anderen Verfahren lässt sich jede Vorhersage als Kette von Wenn-Dann-Regeln nachvollziehen.
Aufbau
- Wurzel: der erste Test, der die Daten am besten trennt.
- Innere Knoten: Tests auf einzelne Merkmale (z. B. „Alter über 30?").
- Blätter: die finale Vorhersage, z. B. eine Klasse bei der Klassifikation oder ein Zahlenwert bei der Regression.
Wie der Baum lernt
Klassische Lernalgorithmen sind ID3, C4.5 und CART. Sie wählen bei jedem Knoten das Merkmal, das die Daten am stärksten in homogene Gruppen zerlegt — gemessen am Informationsgewinn (Entropie-Reduktion) oder am Gini-Index. Der Baum wächst so lange, bis eine Abbruchregel greift (maximale Tiefe, Mindestzahl an Beispielen pro Blatt).
Vorteile
- Keine Normalisierung der Merkmale nötig — Zahlen und Kategorien können gemischt vorkommen.
- Interpretierbar und visualisierbar; gut für Bereiche mit Dokumentationspflicht (Medizin, Finanzen).
- Findet von selbst nichtlineare Zusammenhänge.
Nachteile und Gegenmittel
- Overfitting: Tiefe Bäume lernen Trainingsdetails auswendig. Gegenmittel: Pruning (Äste entfernen), Tiefenbegrenzung oder Mindestgröße der Blätter. Mehr dazu unter Overfitting.
- Instabilität: Kleine Änderungen an den Trainingsdaten können den ganzen Baum ändern.
Eine einzelne Entscheidungsbaum ist oft schwach — mehrere Bäume kombiniert ergeben die robusten Ensemble-Verfahren Random Forest und Gradient Boosting, die heute in der Praxis häufiger eingesetzt werden. Bewertet wird ein Baum wie andere Klassifikationsmodelle mit Metriken wie dem F1-Score auf Basis der Confusion Matrix.
Entscheidungsbäume lernen aus gelabelten Beispielen und gehören damit zum überwachten Lernen, im Gegensatz zu Verfahren wie K-Means. Sie arbeiten auf einem Datensatz mit bekannten Zielwerten.