Confusion Matrix (deutsch: Konfusionsmatrix) ist eine Tabelle, die zeigt, wie gut ein Klassifikations-Modell wirklich arbeitet. Sie vergleicht für jede Vorhersage, ob das Modell richtig oder falsch lag — und zwar getrennt danach, welche Klasse es vorhergesagt hat und welche tatsächlich vorlag.
Die vier Felder der 2x2-Tabelle
Beim binären Klassifikationsproblem (zwei Klassen: positiv/negativ) ergeben sich vier Kombinationen:
Vorhergesagt
positiv negativ
Tatsaechlich +----------+----------+
positiv | TP | FN |
+----------+----------+
negativ | FP | TN |
+----------+----------+- TP (True Positive): richtig als positiv erkannt — z.B. Spam korrekt als Spam aussortiert.
- FP (False Positive): fälschlich als positiv eingestuft — z.B. eine normale E-Mail landet im Spam-Ordner. Auch "Fehler 1. Art" oder "False Alarm" genannt.
- FN (False Negative): ein positiver Fall wurde übersehen — z.B. eine Spam-Mail kommt im Posteingang an. Auch "Fehler 2. Art" genannt.
- TN (True Negative): richtig als negativ erkannt — z.B. eine normale E-Mail bleibt im Posteingang.
Warum "Confusion"?
Der Name kommt daher, dass das Modell die Klassen "verwechselt" (engl. to confuse): Es ordnet Fälle der falschen Klasse zu. Die Tabelle macht genau diese Verwechslungen sichtbar.
Metriken aus der Matrix ableiten
Aus den vier Feldern lassen sich die wichtigsten Qualitätskennzahlen berechnen:
- Accuracy (Genauigkeit): (TP + TN) / (alle Fälle) — der Anteil aller richtigen Vorhersagen. Vorsicht: Bei stark unbalancierten Klassen ist Accuracy irreführend. Sortiert ein Modell bei 1 % Spam-Anteil einfach alles als "negativ" ein, erreicht es 99 % Accuracy, ohne eine einzige Spam-Mail zu finden.
- Precision: TP / (TP + FP) — wie zuverlässig sind die Positiv-Vorhersagen?
- Recall: TP / (TP + FN) — wie vollständig werden positive Fälle gefunden?
- F1-Score: das harmonische Mittel aus Precision und Recall, wenn beide Kennzahlen in einer Zahl zusammengefasst werden sollen.
Praxis: Wann ist welches Feld besonders wichtig?
- Medizinischer Test: Ein übersehener Tumor (FN) ist gefährlicher als ein Fehlalarm (FP) — deshalb wird hier ein hoher Recall angestrebt.
- Spamfilter: Eine legitime E-Mail im Spam-Ordner (FP) ärgert den Nutzer mehr als eine Spam-Mail im Posteingang (FN) — hier zählt hohe Precision.
- Betrugserkennung: Kommt auf das Szenario an — zu viele False Positives blockieren echte Kunden, zu viele False Negatives lassen Betrug durch.
Die Confusion Matrix gehört zu den Grundlagen des Supervised Learning: Das Modell lernt aus einem Dataset mit bekannten Antworten und wird danach anhand solcher Kennzahlen bewertet. Wer mehr über die zugrunde liegenden Verfahren wissen möchte, findet in Modell: Was ein KI-Modell ist und Training: Wie KI-Modelle lernen die passenden Einstiegspunkte.