Accuracy (deutsch: Genauigkeit) ist die einfachste und bekannteste Metrik zur Bewertung von Klassifikations-Modellen. Sie gibt an, welcher Anteil aller Vorhersagen korrekt war.
Die Formel
Die Grundlage bildet die Confusion Matrix mit ihren vier Feldern: True Positives (TP), True Negatives (TN), False Positives (FP) und False Negatives (FN). Die Accuracy ist dann:
Accuracy = (TP + TN) / (TP + TN + FP + FN)Sie setzt also die Summe aller richtig erkannten Fälle ins Verhältnis zu allen Vorhersagen. Bei 90 korrekten und 10 falschen von 100 Vorhersagen beträgt die Accuracy 0,9 beziehungsweise 90 Prozent.
Die Gefahr bei unbalancierten Daten
Accuracy ist nur bei ausgeglichenen Klassenverteilungen aussagekräftig. Gibt es in einem Datensatz 95 Prozent Negativ- und nur 5 Prozent Positiv-Beispiele, erreicht ein Modell, das pauschal immer Negativ vorhersagt, bereits 95 Prozent Accuracy — ohne irgendetwas gelernt zu haben. In solchen Fällen sind Precision, Recall und der F1-Score aussagekräftiger, weil sie jede Fehlerart getrennt betrachten.
Praxis-Tipps
- Accuracy immer zusammen mit der Klassenverteilung der Trainingsdaten interpretieren.
- Bei ungleichen Klassen oder unterschiedlich teuren Fehlern nicht allein auf Accuracy vertrauen.
- Eine gute Accuracy auf den Trainingsdaten bei schwacher Leistung auf neuen Daten ist ein Zeichen für Overfitting.