Obwohl Regression im Namen steckt, ist die logistische Regression ein Verfahren der Klassifikation: Sie sagt keine Zahlenwerte voraus, sondern schätzt die Wahrscheinlichkeit, dass ein Fall zu einer von zwei Klassen gehört — etwa „Kredit wird zurückgezahlt", „E-Mail ist Spam" oder „Tumor ist bösartig".
Die Idee: Von der Linie zur Kurve
Die klassische lineare Regression zeichnet eine Gerade durch die Daten. Die logistische Regression nutzt dieselbe lineare Kombination der Merkmale, presst das Ergebnis aber durch die Sigmoid-Funktion: σ(z) = 1 / (1 + e hoch −z). Diese S-förmige Kurve wandelt jede reelle Zahl in einen Wert zwischen 0 und 1 — interpretierbar als Vorhersage-Wahrscheinlichkeit. Im Gegensatz zur Regression, die Zahlenwerte vorhersagt, liefert sie also ein Klassen-Urteil mit Unsicherheitsangabe.
Entscheidungsregel
Liegt die geschätzte Wahrscheinlichkeit über einem Schwellenwert (Standard: 0,5), wird Klasse 1 vorhergesagt, sonst Klasse 0. Der Schwellenwert lässt sich verschieben: Will man Spam auf keinen Fall durchlassen, wählt man einen niedrigeren Schwellenwert und nimmt mehr False Positives in Kauf.
Training
Das Modell lernt seine Gewichte aus beschrifteten Beispielen des Datensatzes im Supervised Learning. Die Loss-Funktion (Log-Loss beziehungsweise Binary Cross-Entropy) bestraft falsche Vorhersagen, und der Gradientenabstieg sucht iterativ die Gewichte, die den Fehler minimieren. Das Training ist dadurch schnell und stabil — im Gegensatz zu Deep-Learning-Modellen genügen meist Sekunden oder Minuten.
Mehr als zwei Klassen
Die Grundform löst binäre Entscheidungen. Für mehrere Klassen gibt es die multinomiale Variante (Softmax-Regression), bei der pro Klasse eine Wahrscheinlichkeit geschätzt wird und die höchste gewinnt.
Stärken und Grenzen
- Interpretierbarkeit: Die gelernten Koeffizienten zeigen, wie stark jedes Merkmal die Wahrscheinlichkeit beeinflusst (Odds Ratios).
- Lineare Entscheidungsgrenze: Die Grenze zwischen den Klassen ist eine Gerade (beziehungsweise Hyperebene) — komplizierte nichtlineare Muster erkennt das Modell nicht von selbst.
- Einfachheit: Wenige Hyperparameter, wenig Rechenbedarf, robuste Ergebnisse auch bei kleineren Datenmengen.
Für komplexere Klassifikationsprobleme mit nichtlinearen Grenzen sind Random Forests oder neuronale Netze oft besser geeignet. Die Güte wird typischerweise mit der Confusion Matrix und dem F1-Score gemessen.
Ein Sonderfall: Als neuronales Netz mit nur einer Schicht und Sigmoid-Aktivierung betrachtet, entspricht die logistische Regression genau dem Fall, den Backpropagation als einfachen Gradientenabstieg trainiert.