Support Vector Machines (SVM) sind ein klassisches Verfahren des überwachten Lernens, das Datenpunkte durch eine Hyperebene mit möglichst großem Abstand trennt. Entwickelt wurden sie ab den 1960er-Jahren von Wladimir Vapnik und Alexei Chervonenkis; die heute übliche weiche Variante (Soft Margin) stammt von Corinna Cortes und Vapnik aus dem Jahr 1995. Zusammen mit dem Kernel-Trick gehörte die SVM jahrzehntelang zu den leistungsfähigsten Klassifikationsverfahren, bevor tiefe neuronale Netze sie in vielen Anwendungen ablösten.
Die Grundidee: größtmöglicher Abstand
Eine SVM sucht eine Hyperebene, die zwei Klassen so trennt, dass der Abstand zu den nächsten Trainingspunkten maximal ist. Dieser Abstand heißt Margin, und die Punkte, die ihn festlegen, heißen Support Vectors — sie geben dem Verfahren seinen Namen. Eine größere Marge bedeutet in der Regel bessere Verallgemeinerung: Der Klassifikator „vergisst" die Trainingsdaten weniger leicht und ist robuster gegenüber kleinen Störungen.
Mathematisch wird die Hyperebene durch die Gleichung w·x + b = 0 beschrieben. Das Optimierungsproblem lautet: Minimiere ||w||²/2 unter der Nebenbedingung y_i·(w·x_i + b) ≥ 1 für alle Trainingspunkte. Die Optimallösung hängt nur von den Support Vectors ab — alle anderen Punkte sind für das Ergebnis irrelevant.
Soft Margin und der C-Parameter
Reale Daten sind selten linear trennbar. Die Soft-Margin-Variante erlaubt daher Fehlklassifikationen, bestraft sie aber über einen Parameter C:
- Großes C: wenige Fehler erlaubt, enge Marge — Gefahr von Overfitting.
- Kleines C: mehr Fehler toleriert, breitere Marge — einfacherer, robusterer Klassifikator.
C ist damit ein typischer Regularisierungshebel: Er steuert den Trade-off zwischen Bias und Varianz.
Kernel: Trennung im höherdimensionalen Raum
Mit dem Kernel-Trick lässt sich die SVM auf nicht-linear trennbare Daten erweitern. Häufig genutzte Kernel sind:
- Linearer Kernel: entspricht der klassischen Hyperebene.
- Polynomialer Kernel: erkennt Polynom-Grenzen bis zum Grad d.
- RBF-Kernel (Gauß): sehr flexibel, kann beliebig komplexe Grenzen modellieren.
Anwendungen und Grenzen
SVMs eignen sich besonders für kleine und mittlere Datensätze mit vielen Merkmalen: Textklassifikation (Spam-Filter), Bildklassifikation, Genexpressions-Analysen in der Bioinformatik. Für Support Vector Regression (SVR) existiert eine Variante für Regressionsprobleme. Grenzen: Der Trainingsaufwand skaliert schlecht mit sehr großen Datensätzen, und die Wahl von Kernel plus Parametern erfordert Erfahrung oder systematische Suche. Einen Wahrscheinlichkeitsoutput liefert die SVM nur nach nachträglichem Platt-Scaling.
Einordnung: SVMs sind ein Verfahren des Supervised Learning und ein Spezialfall der allgemeinen Optimierungsidee des Gradient Descent, der im Dualraum zur Lösung des Optimierungsproblems genutzt wird. Verwandte Konzepte: Maschinelles Lernen, Deep Learning und der allgemeine Algorithmus-Begriff.