Der Kernel-Trick ist ein Verfahren des maschinellen Lernens, das Daten indirekt in einen höherdimensionalen Raum abbildet, ohne die Abbildung jemals explizit zu berechnen. Eingeführt wurde er 1992 von Bernhard Boser, Isabelle Guyon und Wladimir Vapnik — als Schlüsselidee, um die Support Vector Machine auf nicht-linear trennbare Daten auszuweiten.
Das Problem: nicht linear trennbar
Manche Datensätze lassen sich im ursprünglichen Merkmalsraum durch keine Gerade oder Hyperebene sauber in Klassen teilen — etwa ein Muster aus Punkten, die sich wie ein Ring um eine innere Klasse legen. Die Idee: Bildet man die Daten über eine Abbildung φ in einen höherdimensionalen Raum ab, werden viele dieser Strukturen linear trennbar — der Ring wird „aufgeklappt".
Der Trick: nie φ(x) berechnen
Die Abbildung φ kann hochdimensional oder sogar unendlichdimensional sein — sie explizit zu berechnen wäre praktisch unmöglich. Der Kern des Tricks: Viele Algorithmen, darunter die SVM, brauchen von den Daten nur Skalarprodukte ⟨x, x'⟩. Eine Kernelfunktion K(x, x') berechnet diese Skalarprodukte im Zielraum direkt:
K(x, x') = ⟨φ(x), φ(x')⟩Man muss also weder φ kennen noch die Punkte umrechnen — die Funktion K reicht völlig aus. Dadurch bleibt der Rechenaufwand im Originalraum, während die Trennkraft des hochdimensionalen Raums voll genutzt wird. Ob eine Funktion K dafür taugt, beantwortet das Mercer-Theorem (positiv semidefinite Kerne).
Wichtige Kernelfunktionen
- Linearer Kernel: K(x, x') = x·x' — keine Abbildung, einfache Hyperebene.
- Polynomialer Kernel: K(x, x') = (x·x' + c)^d — Polynom-Grenzen bis Grad d.
- RBF-Kernel (Gauß): K(x, x') = exp(-γ·||x - x'||²) — entspricht einem unendlichdimensionalen Raum, sehr flexibel.
Der Parameter γ des RBF-Kernels steuert, wie lokal die Ähnlichkeit wirkt: zu groß führt zu Overfitting, zu klein zu einer zu glatten Grenze.
Über die SVM hinaus
Der Kernel-Trick ist keine Technik nur für SVMs. Er funktioniert überall dort, wo ein Algorithmus nur Skalarprodukte verwendet: Kernel-PCA für Hauptkomponentenanalyse, Kernel-Regression, Gaussian Processes. Kernelfunktionen gibt es auch für strukturierte Objekte wie Strings, Texte oder Graphen — der Graph-Kernel überträgt die Idee auf Graphen. Das Konzept eines „Kernels" im Kontext der linearen Algebra begegnet einem in der neuronalen Netzen-Forschung dagegen seltener — dort übernehmen Aktivierungsfunktionen und Schichtarchitekturen die Rolle der Merkmalskonstruktion.
Einordnung: Der Kernel-Trick ist ein Baustein des Algorithmus-Repertoires für maschinelles Lernen und eng mit der Support Vector Machine verbunden, die von ihm maßgeblich profitiert.