Ein Score-Based Model ist ein generatives Modell, das statt einer Wahrscheinlichkeitsdichte den Score lernt – den Gradienten der Log-Dichte nach den Daten. Die Idee geht auf Song und Ermon zurück (2019) und wurde 2021 von Song et al. mit Diffusions-SDEs zu einer einheitlichen Theorie ausgebaut.
Was ist der Score?
Für eine Verteilung p(x) ist der Score der Vektor ∇x log p(x) – er zeigt in die Richtung, in der die Wahrscheinlichkeit am stärksten steigt. Ein Netzwerk, das diesen Vektor lernt, kann die Datenverteilung komplett charakterisieren, ohne die Dichte selbst je zu berechnen. Gelernt wird er per Score Matching: Man vergleicht die Vorhersage mit dem echten Score, wobei Hyvärinens Trick den unbekannten echten Score durch eine Rausch-Perturbation ersetzt.
Vom NCSN zur SDE-Formulierung
- NCSN (Noise Conditional Score Network, 2019): Ein einzelner Score funktioniert in niedrigen Datenregionen nicht. Song und Ermon perturbieren die Daten mit mehreren Rauschstufen und sampeln per Langevin-Dynamik – iteratives Rauschen + Gradientenschritte.
- Score-SDE (2021): Song et al. zeigten, dass Diffusionsmodelle und Score-Modelle zwei Sichten auf dasselbe kontinuierliche Objekt sind – eine stochastische Differentialgleichung. Der Vorwärtsprozess rauscht die Daten, der Rückwärtsprozess entspricht dem Score. Damit wurde der bekannte DDPM-Scheduler als Spezialfall einer VE-/VP-SDE eingeordnet.
Praxis und Verbindung
Score-basierte Modelle sind die theoretische Basis vieler Diffusionspipeline-Designs und erlauben flexible Sampling-Schemata (Predictor-Corrector). Wer die Mathematik hinter Diffusionsmodellen verstehen will, startet hier: Der Score ist das, was das U-Net in einem DDPM tatsächlich schätzt.
Verwandte Grundlagen: DDPM, Diffusion Model, Flow Matching.