Score-SDE ist ein einheitliches Framework für generative Modelle, das die beiden früheren Ansätze NCSN und DDPM als Spezialfälle einer einzigen stochastischen Differentialgleichung (SDE) beschreibt. Die Idee: Ein Rauschprozess wird als SDE formuliert, und die Erzeugung neuer Daten erfolgt über die zugehörige Rückwärts-SDE. Entwickelt wurde das Framework von Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon und Ben Poole (arXiv 2011.13456, ICLR 2021).
So funktioniert Score-SDE
Die Vorwärts-SDE transformiert Datenpunkte schrittweise in Rauschen, ähnlich wie beim Diffusion Model. Für die Erzeugung wird die Zeitrichtung umgekehrt: Die reverse-time SDE wandelt Rauschen wieder in Daten zurück. Entscheidend ist dabei die Score-Funktion, also der Gradient der Log-Dichte — sie steuert die Rückwärtsdynamik und wird mit einem neuronalen Netz geschätzt, wie beim Score-Based Model.
VE-SDE und VP-SDE
Die beiden klassischen Spezialfälle heißen VE-SDE (Variance Exploding, entspricht NCSN) und VP-SDE (Variance Preserving, entspricht DDPM). VE-SDE lässt die Varianz des Rauschens im Laufe der Zeit explodieren, VP-SDE hält sie konstant. Beide werden im Score-SDE-Framework einheitlich beschrieben und lassen sich mit numerischen SDE-Lösern bearbeiten.
Probability-Flow-ODE und Sampling
Ein zentrales Ergebnis ist die Probability-Flow-ODE: Zu jeder SDE existiert eine deterministische gewöhnliche Differentialgleichung, die dieselben Randverteilungen erzeugt. Sie ist die Grundlage vieler beschleunigter Sampler und verbindet Score-SDE direkt mit Neural ODE. Zum Sampling nutzt das Framework außerdem Predictor-Corrector-Verfahren und erreichte auf CIFAR-10 einen FID-Wert von 2,20 — damals ein neuer Rekord für generative Modelle ohne zusätzliche Daten.
Verwandte Grundlagen: Consistency Distillation.