Score-Matching-Langevin ist die Kombination aus zwei Bausteinen der generativen Modellierung: Das Score-Matching schätzt den Gradienten der Log-Dichte, und die Langevin-Dynamik nutzt diesen geschätzten Gradienten, um Stichproben aus der Verteilung zu ziehen. Zusammen bilden sie das Sampling-Verfahren, auf dem NCSN und viele Score-basierte generative Modelle aufbauen.
Langevin-Dynamik
Die Langevin-Dynamik stammt aus der statistischen Physik und beschreibt Teilchen unter dem Einfluss eines Potentials und zufälliger Stöße. In der Statistik wird daraus ein Markov-Chain-Monte-Carlo-Verfahren: Ausgehend von einem Startpunkt wird wiederholt der Score-Schritt plus ein kleines Rauschsignal angewendet. Der einfachste Fall ist der Unadjusted Langevin Algorithm (ULA), dessen diskrete Iteration lautet: x(k+1) = x(k) + epsilon/2 mal Score(x(k)) + Wurzel(epsilon) mal Zufallsvektor. Mit Metropolis-Korrektur spricht man von MALA (Metropolis-Adjusted Langevin Algorithm).
Verbindung zum Score-Matching
Für die Langevin-Dynamik wird nur der Score benötigt, nicht die normierte Dichte. Genau diesen Gradienten liefert das Score-Matching, das auch bei unbekannter Normierungskonstante funktioniert. Damit entsteht eine saubere Arbeitsteilung: Das Score-Matching trainiert das neuronale Netz, die Langevin-Dynamik erzeugt daraus die Samples. In NCSN wird das Verfahren zur annealed Langevin Dynamics erweitert, bei der mehrere Rauschstufen nacheinander durchlaufen werden.
Bedeutung
Die Verbindung aus Score-Matching und Langevin-Sampling ist das Herzstück der Score-basierten generativen Modellierung und damit ein Fundament moderner Diffusions- und Consistency-Modelle. Sie zeigt, wie sich probabilistische Physik, Monte-Carlo-Methoden und Deep Learning zu einem praktikablen Generative-Modell verbinden lassen.
Verwandte Grundlagen: Score-basierte Modelle, DDPM, Flow-Matching.