NCSN (Noise-Conditioned Score Network, deutsch etwa rauschbedingtes Score-Netzwerk) ist eine von Yang Song und Stefano Ermon 2019 vorgestellte generative Modellklasse, die Daten erzeugt, indem sie den Score der Datenverteilung lernt und daraus per Langevin-Dynamik Stichproben zieht. Der Ansatz gilt als direkter Vorläufer moderner Diffusionsmodelle.
Grundidee
Statt die Wahrscheinlichkeitsdichte selbst zu modellieren, lernt das Netz den Score, also den Gradienten der Log-Dichte nach den Daten. Dieser Gradient zeigt in die Richtung, in der die Dichte am stärksten ansteigt. Ein einfaches Score-Matching scheitert jedoch in niedrigdimensionalen Datenräumen, weil der Score dort kaum definiert ist. NCSN umgeht das Problem, indem es die Daten mit mehreren Rauschstufen (Noise Levels) überlagert: Das Netz erhält neben den Daten auch das aktuelle Rauschlevel als zusätzliche Bedingung und lernt für jedes Level den passenden Score.
Annealed Langevin Dynamics
Zum Erzeugen neuer Samples startet NCSN mit reinem Rauschen und führt nacheinander auf jeder Rauschstufe mehrere Langevin-Sampling-Schritte aus. Das Rauschlevel wird dabei schrittweise verringert (Annealing), sodass die Kette vom Rauschen allmählich zur echten Datenverteilung wandert. So entstehen Bilder, die in der Qualität mit GAN-Ergebnissen konkurrieren können, ohne dass ein Adversarial-Training nötig ist.
Bedeutung
NCSN ist neben dem DDPM einer der beiden Ausgangspunkte der modernen Score-basierten generativen Modellierung. Die spätere Theorie der stochastischen Differentialgleichungen (Score-SDE, 2021) fasst beide Ansätze als Spezialfälle zusammen und bildet die Grundlage für Score-basierte Modelle, Flow-Matching und Consistency-Modelle.
Verwandte Grundlagen: Score-Matching, Diffusion-Modell.