Consistency Model (deutsch Konsistenzmodell) ist eine von Yang Song, Prafulla Dhariwal, Mark Chen und Ilya Sutskever bei OpenAI im März 2023 eingeführte generative Modellklasse, die Bilder in einem einzigen Schritt aus Rauschen erzeugt. Es lernt eine Funktion, die jeden Punkt der Rausch-Trajektorie direkt auf das ursprüngliche Datenpunkt abbildet, und umgeht damit das langsame iterative Sampling klassischer Diffusionsmodelle.
Grundidee
Diffusionsmodelle wandeln Daten schrittweise in Rauschen um und lernen, diesen Prozess umzukehren. Die Wahrscheinlichkeitsfluss-ODE (Probability Flow ODE) beschreibt diese Umkehrung als deterministische Trajektorie. Ein Consistency Model lernt eine Konsistenzfunktion, die für jeden Punkt einer solchen Trajektorie dasselbe Ergebnis liefert: den Datenpunkt am Trajektorienanfang. Wegen dieser Selbstkonsistenz genügt ein einziger Funktionsaufruf, um aus Rauschen ein Bild zu erzeugen.
Training
Es gibt zwei Trainingswege: Beim Consistency Distillation wird ein bereits trainiertes Diffusions- oder Score-basiertes Modell als Lehrer verwendet, von dem die Konsistenzfunktion abgeschaut wird. Beim Consistency Training lernt das Modell direkt aus Daten ohne Lehrer, dafür wird mehr Rechenzeit benötigt. Die Qualität lässt sich durch zusätzliche Mehr-Schritt-Sampling-Verfahren weiter verbessern.
Bedeutung
Consistency-Modelle übertragen die Ideen von Score-Matching und Langevin-Sampling und Flow-Matching auf das One-Step-Sampling. Sie sind die technische Grundlage von Latent Consistency Models (LCM), die Stable-Diffusion-Modelle auf wenige Schritte beschleunigen und damit Echtzeitanwendungen auf normalen Grafikkarten ermöglichen. Verwandt: NCSN.
Verwandte Grundlagen: DDPM, Rectified Flow, Diffusion-Modell.