Score Matching ist ein Verfahren zum Schätzen von Wahrscheinlichkeitsdichten, die nur bis auf eine unbekannte Normierungskonstante bekannt sind. Es wurde 2005 von Aapo Hyvärinen in der Arbeit „Estimation of Non-Normalized Statistical Models by Score Matching" (JMLR) eingeführt.
Idee
Statt der Dichte selbst wird ihr Score gelernt — der Gradient des Logarithmus der Dichte. Dieser ist unabhängig von der Normierungskonstante (der Partitionsfunktion), sodass kein teures MCMC-Sampling nötig ist.
Varianten
- Implizites Score Matching (Hyvärinen 2005)
- Denoising Score Matching (Vincent 2011) — verbindet den Ansatz mit Denoising-Autoencodern
- Sliced Score Matching (Song et al. 2020)
Score Matching ist die Trainingsgrundlage der Score-basierten generativen Modelle und damit eng mit Diffusionsmodellen verknüpft. Die gelernten Scores stecken auch hinter den Vektorfeld-Zielen von Flow Matching und Rectified Flow. Moderne Modelle trainieren die Denoiser häufig im latenten Raum kompakter Autoencoder wie VQ-VAE.
Verwandte Grundlagen: Autoencoder, Variational Autoencoder.