Latent Diffusion Models (LDM) sind eine Klasse generativer KI-Modelle, die den Diffusionsprozess nicht direkt in der Pixel-Ebene, sondern in einem komprimierten latenten Raum ausführen. Dadurch sinkt der Rechenaufwand drastisch, ohne dass die Bildqualität leidet. Die Methode wurde 2021/2022 von Robin Rombach und Kollegen an der LMU München vorgestellt (Paper „High-Resolution Image Synthesis with Latent Diffusion Models", CVPR 2022) und bildet die technische Grundlage von Stable Diffusion.
Wie funktioniert ein Latent Diffusion Model?
Ein LDM kombiniert zwei Komponenten: einen Variational Autoencoder, der Bilder in eine kompakte latente Repräsentation überführt, und einen Diffusion Model-Kern, der in diesem latenten Raum das Rauschen entfernt. Der VAE-Encoder komprimiert ein Bild um den Faktor 8 in jeder Dimension; der Denoising-Prozess arbeitet dann nur noch auf dieser kleinen Repräsentation, was Speicher und Rechenzeit um ein Vielfaches reduziert. Erst der VAE-Decoder erzeugt am Ende das sichtbare Bild in voller Auflösung.
Text-Steuerung per Cross-Attention
Für die Text-zu-Bild-Erzeugung integriert das LDM einen Text-Encoder (bei Stable Diffusion CLIP), dessen Einbettungen über Cross-Attention-Schichten in den Denoising-Prozess einfließen. Der U-Net-Kern kann so bei jedem Schritt die Rauschvorhersage an die gewünschte Semantik koppeln. Als Trainingsziel dienen neben dem klassischen Denoising-Loss zusätzlich Perceptual- und Patch-based-Adversarial-Losses, die Details und Texturtreue verbessern.
Vorteile gegenüber Pixel-Diffusion
- Deutlich geringerer Speicher- und Rechenbedarf, dadurch auch auf Consumer-Grafikkarten nutzbar.
- Schnelleres Sampling bei vergleichbarer oder besserer Qualität.
- Der latente Raum ist kompakter und lässt sich gut für weitere Anwendungen wie Bild-zu-Bild oder Video-Erzeugung erweitern.
Verwandte Grundlagen: Diffusion Model, Stable Diffusion, Variational Autoencoder, Encoder-Decoder, Maschinelles Lernen.