Diffusion Model ist eine Klasse generativer Modelle, die Daten erzeugt, indem sie Rauschen schrittweise entfernt. Der bekannteste Vertreter ist die Denoising-Diffusion-Probabilistic-Model-Architektur (DDPM, Ho et al., NeurIPS 2020), Grundlage von Stable Diffusion.
So funktioniert ein Diffusion Model
Der Vorwärtsprozess fügt über viele Zeitschritte hinweg zunehmend Gaußsches Rauschen hinzu, bis aus einem Bild reines Rauschen wird. Der Rückwärtsprozess ist das eigentliche Modell: Ein neuronales Netz (meist ein U-Net) lernt, das Rauschen pro Schritt vorherzusagen und zu entfernen. Trainiert wird mit einer einfachen Denoising-Objective, die das vorhergesagte Rauschen mit dem tatsächlich hinzugefügten vergleicht.
Diffusion Models hängen eng mit Autoencodern zusammen: Der Rückwärtsprozess kann als Sequenz von Denoising-Autoencodern verstanden werden. Latent Diffusion Models (Rombach et al., CVPR 2022) führen die Diffusion zudem im komprimierten Variational-Autoencoder-Latent-Raum aus — das macht Stable Diffusion erst praktikabel.
Praxis-Einsatz
- Bilderzeugung: Stable Diffusion, DALL-E, Midjourney.
- Video- und Audio-Generierung sowie Bildbearbeitung (Inpainting, Super-Resolution).
- Generative Medizin- und Materialwissenschaft: neue Moleküle, synthetische Datensätze.
Nachteil ist die langsame, schrittweise Erzeugung; Techniken wie DDIM oder Destillation beschleunigen das Sampling. Auch zur Analyse solcher Modelle kommen Sparse Autoencoder zum Einsatz.
Verwandte Grundlagen: Denoising Autoencoder, Variational Autoencoder, Generative Adversarial Network, Maschinelles Lernen.