DDPM steht für Denoising Diffusion Probabilistic Models und ist die Arbeit, die Diffusionsmodelle praktisch nutzbar gemacht hat: Ho, Jain und Abbeel stellten sie 2020 auf der NeurIPS vor. Die Idee: Man zerstört Bilder in tausend winzigen Schritten mit Rauschen und trainiert ein neuronales Netz, diesen Prozess rückwärtslaufen zu lassen.
Wie funktioniert ein DDPM?
Ein DDPM besteht aus zwei Prozessen:
- Vorwärtsprozess (Diffusion): Zu einem echten Bild wird in 1000 kleinen Schritten schrittweise Gaußsches Rauschen addiert. Nach 1000 Schritten ist nur noch reines Rauschen übrig – als wäre das Bild zerfallen.
- Rückwärtsprozess (Denoising): Ein U-Net (eine spezielle Faltungsnetz-Architektur) wird trainiert, zu jedem Zwischenstand das hinzugefügte Rauschen vorherzusagen. Beim Erzeugen startet man mit reinem Rauschen und entfernt Schritt für Schritt das vorhergesagte Rauschen.
Der Verlust ist überraschend simpel: das Netz vergleicht seine Rausch-Vorhersage mit dem tatsächlich hinzugefügten Rauschen (Mean-Squared-Error). Neu ist daran auch, dass die Rausch-Level zufällig gewählt werden, was das Training stabil und effizient macht.
Warum ist DDPM wichtig?
Vor DDPM waren generative Modelle entweder instabil (GANs) oder langsam (autoregressive Modelle). DDPM lieferte Bildqualität auf GAN-Niveau bei stabilerem Training – und wurde zur Grundlage von Stable Diffusion, DALL-E und fast allen modernen Bilderzeugern. Der Preis: die 1000 Sampling-Schritte sind langsam. Spätere Arbeiten wie DDIM oder Flow-Matching-Modelle reduzieren die Schrittzahl deutlich.
Verwandte Grundlagen: Diffusion Model, Score-Based Model, Flow Matching, Latent Diffusion Model.