Stable Diffusion ist ein Open-Source-Modell zur Text-zu-Bild-Erzeugung, das am 22. August 2022 von Stability AI zusammen mit Forschern der LMU München und RunwayML veröffentlicht wurde. Es machte hochwertige Bilderzeugung erstmals auf handelsüblichen Grafikkarten möglich und löste eine Welle kreativer und kommerzieller Anwendungen aus.
Technische Basis
Stable Diffusion ist ein Latent Diffusion Model: Der Diffusion Model-Kern arbeitet im latenten Raum eines vorab trainierten Autoencoders. Ein CLIP-Text-Encoder wandelt die Eingabeaufforderung (Prompt) in Einbettungen um, die über Cross-Attention den Denoising-Prozess steuern. Die erste öffentliche Version SD 1.4 benötigte rund 10 GB Grafikspeicher; mit Optimierungen ließen sich auch 8 GB oder weniger ausreizen.
Modellfamilie und Ökosystem
Auf die Originalversion folgten SD 1.5, SD 2, SDXL mit höherer Auflösung sowie die SD-3-Reihe. Um das Modell entstand ein großes Ökosystem: Feintuning-Verfahren wie Transfer Learning und LoRA-Adapter, Steuerungswerkzeuge wie ControlNet, Oberflächen wie ComfyUI und AUTOMATIC1111 sowie Plattformen zum Austausch trainierter Modelle. Die Lizenz (CreativeML Open RAIL-M) erlaubt freie Nutzung, verlangt aber unter anderem, dass keine strafbaren Inhalte erzeugt und Urheberrechtsvermerke erhalten bleiben.
Bedeutung
Stable Diffusion demokratisierte generative Bild-KI: Künstler, Designer und Entwickler können Modelle lokal betreiben, anpassen und in eigene Produkte integrieren. Damit steht es in einer Reihe mit anderen Meilensteinen wie Generative Adversarial Networks und DALL-E, unterscheidet sich aber durch Offenheit und Lauffähigkeit auf Consumer-Hardware.
Verwandte Grundlagen: Latent Diffusion Model, Diffusion Model, Variational Autoencoder, Maschinelles Lernen, Neuronale Netze.