Ein Variational Autoencoder (VAE, vorgeschlagen 2013 von Diederik Kingma und Max Welling) ist ein generatives Modell: Er lernt die Wahrscheinlichkeitsverteilung der Trainingsdaten und kann daraus neue Datenpunkte erzeugen.
Idee: Verteilungen statt Punkte
Anders als ein klassischer Autoencoder codiert der VAE im Latent Space keine einzelnen Vektoren, sondern Parameter einer Gauß-Verteilung (Mittelwert und Varianz). Beim Reparameterization Trick wird ein Stichprobenvektor aus Rauschen plus Mittelwert gebildet, sodass das Netz trotzdem per Backpropagation trainierbar bleibt.
Training mit ELBO
Das Trainingsziel ist die ELBO (Evidence Lower Bound): Sie kombiniert die Rekonstruktionsqualität mit einer Regularisierung, die die gelernte Verteilung an eine Standard-Normalverteilung annähert. Dadurch ist der Latent Space glatt und lückenlos — benachbarte Punkte ergeben ähnliche, interpolierbare Ausgaben. Ein kontinuierlicher Latent Space erlaubt es, durch Verschieben des Codes neue, plausibel wirkende Beispiele zu erzeugen.
Praxis
- VAEs liegen als Latent-Compression-Baustein modernen Diffusionsmodellen wie Stable Diffusion zugrunde.
- Einsatz: Bildgenerierung, Anomalie-Erkennung, Arzneimittel- und Molekül-Design.
Die wichtigste Alternative aus derselben Familie sind Generative Adversarial Networks: Sie lernen Verteilungen über ein Spiel zwischen Generator und Diskriminator statt über eine Likelihood-Grenze.
Verwandte Grundlagen: Deep Learning, Neuronale Netze, Maschinelles Lernen.