Ein Undercomplete Autoencoder ist die klassische Form des Autoencoders: Der Bottleneck (die mittlere Schicht) hat weniger Dimensionen als die Eingabe. Das Netz ist damit gezwungen, die Eingabe zu komprimieren und beim Rekonstruieren die wichtigsten Merkmale zu behalten. „Undercomplete“ bedeutet übersetzt „untervollständig“ – die Repräsentation ist bewusst kleiner als die Daten.
Warum der Bottleneck funktioniert
Der Encoder projiziert die Eingabe auf einen niedrigdimensionalen Latent-Raum, der Decoder stellt sie wieder her. Der Rekonstruktionsverlust (etwa der mittlere quadratische Fehler) bestraft Abweichungen. Kann das Modell den Input nur unvollständig speichern, muss es die strukturell wichtigsten Muster lernen – genau das macht die gelernte Repräsentation als Merkmalsvektor nützlich. Im linearen Spezialfall (eine versteckte Schicht, lineare Aktivierung) entspricht der Undercomplete Autoencoder mathematisch der Hauptkomponentenanalyse (PCA).
Varianten und Einsatz
- Der Sparse Autoencoder erzwingt zusätzlich wenige aktive Neuronen, der Contractive Autoencoder zusätzlich stabile Merkmale – beide kommen ohne schmalen Bottleneck aus.
- Ein overcomplete Autoencoder (Bottleneck größer als der Input) kann die Identität lernen und braucht daher zwingend Regularisierung.
- Anwendung: Kompression, Merkmalslernen und Unsupervised Learning; hoher Rekonstruktionsfehler deutet auf Anomalien hin.
Die generative Erweiterung ist der Variational Autoencoder, der den Latent-Raum als Wahrscheinlichkeitsverteilung modelliert.
Verwandte Grundlagen: Encoder-Decoder-Architektur, Deep Learning.