Overcomplete Autoencoder ist eine Autoencoder-Variante, bei der der Bottleneck (die mittlere Schicht) genauso groß oder größer ist als die Eingabe. Während ein Undercomplete Autoencoder über einen schmalen Flaschenhals komprimiert, droht beim Overcomplete-Modell die triviale Lösung: das Netz lernt die Identitätsfunktion und kopiert die Eingabe einfach durch.
Das Identitätsproblem
Hat die mittlere Schicht mehr Neuronen als die Eingabe, kann der Autoencoder die Daten prinzipiell verlustfrei durchreichen, ohne etwas über die Struktur zu lernen. Die Rekonstruktion wird perfekt, die gelernten Merkmale sind aber wertlos. Deshalb braucht ein Overcomplete Autoencoder zwingend eine Regularisierung, die das Kopieren verhindert und die Repräsentation inhaltlich zwingt.
Regularisierung als Lösung
Die gängigsten Gegenmittel sind:
- Sparsity: Ein Sparse Autoencoder bestraft aktive Neuronen mit einer L1-Penalty, die meisten bleiben nahe null.
- Denoising: Ein Denoising Autoencoder fügt der Eingabe Rauschen hinzu und muss das Original rekonstruieren — Kopieren hilft nicht.
- Kontraktion: Ein Contractive Autoencoder bestraft die Ableitungen der Merkmale und erzwingt lokale Robustheit.
- Probabilistik: Ein Variational Autoencoder modelliert den latenten Raum als Verteilung.
Wozu ein großer Bottleneck?
Die Überkomplettheit lohnt sich, wenn die Daten viele unabhängige Faktoren enthalten: Der breite Raum kann mehr Information halten als jeder schmale Kanal. Zusammen mit Regularisierung entstehen so reichhaltige, übervollständige Merkmalsdarstellungen, die für Denoising, Feature Learning und Vorverarbeitung nützlich sind. Der Masked Autoencoder umgeht das Identitätsproblem dagegen durch Weglassen von Eingabeteilen, der Regularized Autoencoder ist der Sammelbegriff für alle diese Ansätze.
Verwandte Grundlagen: Autoencoder · GAN.