Regularized Autoencoder ist der Sammelbegriff für Autoencoder-Varianten, die eine Zusatzbedingung (Regularisierung) einführen, damit das Modell nützliche Merkmale lernt statt die Eingabe nur zu kopieren. Der Grundbaustein ist der Autoencoder; die Regularisierung entscheidet, welche Eigenschaften die gelernte Darstellung bekommt.
Warum Regularisierung?
Ein Autoencoder mit ausreichend Kapazität kann die Identitätsfunktion lernen: Ausgabe gleich Eingabe, Rekonstruktionsfehler null, gelernte Merkmale wertlos. Regularisierte Autoencoder verhindern das, indem sie dem Verlust einen zusätzlichen Term hinzufügen, der die Repräsentation in eine gewünschte Richtung drängt. Genau deshalb kann ein regularisierter Autoencoder auch overcomplete sein, also einen Bottleneck größer als die Eingabe haben.
Die wichtigsten Varianten
- Sparse Autoencoder: L1-Penalty auf die Aktivierungen, die meisten Neuronen bleiben nahe null.
- Denoising Autoencoder: Eingabe wird verrauscht, das Original muss rekonstruiert werden — robuste Merkmale statt Kopie.
- Contractive Autoencoder: Penalty auf die Jacobi-Matrix, lokale Raumkontraktion, invariante Merkmale.
- Variational Autoencoder: Latenter Raum als Wahrscheinlichkeitsverteilung, KL-Divergenz als Regularisierer — der Übergang zu generativen Modellen.
Auch Masked Autoencoder lassen sich als regularisiert lesen: Das Maskieren der Eingabe ist eine strukturelle Regularisierung, die das Kopieren unmöglich macht. Mit diesen Techniken lassen sich Autoencoder nichtlinear und überkomplett bauen und trotzdem lernen sie etwas über die Datenverteilung — die Grundlage für Denoising, Anomalie-Erkennung und Merkmalsextraktion.
Abgrenzung
Generative Modelle wie das Generative Adversarial Network gehen einen Schritt weiter: Sie lernen nicht nur eine Repräsentation, sondern die Verteilung der Daten, um neue Stichproben zu erzeugen.
Verwandte Grundlagen: Undercomplete Autoencoder · CNN.