Ein Contractive Autoencoder (CAE) ist eine Variante des Autoencoders, die zusätzlich zum Rekonstruktionsverlust einen Kontraktions-Term optimiert. Das Ziel: Merkmale extrahieren, die sich bei kleinen Änderungen der Eingabe kaum verändern – also robust und invariant sind. Vorgeschlagen wurde das Modell 2011 von Rifai et al. auf der ICML.
Die Jacobi-Matrix als Stabilitätsmaß
Der Zusatzterm ist die Frobenius-Norm der Jacobi-Matrix: Sie misst, wie empfindlich die Aktivierungen des Encoders auf Änderungen jedes Eingabewerts reagieren. Wird diese Norm mitbestraft, kontrahiert der Encoder den Raum lokal – kleine Störungen im Eingaberaum führen zu (fast) gleichen Merkmalen. Das Ergebnis ist eine lokale Raumkontraktion, die verhindert, dass das Netz einfach die Identität lernt.
Abgrenzung zu anderen Autoencoder-Varianten
- Der Denoising Autoencoder korrumpiert die Eingabe absichtlich mit Rauschen – der CAE bestraft stattdessen analytisch die Empfindlichkeit der Merkmale.
- Der Sparse Autoencoder erzwingt wenige aktive Neuronen – der CAE erzwingt Stabilität der Aktivierungen.
- Der Undercomplete Autoencoder komprimiert über einen schmalen Bottleneck – der CAE kann auch ohne Bottleneck generalisieren.
Wie der Autoencoder insgesamt lernt auch der CAE unüberwacht und eignet sich für Unsupervised Learning, Merkmalsextraktion und Anomalie-Erkennung. Das Training nutzt Backpropagation auf den Gesamtverlust.
Verwandte Grundlagen: Encoder-Decoder-Architektur, Neuronale Netze.