Sparse Autoencoder (SAE) ist eine Variante des Autoencoders, die ihren versteckten Schichten eine Sparsity-Schranke auferlegt: Nur wenige Neuronen dürfen gleichzeitig aktiv sein. Dadurch entstehen entkoppelte, interpretierbare Merkmale, auch wenn die versteckte Schicht größer ist als die Eingabe.
So funktioniert ein Sparse Autoencoder
Die Idee wurde von Andrew Ng und der Stanford Machine Learning Group (UFLDL, 2011) populär gemacht. Über eine Sparsity-Regularisierung (zum Beispiel L1-Strafterm auf die Aktivierungen oder eine KL-Divergenz gegen eine niedrige Ziel-Aktivität) wird erzwungen, dass typischerweise nur ein kleiner Teil der versteckten Einheiten feuert. Ein naiver Autoencoder mit mehr versteckten Einheiten als Eingabedimensionen könnte sonst nur die Identität kopieren; die Sparsity-Schranke verhindert das und zwingt das Netz, die Daten in wenigen, aussagekräftigen Merkmalen zu kodieren.
Praxis-Einsatz
- Merkmalslernen und Anomalie-Erkennung mit interpretierbaren, entkoppelten Repräsentationen.
- Mechanistische Interpretierbarkeit: Sparse Autoencoder werden heute eingesetzt, um in großen Sprachmodellen und sogar in Diffusion Models einzelne Feature-Komponenten sichtbar zu machen.
- Kompression und Rauschunterdrückung in Signal- und Bildverarbeitung.
Während der Sparse Autoencoder die Aktivierungen beschränkt, korrumpiert der Denoising Autoencoder die Eingabe mit Rauschen — beide Regularisierungen verhindern das triviale Kopieren der Eingabe und erzwingen robuste Merkmale.
Verwandte Grundlagen: Autoencoder, Denoising Autoencoder, Variational Autoencoder, Regularisierung, Neuronale Netze.