Denoising Autoencoder (DAE) ist eine Variante des Autoencoders, die ihre Eingaben künstlich mit Rauschen korrumpiert und das unkorrumpierte Original rekonstruieren muss. Dadurch lernt sie robuste Merkmale, die auch bei verrauschten oder unvollständigen Daten zuverlässig funktionieren.
So funktioniert ein Denoising Autoencoder
Die Grundidee geht auf Vincent et al. (ICML 2008) zurück. Statt der üblichen Rekonstruktion der Eingabe wird der Eingabe vorher absichtlich Störung hinzugefügt, etwa Gaußsches Rauschen oder zufälliges Nullsetzen einzelner Werte (Masking). Das Netz muss aus dieser korrupten Version die saubere Original-Eingabe rekonstruieren. Ein naives Autoencoder-Problem ist, dass er einfach die Identitätsfunktion lernen kann. Der Denoising-Zwang verhindert das: Weil die Repräsentation das Rauschen nicht durchreichen darf, entstehen stabile, generalisierende Merkmale.
Mehrere Denoising-Autoencoder lassen sich stapeln (Stacked Denoising Autoencoders, Vincent et al. 2010) und eignen sich als Vortraining für tiefe Netze. Die schrittweise Denoising-Sequenz moderner Diffusion Models kann als Kette solcher Denoising-Autoencoder verstanden werden.
Praxis-Einsatz
- Robustes Merkmalslernen: Repräsentationen überleben Rauschen, Aussetzer und unvollständige Sensordaten.
- Vortraining tiefer Netze, bevor die Feinjustierung mit gelabelten Daten folgt.
- Anwendungen in Empfehlungssystemen, Bild- und Audio-Vorverarbeitung.
Wie der Sparse Autoencoder ist der Denoising Autoencoder eine regulierte Autoencoder-Variante — dort erzwingt die Sparsity-Schranke, hier die Rausch-Korruption, dass nützliche statt triviale Merkmale entstehen.
Verwandte Grundlagen: Autoencoder, Sparse Autoencoder, Variational Autoencoder, Diffusion Model, Deep Learning.