Dropout ist eine Regularisierungstechnik für neuronale Netze: Während des Trainings wird bei jedem Durchgang ein zufälliger Teil der Neuronen deaktiviert (ihr Ausgang wird auf null gesetzt). Populär wurde das Verfahren durch das Paper „Dropout: A Simple Way to Prevent Neural Networks from Overfitting" (Srivastava et al., 2014).
So funktioniert Dropout
- Pro Trainingsschritt wird für jedes Neuron unabhängig entschieden, ob es aktiv bleibt – mit Wahrscheinlichkeit p (typisch p = 0,5 in verborgenen Schichten, p = 0,2 in der Eingabeschicht).
- Die verbleibenden Neuronen verarbeiten den Durchgang; die Gradienten (siehe Backpropagation) aktualisieren nur die aktiven Verbindungen.
- Beim nächsten Schritt ist die zufällige Auswahl neu – das Netz trainiert also effektiv viele verschiedene Teil-Netzwerke gleichzeitig.
- Bei der Vorhersage (Inferenz) ist Dropout ausgeschaltet: Es arbeiten alle Neuronen, ihre Ausgänge werden entsprechend skaliert („Inverted Dropout" – die Standard-Variante).
Warum wirkt Dropout?
Da kein Neuron sicher davon ausgehen kann, im nächsten Schritt noch aktiv zu sein, kann sich das Netz nicht auf einzelne „Spezialisten" verlassen. Es lernt redundante, robuste Repräsentationen: Viele Neuronen kodieren ähnliche Muster, und die Vorhersage stützt sich auf die Gemeinsamkeit aller – genau das dämpft Overfitting auf den Trainingsdaten.
Effektiv wirkt Dropout wie eine Ensemble-Methode: Die vielen zufälligen Teil-Netzwerke entsprechen einem Mittelwert über viele Modelle – vergleichbar mit Bagging, nur innerhalb eines einzigen Netzes. Die Erfolgsrate lässt sich über einen Hyperparameter steuern, die Aktivierungen bleiben dank Aktivierungsfunktionen wie der Sigmoid-Funktion glatt.
Praxis-Hinweise
- Dropout wird nur während des Trainings angewendet, nie bei der Vorhersage.
- Zu hohe p-Werte führen zu Unteranpassung – das Netz lernt zu langsam.
- Für rekurrente Netze gibt es spezielle Varianten (z. B. Variational Dropout).
- Alternativen und Ergänzungen: L1/L2-Regularisierung, Lernrate-Anpassung, Early Stopping.
Verwandte Grundlagen: Overfitting, neuronale Netze, Backpropagation, Regularisierung.