RNN (Recurrent Neural Network, „rekurrentes neuronales Netz") ist eine Netzarchitektur für sequenzielle Daten: Texte, Sprache, Musik, Zeitreihen oder Video. Anders als ein Multi-Layer-Perceptron verarbeitet ein RNN die Eingabe Schritt für Schritt und führt dabei einen versteckten Zustand (Hidden State) mit — eine Art Gedächtnis, das eine Zusammenfassung des bisher Gesehenen speichert.
Die Grundidee
Die moderne Form geht auf Jeffrey Elman zurück (1990): Der versteckte Zustand wird bei jedem Zeitschritt aus der aktuellen Eingabe und dem vorherigen Zustand neu berechnet. Dadurch kann das Netz Muster beliebiger Länge verarbeiten und kontextabhängig reagieren — „der Hund", „die Hunde" wird korrekt weitergerechnet, weil das Netz sich merkt, wovon es spricht.
Das Problem: Verschwindende Gradienten
Beim Training über viele Zeitschritte werden die Gradienten durch die wiederholte Multiplikation exponentiell klein — das Netz kann frühe Informationen nicht mehr lernen. Diese Schwäche war der Auslöser für die Entwicklung des LSTM, das mit Gates und Zellzustand gezielt dagegen vorgeht. Auch Gradient Descent und Backpropagation spielen beim Training eine zentrale Rolle.
Varianten und Einsatzgebiete
- Sprachmodelle und Autovervollständigung
- Maschinelle Übersetzung
- Zeitreihenanalyse und Prognosen
- Musikgenerierung
Bei der Videoanalyse arbeiten RNNs eng mit faltenden Netzen zusammen: Ein CNN extrahiert Merkmale aus jedem Einzelbild, das RNN verarbeitet die zeitliche Abfolge der Frames.
Moderne Systeme wie ChatGPT setzen heute meist auf die Transformer-Architektur, die die sequenzielle Verarbeitung durch parallele Attention-Mechanismen ersetzt. RNNs und ihre Varianten bleiben aber die konzeptionelle Grundlage für das Verständnis sequenzieller KI.
Verwandte Grundlagen: Neuronale Netze, Maschinelles Lernen, Künstliche Intelligenz, Neuronale Netze: Grundbausteine.