LSTM (Long Short-Term Memory, „Langzeit-Kurzzeitgedächtnis") ist eine besondere Form eines rezurrenten neuronalen Netzes (RNN), die 1997 von Sepp Hochreiter und Jürgen Schmidhuber eingeführt wurde. Sie löst das zentrale Problem einfacher RNNs: das verschwindende Gradientenproblem. Bei langen Sequenzen werden die Lernsignale beim Zurückpropagieren so klein, dass das Netz frühe Informationen nicht mehr lernt.
Die Idee: Cell State und Gates
Ein LSTM führt zusätzlich zum versteckten Zustand einen Zellzustand (Cell State) mit — einen Informations-Highway, der über viele Zeitschritte hinweg konstant bleibt. Drei Gates steuern, was gespeichert wird:
- Forget-Gate: entscheidet, welche alten Informationen verworfen werden
- Input-Gate: entscheidet, welche neuen Informationen in den Zellzustand aufgenommen werden
- Output-Gate: entscheidet, was aus dem Zellzustand als Ausgabe fließt
Durch diese additiven Verbindungen überleben die Gradienten auch über hunderte Zeitschritte — das Netz kann echte Langzeitabhängigkeiten in den Daten lernen.
Einsatzgebiete
- Spracherkennung und Sprachsynthese
- Maschinelle Übersetzung (vor der Transformer-Ära)
- Zeitreihenprognose (Wetter, Aktien, Sensordaten)
- Musik- und Textgenerierung
Für Videoanalyse kombiniert man LSTMs häufig mit einem CNN: Das CNN extrahiert Merkmale aus jedem Einzelbild, das LSTM verarbeitet die zeitliche Abfolge.
In vielen modernen Anwendungen wurden LSTMs durch die Transformer-Architektur abgelöst, die keine sequenzielle Verarbeitung mehr benötigt. Für lange Zeitreihen bleiben LSTMs aber weiterhin relevant.
Verwandte Grundlagen: Neuronale Netze, RNN, Gradient Descent, Attention.