Chain-of-Thought (Gedankenkette, kurz CoT) ist eine Prompting-Technik, die große Sprachmodelle dazu bringt, Zwischenschritte zu formulieren, bevor sie die Antwort liefern. Statt direkt zur Lösung zu springen, „denkt“ das Modell laut: Es zerlegt das Problem in Einzelschritte und begründet jeden davon. Das Papier von Wei et al. (2022) zeigte, dass CoT die Genauigkeit des 540-Milliarden-Parameter-Modells PaLM bei mathematischen Textaufgaben (GSM8K) von 18 % auf 57 % steigerte.
Varianten
- Few-Shot CoT: Der Prompt enthält Beispiele, die schrittweise Lösungen vorführen.
- Zero-Shot CoT: Der Zusatz „Denke Schritt für Schritt“ (Kojima et al., 2022) genügt, um das Modell zum schrittweisen Denken anzuregen — ganz ohne Beispiele.
Warum es wirkt
Viele Denkaufgaben (Mathematik, Logik, mehrstufige Planung) verlangen Zwischenergebnisse. Formuliert das Modell diese sichtbar aus, sinkt die Fehlerrate deutlich. CoT ist die Grundlage vieler fortgeschrittener Verfahren wie ReAct oder Tree-of-Thoughts und gehört zu den wichtigsten Werkzeugen des In-Context Learning — meist kombiniert mit Few-Shot Prompting.
Mehr Kontext: Transformer-Architektur, Neuronale Netze.