Tree of Thoughts (ToT) erweitert das Chain-of-Thought-Prompting zu einer baumförmigen Suche: Statt eines einzigen Gedankenpfads erkundet das Sprachmodell mehrere Denk-Zweige gleichzeitig und bewertet sie. Vorgestellt wurde ToT von Shunyu Yao und Kollegen im Jahr 2023 (arXiv 2305.10601, NeurIPS 2023).
Vier Bausteine
- Thought Decomposition: Das Problem wird in überschaubare Denkschritte zerlegt.
- Thought Generation: Das Modell erzeugt mehrere Kandidaten pro Schritt.
- State Evaluation: Ein Bewertungsschritt (Zahl oder Einschätzung) beurteilt jeden Zweig.
- Search: Eine Baum-Suche wie Breitensuche (BFS) oder Tiefensuche (DFS) steuert die Erkundung.
Dieses Vorgehen ähnelt der klassischen KI-Suche und erlaubt es, Sackgassen früh zu verwerfen und vielversprechende Zweige gezielt zu vertiefen. In den Tests der Autoren löste ToT unter anderem das 24-Spiel, kreatives Schreiben und Mini-Kreuzworträtsel deutlich besser als CoT.
Einordnung
ToT ist eine Weiterentwicklung von ReAct: Dieses verzahnt Denken und Handeln in einer Schleife, ToT organisiert das Denken zusätzlich als erkundbaren Suchbaum. Auch Self-Consistency nutzt mehrere Denkpfade, stimmt aber nur über die finalen Antworten ab statt sie zu bewerten.
Verwandte Grundlagen: Large Language Model, Maschinelles Lernen, Prompt-Engineering-Muster.