In-Context Learning bezeichnet die Fähigkeit großer Sprachmodelle (LLMs), eine neue Aufgabe allein aus den Beispielen im Prompt zu verstehen und auszuführen — ganz ohne Training oder Gewichtsanpassung. Der Begriff wurde durch das GPT-3-Papier „Language Models are Few-Shot Learners“ (Brown et al., 2020) geprägt.
Wie funktioniert es?
Das Modell erhält im Prompt einige wenige Aufgabenbeispiele (Eingabe und gewünschte Ausgabe) und soll daraus das Muster ableiten. Es findet kein Gradienten-Update statt: Die Parameternetzgewichte bleiben unverändert, das Modell „lernt“ nur innerhalb seines Kontextfensters. Man spricht deshalb auch von einem dynamischen, aber flüchtigen Lernen — nach dem Gespräch ist das Gelernte wieder verschwunden.
Eigenschaften
- Skaliert mit der Modellgröße: Bei sehr großen Modellen (ab etwa einer Milliarde Parametern) tritt die Fähigkeit deutlich hervor.
- Kein Fine-Tuning nötig — Beispiele genügen, dadurch schnell und flexibel.
- Je mehr und je konsistentere Beispiele, desto besser die Ergebnisse (siehe Few-Shot Prompting).
- Grenze: Das Wissen lebt nur im Kontextfenster; für dauerhafte Verhaltensänderung ist Training nötig.
Verwandte Grundlagen: Chain-of-Thought führt In-Context Learning um schrittweises Denken fort, Prompting-Techniken ordnen die Methoden ein, und Prompt erklärt die Grundlage.