Ein Large Language Model (LLM) ist ein KI-Modell — typischerweise ein neuronales Netz in Transformer-Architektur — das auf riesigen Mengen Text trainiert wird und natürliche Sprache verstehen und erzeugen kann. LLMs sind die Basis von Assistenten wie ChatGPT, Claude oder Gemini.
Was macht ein LLM aus?
- Größe: Milliarden bis hunderte Milliarden Parameter; GPT-3 (2020) hatte 175 Milliarden, neuere Modelle deutlich mehr.
- Training: Selbstüberwachtes Lernen auf Textkorpora aus Büchern, Web und Quellcode — das Modell sagt das jeweils nächste Token voraus.
- Emergente Fähigkeiten: Ab einer gewissen Größe entstehen Fähigkeiten wie In-Context Learning, Übersetzen oder logisches Schließen, die kleinere Modelle nicht zeigen.
- Generierung: Aus einer Eingabe (Prompt) wird Token für Token die wahrscheinlichste Fortsetzung erzeugt.
Grenzen und Anwendungen
LLMs haben keine echte Welterkenntnis, sondern modellieren Wahrscheinlichkeiten — daher können sie halluzinieren. Ihr Wissen ist auf den Trainingsstand begrenzt; aktuelle Informationen liefern sie oft über Retrieval-Augmented Generation (RAG). Eingesetzt werden sie für Textgenerierung, Zusammenfassungen, Programmierung, Analyse und Chatbots.
Grundbausteine sind der Tokenizer (zerlegt Text in Tokens) und das Kontextfenster (begrenzt die verarbeitbare Textmenge). Verwandte Grundlagen: Künstliche Intelligenz, Maschinelles Lernen.