Ein Tokenizer zerlegt Text in kleine Einheiten (Tokens), die ein Sprachmodell verarbeiten kann. Er ist die erste Stufe jeder LLM-Pipeline: Vor dem Modell wird Eingabetext in Tokens umgewandelt, nach der Ausgabe wieder zurück in Text.
Wie funktioniert Tokenisierung?
- Subword-Verfahren: Moderne LLMs nutzen meist Byte Pair Encoding (BPE) — häufige Wortteile werden zu eigenen Tokens zusammengefasst, seltene in kleinere Stücke zerlegt.
- Vokabular: GPT-4 nutzt tiktoken (BPE) mit rund 100.000 Tokens; andere Modelle verwenden SentencePiece oder WordPiece.
- Zwei Funktionen:
encode()wandelt Strings in Token-IDs,decode()wieder zurück.
Warum das wichtig ist
Tokens sind die Rechen- und Abrechnungseinheit von LLMs: Länge des Kontextfensters und Kosten werden in Tokens gemessen. Ein Token entspricht je nach Sprache grob 3-4 Zeichen — deutsche Wörter brauchen oft mehr Tokens als englische. Die Qualität der Tokenisierung beeinflusst Verständnis, Geschwindigkeit und Preis direkt.
Verwandte Grundlagen: Embedding, LLM-Token und Kontext, Token.