Fine-Tuning (deutsch: Feintuning) bedeutet, ein bereits vortrainiertes KI-Modell mit eigenen Daten weiterzutrainieren. Statt ein Modell von Grund auf zu lernen, startet man von einem fertigen Grundmodell und passt es an eine bestimmte Aufgabe, eine Fachdomäne oder einen gewünschten Stil an. So entsteht aus einem Generalisten ein Spezialist — typischerweise mit deutlich weniger Daten und Rechenzeit als beim Training von Null.
Warum vortrainierte Modelle?
Große Modelle wie moderne Sprachmodelle (LLMs) wurden auf riesigen Textmengen trainiert und beherrschen Sprache, Logik und Allgemeinwissen. Was ihnen fehlt, ist meist Spezialwissen oder ein bestimmtes Verhalten: ein firmeneigener Schreibstil, Fachbegriffe aus der Medizin oder dem Recht, ein bestimmtes Ausgabeformat. Genau das lernt das Modell beim Fine-Tuning aus dem eigenen Dataset.
Der Ablauf in fünf Schritten
- Daten vorbereiten: Typischerweise Paare aus Eingabe und gewünschter Ausgabe (Prompt und ideale Antwort). Qualität und Sauberkeit der Daten entscheiden über das Ergebnis.
- Datensatz aufteilen: Trainings-, Validierungs- und Testanteil — wie beim regulären Training.
- Hyperparameter wählen: Lernrate, Epochen und Batch Size steuern, wie schnell und stabil das Modell lernt.
- Training ausführen: Meist auf GPUs; bei großen Modellen kommen effiziente Verfahren zum Einsatz.
- Evaluieren: Das feingetunte Modell wird gegen das Ausgangsmodell gemessen — nur wenn es auf dem Testset besser abschneidet, war das Fine-Tuning erfolgreich.
Effiziente Methoden: Voll-Fine-Tuning und LoRA
Beim Voll-Fine-Tuning werden alle Gewichte des Modells verändert — das braucht viel Rechenleistung und Speicher. Deutlich sparsamer arbeitet LoRA (Low-Rank Adaptation): Nur kleine Zusatzgewichte werden trainiert, die das Modell zur Laufzeit ergänzen. LoRA wird auf einer einzigen GPU realisierbar und ist heute der Standard für das Anpassen großer Modelle.
Risiken
- Overfitting: Das Modell lernt die Beispieldaten auswendig und verallgemeinert schlecht — vor allem bei kleinen Datensätzen. Siehe Overfitting.
- Catastrophic Forgetting: Beim Weitertraining kann das Modell erlerntes Allgemeinwissen „vergessen“.
- Halluzinationen bleiben möglich: Feintuning beseitigt das Grundproblem des Erfindens nicht vollständig.
- Kosten: Rechenzeit und Datenaufbereitung sind nicht gratis — für viele Aufgaben reicht eine günstigere Alternative.
Alternativen: Prompt-Engineering und RAG
Nicht jede Anpassung braucht Fine-Tuning. Prompt-Engineering formuliert bessere Anweisungen, ohne das Modell zu verändern. RAG (Retrieval-Augmented Generation) liefert dem Modell zur Laufzeit relevante Dokumente aus einer Wissensdatenbank nach. Einen systematischen Vergleich liefert der Artikel Fine-Tuning vs. RAG.
Grundlagen: Was ein KI-Modell ist und wie KI-Modelle trainieren, erklärt die Glossar-Serie. Sprachmodelle gehören zum Bereich LLM und bauen auf maschinellem Lernen auf; das Muster „Trainieren, Evaluieren, Anpassen“ findest du auch im Epochen-Artikel wieder.