Transfer Learning (Lernen durch Übertragung) ist eine Technik des maschinellen Lernens, bei der ein Modell, das bereits für eine Aufgabe trainiert wurde, als Ausgangspunkt für eine verwandte Aufgabe dient. Statt bei null zu beginnen, übernimmt das neue Modell das gelernte Wissen - das spart Daten, Rechenzeit und verbessert oft die Qualität, besonders bei kleinen Datensätzen.
Die Grundidee
Ein neuronales Netz lernt in seinen frühen Schichten allgemeine Merkmale: Kanten, Farbverläufe, Texturen - bei Sprachmodellen Grammatik und Wortbedeutungen. Diese Merkmale sind für viele ähnliche Aufgaben nützlich. Beim Transfer Learning trainiert man zunächst ein Modell auf einer großen, allgemeinen Datenmenge (z. B. ImageNet oder einem riesigen Textkorpus) und überträgt es dann auf die eigentliche, oft datenarme Aufgabe.
Vorgehen in der Praxis
- Vortrainiertes Modell laden: Die gelernten Gewichte dienen als Startpunkt.
- Feature-Extraktion: Die frühen Schichten bleiben fixiert und liefern Merkmale, auf denen ein neuer, kleiner Klassifikationskopf trainiert wird.
- Fine-Tuning: Das gesamte Modell wird mit kleiner Lernrate weiter trainiert, um sich an die Zielaufgabe anzupassen.
Vorteile und Grenzen
- Deutlich weniger Trainingsdaten nötig - wichtig, wenn Labels knapp oder teuer sind.
- Kürzere Trainingszeiten und geringerer Rechenbedarf.
- Bessere Ergebnisse, wenn Quell- und Zieldomäne verwandt sind; bei zu großer Distanz kann das Wissen auch schaden (negative Transfer).
- Risiko des Overfitting auf die kleine Zielmenge - Gegenmittel: kleine Lernrate, geeignete Merkmale, Regularisierung.
Verwandte Grundlagen: Fine-Tuning, Neuronale Netze, Deep Learning.