Feature Engineering (deutsch: Merkmalskonstruktion) ist der Prozess, rohe Daten in aussagekräftige Eingabemerkmale (Features) zu verwandeln, mit denen ein maschinelles Lernen-Modell gut arbeiten kann. Es gilt als einer der größten Hebel für die Modellqualität.
Warum es so wichtig ist
Modelle lernen nur aus dem, was sie als Eingabe erhalten. Sind die Merkmale schlecht gewählt, hilft auch das beste Verfahren wenig — die Qualität der Features bestimmt die Accuracy und andere Metriken oft stärker als die Wahl des Algorithmus. Fachleute bringen es auf den Punkt: Garbage in, garbage out.
Typische Techniken
- Skalierung und Normalisierung: Wertebereiche vereinheitlichen, damit große Zahlen kleine nicht dominieren.
- One-Hot-Encoding: Kategoriale Werte wie Farbe oder Betriebssystem in numerische Binärmerkmale umwandeln.
- Binning: Kontinuierliche Werte in sinnvolle Gruppen fassen, etwa Alter in Altersklassen.
- Feature-Auswahl: Redundante oder irrelevante Merkmale entfernen, um Rauschen zu reduzieren.
- Neue Merkmale aus Domänenwissen: Zum Beispiel Verhältnisse, Differenzen oder Aggregationen aus vorhandenen Spalten bilden.
Zusammenhang mit dem Modelltraining
Feature Engineering findet vor dem Training statt und wirkt direkt auf die Trainingsdaten. Zu viele oder zu ausschweifende Merkmale können Overfitting begünstigen; Regularisierung und bewusste Auswahl halten das Modell schlank. In neuronalen Netzen übernehmen frühe Schichten oft Teile der Merkmalsextraktion automatisch, gut vorbereitete Eingaben bleiben aber auch dort vorteilhaft.