Ein Multi-Layer-Perceptron (MLP) ist ein künstliches neuronales Netz mit mindestens einer versteckten Schicht zwischen Eingabe- und Ausgabeschicht. Durch die nichtlinearen Aktivierungsfunktionen in den versteckten Schichten kann es auch nichtlinear separierbare Probleme lösen — im Gegensatz zum einfachen Perzeptron.
Aufbau
Eingabeschicht -> versteckte Schicht(en) -> Ausgabeschicht
Alle Neuronen einer Schicht sind mit allen Neuronen der
nächsten Schicht verbunden (voll verbunden / dense).- Eingabeschicht: nimmt die Merkmale (Features) auf.
- Versteckte Schichten: lernen Zwischenrepräsentationen.
- Ausgabeschicht: liefert die Vorhersage (z.B. Klassenwahrscheinlichkeiten).
Training mit Backpropagation
1986 popularisierten Rumelhart, Hinton und Williams die Backpropagation, mit der sich mehrschichtige Netze effizient trainieren lassen (Vorarbeiten: Werbos 1974). Der Fehler wird rückwärts durch das Netz propagiert und die Gewichte per Gradientenabstieg angepasst. Der Backpropagation-Artikel erklärt den Mechanismus im Detail.
Universal Approximation Theorem
Cybenko (1989) und Hornik (1991) bewiesen: Ein MLP mit einer versteckten Schicht und geeigneter Aktivierungsfunktion kann jede stetige Funktion beliebig genau annähern — es gibt also praktisch keine Funktion, die ein MLP nicht darstellen kann, wenn es groß genug ist.
Verwandte Grundlagen: Perzeptron, Künstliches Neuron, Aktivierungsfunktion, Deep Learning.