Die Sigmoid-Funktion (auch logistische Funktion) ist eine mathematische Funktion, die jeden reellen Wert auf das offene Intervall (0, 1) abbildet. Wegen ihrer charakteristischen S-förmigen Kurve heißt sie „Sigmoid“ (nach dem griechischen Buchstaben Sigma). Sie ist die Grundlage der Logistischen Regression und war jahrzehntelang die Standard-Aktivierungsfunktion neuronaler Netze.
Die Formel
σ(z) = 1 / (1 + e−z)
- Für z = 0 liefert die Funktion exakt 0,5.
- Für sehr große positive z nähert sie sich 1 an, für sehr negative z nähert sie sich 0.
- Der Wertebereich (0, 1) lässt sich direkt als Wahrscheinlichkeit interpretieren.
Warum so beliebt?
- Wahrscheinlichkeits-Interpretation: In der logistischen Regression steht die Ausgabe für die Wahrscheinlichkeit, dass ein Beispiel zur Klasse 1 gehört. Ab 0,5 entscheidet der Klassifikator für Klasse 1.
- Einfache Ableitung: Die Ableitung ist σ′(z) = σ(z) · (1 − σ(z)) — sie lässt sich direkt aus der Ausgabe berechnen. Das macht die Funktion ideal für das Backpropagation-Verfahren, das die Ableitung jedes Neurons benötigt.
Grenzen und Alternativen
- Sättigung: Bei betragsmäßig großen Eingaben wird die Ableitung nahezu 0 — die Gradienten „verschwinden“ und das Training kommt zum Erliegen (vanishing gradients).
- Nicht null-zentriert: Die Ausgaben sind immer positiv, was das Training verlangsamen kann.
- Für Mehrklassen-Probleme übernimmt in der Ausgabeschicht meist die Softmax-Funktion; in versteckten Schichten haben sich ReLU und Tanh durchgesetzt (siehe Aktivierungsfunktion).
Mehr zum Umfeld: Neuronale Netze – Grundlagen und Deep Learning.