Das Bootstrap-Verfahren (auch Bootstrap-Methode, von engl. to bootstrap = „sich selbst hochziehen") ist ein statistisches Resampling-Verfahren, das Edward Efron 1979 bekannt gemacht hat. Aus einer einzigen Stichprobe werden viele neue Stichproben erzeugt, indem mit Zurücklegen gezogen wird – daraus lassen sich Standardfehler, Konfidenzintervalle und andere Unsicherheitsmaße schätzen, ohne komplizierte Formeln herzuleiten.
So funktioniert Bootstrap
- Aus der ursprünglichen Stichprobe mit n Werten wird zufällig ein Wert gezogen, notiert und zurückgelegt.
- Das wird n-mal wiederholt – so entsteht ein Bootstrap-Sample derselben Größe. Wegen des Zurücklegens können Werte mehrfach vorkommen.
- Dieser Vorgang wird viele Male wiederholt (typisch 1000–10.000-mal).
- Für jedes Sample berechnet man die interessierende Kennzahl (z. B. den Mittelwert oder eine Modellvorhersage).
- Die Verteilung dieser Kennzahlen über alle Samples liefert den geschätzten Standardfehler und ein Konfidenzintervall.
In einem typischen Bootstrap-Sample fehlen etwa 36,8 % der Originalwerte (genauer: der Anteil fehlender Werte nähert sich 1 − 1/e ≈ 0,632), andere Werte erscheinen mehrfach. Diese „Out-of-Bag"-Daten eignen sich zur Validierung von Modellen.
Bootstrap im maschinellen Lernen
Im maschinellen Lernen ist Bootstrap die Grundlage von Bagging (Bootstrap-Aggregation): Jedes Modell eines Ensembles wird auf einem eigenen Bootstrap-Sample der Trainingsdaten trainiert. Beim Random Forest wächst jeder Entscheidungsbaum auf so einem Sample – die Streuung der Bäume entsteht aus den leicht unterschiedlichen Daten. Bei der Klassifikation stimmen die Modelle ab, bei Regression werden die Vorhersagen gemittelt.
Bootstrap ist außerdem ein Standardwerkzeug der Datenanalyse außerhalb des Lernens: Es schätzt Unsicherheiten für Kennzahlen, für die keine geschlossene Formel existiert, und funktioniert weitgehend modellfrei.
Vorteile und Grenzen
- Vorteile: einfach umsetzbar, robust, keine Verteilungsannahmen nötig, universell einsetzbar.
- Grenzen: rechenintensiv (viele Wiederholungen), kann bei sehr kleinen Stichproben die Unsicherheit unterschätzen; ideal ist eine Stichprobe, die die Grundgesamtheit gut widerspiegelt.
Verwandte Grundlagen: Datensatz, Overfitting, überwachtes Lernen.