Neural ODE (Neuronale gewöhnliche Differentialgleichung) ist eine Modellklasse, die neuronale Netze als kontinuierliche Transformationen beschreibt, statt als Abfolge diskreter Schichten. Entwickelt wurde sie von Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt und David Duvenaud (University of Toronto, Vector Institute; arXiv 1806.07366, NeurIPS 2018, Best Paper).
Die Grundidee
Statt eines Netzes mit vielen diskreten Schichten wird der verborgene Zustand als Lösung einer gewöhnlichen Differentialgleichung modelliert: dh/dt = f(h, t, θ). Das Netzwerk f gibt die Ableitung an, ein numerischer ODE-Löser integriert über die Zeit. Ein ResNet mit unendlich vielen Schichten ist die Grenzwertbetrachtung dieser Idee — die Schichtzahl wird durch die Integrationszeit ersetzt.
Training mit der Adjoint-Methode
Das Training erfolgt mit der Adjoint-Methode: Statt durch die internen Operationen des ODE-Lösers zu differenzieren, wird eine zweite, rückwärts laufende ODE gelöst. Der Speicherbedarf ist dadurch konstant und unabhängig von der Anzahl der Integrationsschritte — ein großer Vorteil gegenüber klassischen Netzen mit vielen Schichten. Zusätzlich kann die Integrationsgenauigkeit zur Laufzeit frei gewählt werden.
Continuous Normalizing Flows
Eine wichtige Anwendung sind Continuous Normalizing Flows: generative Modelle, die mit der Instantaneous-Change-of-Variables-Formel exakte Log-Likelihoods berechnen, ohne die teuren Jacobi-Determinanten klassischer Normalizing Flows zu benötigen. Damit lässt sich eine einfache Verteilung kontinuierlich in eine komplexe Datenverteilung überführen.
Verbindung zu generativen Diffusion-Modellen
In der generativen Bildsynthese ist die Probability-Flow-ODE aus dem Score-SDE-Framework selbst ein Neural ODE: Sie erzeugt deterministisch dieselben Verteilungen wie die stochastische Rückwärts-SDE und ist die Grundlage für beschleunigtes Sampling und Consistency Distillation. Auch Flow Matching baut auf kontinuierlichen Transformationen auf.
Verwandte Grundlagen: Score-Based Model.