[Back]

R. Hasani, M. Lechner, A. Amini, D. Rus, R. Grosu:
"Liquid Time-Constant Networks";
Talk: 35th AAAI Conference on Artificial Intelligence (AAAI-21), Virtual Conference; 2021-02-02 - 2021-02-09; in: "Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21)", Proceedings of the AAAI Conference on Artificial Intelligence, 35/9 (2021), 7657 - 7666.

We introduce a new class of time-continuous recurrent neural network models. Instead of declaring a learning system´s dynamics by implicit nonlinearities, we construct networks of linear first-order dynamical systems modulated via nonlinear interlinked gates. The resulting models represent dynamical systems with varying (i.e., liquid) time-constants coupled to their hidden state, with outputs being computed by numerical differential equation solvers. These neural networks exhibit stable and bounded behavior, yield superior expressivity within the family of neural ordinary differential equations, and give rise to improved performance on time-series prediction tasks. To demonstrate these properties, we first take a theoretical approach to find bounds over their dynamics, and compute their expressive power by the trajectory length measure in a latent trajectory space. We then conduct a series of time-series prediction experiments to manifest the approxi- mation capability of Liquid Time-Constant Networks (LTCs) compared to classical and modern RNNs.

Wir führen eine neue Klasse von zeitkontinuierlichen rekurrenten neuronalen Netzmodellen ein. Anstatt die Dynamik eines lernenden Systems durch implizite Nichtlinearitäten zu deklarieren, konstruieren wir Netzwerke aus linearen dynamischen Systemen erster Ordnung, die durch nichtlineare, miteinander verknüpfte Gatter moduliert werden. Die resultierenden Modelle stellen dynamische Systeme mit variierenden (d.h. flüssigen) Zeitkonstanten dar, die an ihren verborgenen Zustand gekoppelt sind, wobei die Ausgaben durch numerische Differentialgleichungslöser berechnet werden. Diese neuronalen Netze weisen ein stabiles und begrenztes Verhalten auf, sind innerhalb der Familie der neuronalen gewöhnlichen Differentialgleichungen besonders ausdrucksstark und bieten eine bessere Leistung bei der Vorhersage von Zeitserien. Um diese Eigenschaften zu demonstrieren, wählen wir zunächst einen theoretischen Ansatz, um Grenzen für ihre Dynamik zu finden, und berechnen ihre Ausdruckskraft anhand des Trajektorienlängenmaßes in einem latenten Trajektorienraum. Anschließend führen wir eine Reihe von Zeitreihenvorhersageexperimenten durch, um die Annäherungsfähigkeit von Liquid Time-Constant Networks (LTCs) im Vergleich zu klassischen und modernen RNNs zu manifestieren.

(Deep) Neural Network Algorithms, Representation Learning, Time-Series/Data Streams

https://ojs.aaai.org/index.php/AAAI/article/view/16936