神经了的ODE: Neural CDE

Neural Controlled Differential Equations for Irregular Time Series

Neural ODE的缺点是一旦初值确定，轨迹便确定，中间无法对轨迹进行修正，本文引入受控微分方程概念，使得后续拿到的数据得到进一步利用。ArXiv, code.

• 假设$\tau ,T\in R$, 且$\tau <T$, $v,\omega$为正整数， $X:[\tau ,T]\to R^v$为一个有界连续函数(即X是满足Lipschitz性质的)。$f:R^{\omega }\to R^{\omega \times v}$是连续映射函数，$\zeta \in R^{\omega }$, 且有连续映射 $z:[\tau ,T]\to R^{\omega \times v}$, 并定义

  $$z_t=z_{\tau }+{\int }_{\tau }^{t}f(z_s)d{X}_s\text{for}t\in (\tau ,T]$$

  其中 $X_s\in R^v,f(Z_s)\in R^{\omega \times v}$, 上式被称作 $\text{Controlled differential equation}$.

• 与一般基于ODE的时序预测方法不同，本文在考虑后续状态的同时，可以保证隐藏状态z是连续变化的。

• 对(1)式进行扩展，可以得到$\text{Neural Controlled Differenrial Equations}$的定义为：

  $$z_t=z_{t_0}+{\int }_{t_0}^t{f}_{\theta }(z_s)d{X}_s\text{for}t\in (t_0,t_n]$$

  其中$z_{t_0}={\zeta }_{\theta }(x_0,t_0)$

  • 本文中$X:[\tau ,T]\to R^v$是通过自然边界下三次样条插值法来确定的
  • $f_{\theta }:R^{\omega }\to R^{\omega \times (v+1)}$表示任意神经网络，$w$是超参数，表示隐藏状态的维度
  • ${\zeta }_{\theta }:R^{v+1}\to R^{\omega }$表示任意依赖于参数$\theta$的神经网络

• 本文将 $\text{Controlled differential equation}$转化为普通的ODE方程，从而能够通过$\text{Neural ODE}$中的方法进行求解，假设

  $$g_{\theta ,X}(z,s)=f_{\theta }\frac{dX}{ds}(s)$$

  则很容易得到

  $$\begin{array}{}\text{(1)}& \begin{array}{rl}{z}_t& =z_{t_0}+{\int }_{t_0}^t{f}_{\theta }(z_s)d{X}_s\\ & =z_{t_0}+{\int }_{t_0}^t{f}_{\theta }(z_s)\frac{dX}{ds}(s)ds\\ & =z_{t_0}+{\int }_{t_0}^t{g}_{\theta ,X}(z_s,s)ds.\end{array}\end{array}$$