参考：岡野原大輔, 拡散モデルデータ生成技術の数理

確率微分方程式

微分方程式
普通の方程式は$x^2-4x+4=0$のような形になっており、$x=2$のような数値が答えとなる。
一方、微分方程式は$\frac{dx(t)}{dt}=f(t, x(t)), x(0)=x_t$のように、ある時刻tで決まる値xの微分が、tとx(t)の関数であらわされる形になっている。このような関係を満足する関数が答えとなる。

確率過程
時間などで変化する確率変数の系列。株価の上下など。

確率過程

確率微分方程式
微分方程式の一つ以上の項が確率過程になっており、解$f(x)$自身も確率過程になるもの。

確率微分方程式

ブラウン運動、標準ウィーナー過程
時刻t=0で値が0の後、正規分布から得られる乱数を足していった確率過程。乱数を足していくので、色々な値をとっていく。

Pythonを用いた確率過程のプログラミング〜ブラウン運動、ポアソン過程 etc〜

確率微分方程式(3.1)

確率微分方程式(3.2)

SDE表現

一次近似その1

\sigma(t)^2=u(t)

とする。テイラー展開すると、

\displaylines{
u(t+\Delta t) =u(t)+\frac{du}{dt}(t)\Delta t+\frac{1}{2}\frac{d^2u}{dt^2}(t)\Delta t^2+...
}

$\Delta t<<1$より二次以降を無視すると、

\displaylines{
u(t+\Delta t) =u(t)+\frac{du}{dt}(t)\Delta t  \\
u(t+\Delta t) - u(t)=\frac{du}{dt}(t)\Delta t \\
\sigma(t)^2=u(t)より　\\
\sigma(t+\Delta t)^2 - \sigma(t)^2=\frac{d[\sigma(t)^2]}{dt}\Delta t
}

一次近似その2
マクローリン展開すると、

(1+x)^n=1+nx+\frac{n(n-1)}{2!}x^2+...

$n=1/2$で、$x=\beta(t+\Delta t)\Delta t$であり、$\Delta t<<1$より$x^2\simeq0$、よって

\sqrt{1-\beta(t+\Delta t)\Delta t}
\\
=1-\frac{1}{2}\beta(t+\Delta t)\Delta t

DDPMのSDE

DDPMの逆拡散過程

サンプリング

x:=x-[f(t_i)x-g(t_i)^2s_\theta(x, t_i)]\Delta t_i+g(t_i)\sqrt{|\Delta t_i|}z_i
\\
=x-f(t_i)x\Delta t_i+g(t_i)^2s_\theta(x, t_i)\Delta t_i+g(t_i)\sqrt{|\Delta t_i|}z_i

$s_\theta(x, t_i)\approx \nabla _x logp_t (x)$なので、やはりサンプリング時はスコアをが増える方向でやっているので、上記の逆拡散過程は0→T?

確率フローODE

ニューラルODE
ResNetは入力に対する変化を学習していく（$H(X)=F(X)+X$）。これを何層にも積み重ねる。ここで、各層を時刻1, 2, 3...のデータへの変化量ととらえると、時間を離散的でなく、連続的にとらえたらどうなるのか？という発想になる。連続時間をtにすると、$z_t=f(\theta, z_{t-1})+z_{t-1}$となる。これは$\frac{dz(t)}{zt}=f(\theta, z(t), t)$となり、イコール微分方程式(ODE)となる。ニューラルネットでODEをといているので、ニューラルODE。