まずは方々へ生存報告。私は生きている。この報告を聞いて心底悔しむ諸君の尊顔を想像するだけで爆笑してしまった。そのため記事が無駄に長ったらしく内容の薄い駄文となったが、罪悪感など全くない。諸君に駄文を読ませ、貴様らの読解力を鍛え上げてやる。
さて、戯言はここまでにして、ネットサーフィンをしていたら、計算論的神経科学なる分野を知り、勉強中。それを理解するためには様々な数学的知識が必要。数か月床に伏していて頭の中がすっからかんになってしまたので復習がてらいくつか重要なトピックを取り上げて公式の導出などを試みる。今回はタイトルにある通り、状態空間モデルの予測、フィルタ、平滑化の公式の導出を試みる。今後、より具体的な線形ガウス型状態空間モデルのカルマンフィルタや非線形非ガウス型状態空間モデルの粒子フィルタなどの説明もするつもりである。拙者は数学のど素人でございますので、内容の誤りなどあるかもしれませんがその場合にはご教授くださいませ。よろ。
あと、この大馬鹿者の思いついた証明など一瞥の価値もないと思うよ。
1. 状態空間モデルの定義
まず状態空間モデルを定義する。
\begin{align}
&p(X_{t+1}=x_{t+1}|X_{0:t}=x_{0:t} \wedge Y_{0:t}=y_{0:t}) = p(X_{t+1}=x_{t+1}|X_{t}=x_{t}) \tag{1}\\
\\
&p(Y_{t+1}=y_{t+1}|X_{0:t+1}=x_{0:t+1} \wedge Y_{0:t}=y_{0:t}) = p(Y_{t+1}=y_{t+1}|X_{t+1}=x_{t+1}) \tag{2}\\
\end{align}
の2つの式を満たす構造を持つ時系列モデルを状態空間モデルと呼ぶことにする。ただし、$ t \geq 0 $とし、$ X_t $を状態変数、$Y_t$を観測値とし、$ X_{t}, Y_{t} $ は多次元確率変数であるとする。また、$ p(X=x|A) $は事象 $ A $ が発生した条件の下で$ X=x $となる(条件付き)確率密度を表す。$X_{0:t}=x_{0:t}$は$$\forall k [k \in \mathbb{N}\wedge 0 \leq k \leq t \to X_k=x_k]$$を表す。また、表記を簡潔にするために(1), (2) をそれぞれ
\begin{align}
&p(x_{t+1}|x_{0:t}, y_{0:t}) = p(x_{t+1}|x_{t}) \tag{3}\\
\\
&p(y_{t+1}|x_{0:t+1}, y_{0:t}) = p(y_{t+1}|x_{t+1}) \tag{4}\\
\end{align}
と書く。さらに、$t \geq 0$に対して条件付確率密度関数
\begin{align}
&p(x_{t+1}|x_{t}) = q(x_{t+1}|x_{t}) \tag{システムモデル} \\
\\
&p(y_{t}|x_{t}) = r(y_{t}|x_{t}) \tag{観測モデル} \\
\\
\end{align}
が与えられているとする。あまりこのような表現は見かけないが、特に問題ないように思う。
2. 状態の一期先予測
$Y_{0:t} = y_{0:t}$が観測されたとする。この条件の下で次の状態 $X_{t+1}$ の確率密度関数を求めることができる。
\begin{align}
p(x_{t+1}|y_{0:t}) &= \int p(x_{0:t+1}|y_{0:t}) dx_{0:t} \\
&= \int p(x_{t+1}|x_{0:t},y_{0:t})p(x_{0:t}|y_{0:t})dx_{0:t}\\
&= \int p(x_{t+1}|x_t)p(x_t|y_{0:t})dx_t \tag{状態の一期先予測分布}
\end{align}
となる。ただし、$\int p dx_{0:t}$は$p$の$x_0,..,x_t$それぞれによる$\mathbb{R}$上の全領域にわたる定積分を表す。途中で式(3)を用いていることに注意されたし。$p(x_{t+1}|x_t)$はシステムモデルによって与えられている。$p(x_t|y_{0:t})$は次に述べるフィルタリングによって得られる。
3. フィルタリング
観測値$Y_{t+1}=y_{t+1}$が得られたときに、それまでの観測値$Y_{0:t}=y_{0:t}$に基づく$X_{t+1}$の一期先予測分布$p(x_{t+1}|y_{0:t})$を更新することができる。すなわち、観測値$Y_{0:t+1}=y_{0:t+1}$に基づく$X_{t+1}$の予測$p(x_{t+1}|y_{0:t+1})$を計算することができる。
まず、
\begin{align}
p(x_{t+1}|y_{0:t+1})=\frac{p(y_{t+1}|x_{t+1},y_{0:t})p(x_{t+1}|y_{0:t})}{p(y_{t+1}|y_{0:t})}\\
\end{align}
このように変形できる。さらに分子の第一因子が
\begin{align}
p(y_{t+1}|x_{t+1},y_{0:t}) &= \int p(y_{t+1},x_{0:t}|x_{t+1},y_{0:t}) dx_{0:t}\\
&=\int p(y_{t+1}|x_{0:t+1},y_{0:t})p(x_{0:t}|x_{t+1},y_{0:t})dx_{0:t}\\
&=\int p(y_{t+1}|x_{t+1})p(x_{0:t}|x_{t+1},y_{0:t})dx_{0:t}\\
&= p(y_{t+1}|x_{t+1})
\end{align}
となるので、
p(x_{t+1}|y_{0:t+1})= \frac{p(y_{t+1}|x_{t+1})p(x_{t+1}|y_{0:t})}{p(y_{t+1}|y_{0:t})}
さらにこの両辺を $x_{t+1}$ で積分すると $1$ になることから、
\begin{align}
&\int \frac{p(y_{t+1}|x_{t+1})p(x_{t+1}|y_{0:t})}{p(y_{t+1}|y_{0:t})} dx_{t+1}\\
&=\frac{\int p(y_{t+1}|x_{t+1})p(x_{t+1}|y_{0:t}) dx_{t+1}}{p(y_{t+1}|y_{0:t})} = 1\\
\\
&p(y_{t+1}|y_{0:t}) = \int p(y_{t+1}|x_{t+1})p(x_{t+1}|y_{0:t}) dx_{t+1} \tag{観測値の一期先予測分布}
\end{align}
となる。以上を整理して以下のフィルタリング公式が得られる。
p(x_{t+1}|y_{0:t+1})= \frac{p(y_{t+1}|x_{t+1})p(x_{t+1}|y_{0:t})}{\int p(y_{t+1}|x_{t+1})p(x_{t+1}|y_{0:t}) dx_{t+1}} \tag{フィルタリング}
$p(y_{t+1}|x_{t+1})$は観測モデルによって与えられている。$p(x_{t+1}|y_{0:t})$は$x$の一期先予測分布により得られる。
4.ベイズフィルタ
以上で見たように、状態の一期先予測とフィルタリングには相互関係がある。$p(x_0)$が与えられれば、これらの作業を繰り返し用いることで、$p(x_t|y_{0:t})$, $p(y_{t+1}|y_{0:t})$, $p(x_{t+1}|y_{0:t+1})$が得られるのだが、その仕組みを見ていこう。
状態の一期先予測、フィルタリング、観測の一期先予測についてまとめると以下のようになる。これをベイズフィルタの仕組みと呼ぶことにする。
\begin{align}
p(x_t|y_{0:t}) \xrightarrow{一期先予測} p(x_{t+1}|y_{0:t}) \xrightarrow{フィルタリング} p(x_{t+1}|y_{0:t+1}),p(y_{t+1}|y_{0:t})
\end{align}
よって、$p(x_0)$を与えたときに$p(x_0|y_0)$が得られるのであれば、ベイズフィルタの仕組みを用いてすべての自然数tに対して$p(x_t|y_{0:t})$, $p(y_{t+1}|y_{0:t})$, $p(x_{t+1}|y_{0:t+1})$が計算できることになる。
\begin{align}
p(x_0|y_0) &= \frac{p(y_0|x_0)p(x_0)}{p(y_0)}\\
&= \frac{p(y_0|x_0)p(x_0)}{\int p(y_0,x_0) dx_0}\\
&= \frac{p(y_0|x_0)p(x_0)}{\int p(y_0|x_0)p(x_0) dx_0}
\end{align}
が成り立つが、$p(y_0|x_0)$は観測モデルによって与えられている。よって、$p(x_0)$を与えたときに$p(x_0|y_0)$が得られるので、ベイズフィルタの仕組みを用いてすべての自然数tに対して$p(x_t|y_{0:t})$, $p(y_{t+1}|y_{0:t})$, $p(x_{t+1}|y_{0:t+1})$が計算できる。
5.長期予測
観測値 $y_{0:t}$gが得られたときに、そこから$s$期先の状態と観測地の分布を予測することができる。すなわち、$p(x_{t+s}|y_{0:t})$と$p(y_{t+s}|y_{0:t})$を計算することができる。
$s \geq 2$とする。
\begin{align}
p(x_{t+s}|y_{0:t}) &= \int p(x_{0:t+s},y_{t+1:t+s-1}|y_{0:t}) dx_{0:t+s-1}dy_{t+1:t+s-1}\\
&= \int p(x_{t+s}|x_{0:t+s-1},y_{0:t+s-1})p(x_{0:t+s-1},y_{t+1:t+s-1}|y_{0:t}) dx_{0:t+s-1}dy_{t+1:t+s-1}\\
&= \int p(x_{t+s}|x_{t+s-1})p(x_{0:t+s-1},y_{t+1:t+s-1}|y_{0:t}) dx_{0:t+s-1}dy_{t+1:t+s-1}\\
&= \int p(x_{t+s}|x_{t+s-1})p(x_{t+s-1}|y_{0:t}) dx_{t+s-1} \tag{状態のs期先予測分布} \\
\\
p(y_{t+s}|y_{0:t}) &= \int p(x_{0:t+s},y_{t+1:t+s}|y_{0:t})dx_{0:t+s}dy_{t+1:t+s}\\
&= \int p(y_{t+s}|x_{0:t+s},y_{0:t+s-1})p(x_{0:t+s},y_{t+1:t+s}|y_{0:t})dx_{0:t+s}dy_{t+1:t+s}\\
&= \int p(y_{t+s}|x_{t+s})p(x_{0:t+s},y_{t+1:t+s}|y_{0:t})dx_{0:t+s}dy_{t+1:t+s}\\
&= \int p(y_{t+s}|x_{t+s})p(x_{t+s}|y_{0:t})dx_{t+s} \tag{観測値のs期先予測分布} \\
\end{align}
以上の2式は$s \geq 2$で考えていたが、$s = 1$を代入してみると、それぞれ状態の一期先予測分布、観測値の一期先予測分布に一致することが分かる。よって状態の$s$期先予測分布と観測値の$s$期先予測分布の式は$s \geq 1$で成り立つ。
この仕組みを図に表すと以下のようになる。
\begin{align}
p(x_{t+s-1}|y_{0:t}) \rightarrow p(x_{t+s}&|y_{0:t})\\
&\downarrow\\
p(y_{t+s}&|y_{0:t})\\
\end{align}
状態の一期先予測分布は求められるので、数学的帰納法を用いて$s\geq 1$に対して状態の$s$期先予測分布が得られることになる。同時に観測値の$s$期先予測分布も得られる。
6.平滑化
今までは、観測値$Y_{0:t} = y_{0:t}$に基づいて$t$以降の時刻に対して状態や観測値の分布を予測してきた。しかしそれとは逆に、$t$以前の時刻に対して状態を予測したい場合がある。そしてそれは求めることができる。すなわち、$s\geq 1$に対して$p(x_t|y_{0:t+s})$を求めることができる。いろいろな文献を見てみたが、式(3),(4)からきちんと導出している文献が見つけられなかったが、少々計算は長くなるがきちんと示しておこう。
$t \geq 1$とする。
\begin{align}
p(x_t|y_{0:t+s}) &= \int p(x_{0:t+s}|y_{0:t+s})dx_{0:t-1}dx_{t+1:t+s}\\
&= \int \frac{p(x_{t+1:t+s},y_{t+1:t+s}|x_{0:t},y_{0:t})p(x_{0:t}|y_{0:t})}{p(y_{t+1:t+s}|y_{0:t})}dx_{0:t-1}dx_{t+1:t+s}\tag{5}\\
\end{align}
が成り立つ。まず$s \geq 1$に対して
$$
p(x_{t+1:t+s},y_{t+1:t+s}|x_{0:t},y_{0:t})=\Pi_{k=0}^{s-1}(p(y_{t+1+k}|x_{t+1+k})p(x_{t+1+k}|x_{t+k})) \tag{6}
$$
が成り立つことを証明する。
$s=1$のとき、
\begin{align}
p(x_{t+1},y_{t+1}|x_{0:t},y_{0:t}) &= p(y_{t+1}|x_{0:t+1},y_{0:t})p(x_{t+1}|x_{0:t},y_{0:t})\\
&= p(y_{t+1}|x_{t+1})p(x_{t+1}|x_{t})
\end{align}
より(6)は成り立つ。
次に、(6)が成り立つと仮定する。このとき、
\begin{align}
p(x_{t+1:t+s+1}, &y_{t+1:t+s+1}|x_{0:t},y_{0:t})\\
&= p(x_{t+s+1},y_{t+s+1}|x_{0:t+s},y_{0:t+s})p(x_{t+1:t+s},y_{t+1:t+s}|x_{0:t},y_{0:t}) \\
&= p(y_{t+s+1}|x_{0:t+s+1},y_{0:t+s})p(x_{t+s+1}|x_{0:t+s},y_{0:t+s})\Pi_{k=0}^{t+s-1}(p(y_{t+1+k}|x_{t+1+k})p(x_{t+1+k}|x_{t+k}))\\
&= p(y_{t+s+1}|x_{t+s+1})p(x_{t+s+1}|x_{t+s})\Pi_{k=0}^{s-1}(p(y_{t+1+k}|x_{t+1+k})p(x_{t+1+k}|x_{t+k}))\\
&= \Pi_{k=0}^{s}(p(y_{t+1+k}|x_{t+1+k})p(x_{t+1+k}|x_{t+k}))
\end{align}
となるので、$s \geq 1$に対して(6)は成り立つ。これにより、(5)は
\begin{align}
&\int \frac{p(x_{t+1:t+s},y_{t+1:t+s}|x_{0:t},y_{0:t})p(x_{0:t}|y_{0:t})}{p(y_{t+1:t+s}|y_{0:t})}dx_{0:t-1}dx_{t+1:t+s}\\
&= \int \frac{p(x_{0:t}|y_{0:t})\Pi_{k=0}^{s-1}(p(y_{t+1+k}|x_{t+1+k})p(x_{t+1+k}|x_{t+k}))}{p(y_{t+1:t+s}|y_{0:t})}dx_{0:t-1}dx_{t+1:t+s}\\
&= p(x_t|y_{0:t})\int \frac{\Pi_{k=0}^{s-1}(p(y_{t+1+k}|x_{t+1+k})p(x_{t+1+k}|x_{t+k}))}{p(y_{t+1:t+s}|y_{0:t})}dx_{t+1:t+s}\\
&= p(x_t|y_{0:t})\int \frac{p(x_{t+1:t+s},y_{t+1:t+s}|x_{0:t},y_{0:t})}{p(y_{t+1:t+s}|y_{0:t})}dx_{t+1:t+s}\\
&= p(x_t|y_{0:t})\frac{p(y_{t+1:t+s}|x_{0:t},y_{0:t})}{p(y_{t+1:t+s}|y_{0:t})}\\
&= p(x_t|y_{0:t})\int \frac{p(x_{t+1},y_{t+1:t+s}|x_{0:t},y_{0:t})}{p(y_{t+1:t+s}|y_{0:t})}dx_{t+1}\\
&= p(x_t|y_{0:t})\int \frac{p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})p(x_{t+1}|x_{0:t},y_{0:t})}{p(y_{t+1:t+s}|y_{0:t})}dx_{t+1}\\
&= p(x_t|y_{0:t})\int \frac{p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})p(x_{t+1}|x_{t})}{p(y_{t+1:t+s}|y_{0:t})}dx_{t+1}\\
&= p(x_t|y_{0:t})\int \frac{p(x_{0:t+1}|y_{0:t+s})p(y_{t+1:t+s}|y_{0:t})}{p(x_{0:t+1}|y_{0:t})}\frac{p(x_{t+1}|x_{t})}{p(y_{t+1:t+s}|y_{0:t})}dx_{t+1}\\
&= p(x_t|y_{0:t})\int \frac{p(x_{0:t+1}|y_{0:t+s})p(x_{t+1}|x_{t})}{p(x_{0:t+1}|y_{0:t})}dx_{t+1} \tag{7}
\end{align}
となる。さらに、
\begin{align}
\frac{p(x_{0:t+1}|y_{0:t+s})}{p(x_{0:t+1}|y_{0:t})} &= \frac{p(x_{0:t}|x_{t+1},y_{0:t+s})p(x_{t+1}|y_{0:t+s})}{p(x_{0:t}|x_{t+1},y_{0:t})p(x_{t+1}|y_{0:t})}\\
&= \frac{p(x_{0:t}|x_{t+1},y_{0:t+s})p(x_{t+1}|y_{0:t+s})}{p(x_{0:t}|x_{t+1},y_{0:t})p(x_{t+1}|y_{0:t})}\\
&=\frac{p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})p(x_{0:t}|x_{t+1},y_{0:t})}{p(y_{t+1:t+s}|x_{t+1},y_{0:t})} \frac{p(x_{t+1}|y_{0:t+s})}{p(x_{0:t}|x_{t+1},y_{0:t})p(x_{t+1}|y_{0:t})}\\
&= \frac{p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})}{p(y_{t+1:t+s}|x_{t+1},y_{0:t})} \frac{p(x_{t+1}|y_{0:t+s})}{p(x_{t+1}|y_{0:t})} \tag{8}\\
\end{align}
となる。次に$s \geq 1$に対して
$$
p(y_{t+1:t+s}|x_{0:t+1},y_{0:t}) = p(y_{t+1:t+s}|x_{t+1},y_{0:t}) \tag{9}
$$
が成り立つことを示すが、そのためには同時に一つ別の等式(10)が成立することを示す必要がある。よって
\begin{align}
&p(y_{t+1:t+s}|x_{0:t+1},y_{0:t}) = p(y_{t+1:t+s}|x_{t+1},y_{0:t}) \tag{9}\\
&p(x_{t+s+1}|x_{0:t+1},y_{0:t+s}) = p(x_{t+s+1}|x_{t+1},y_{0:t+s}) \tag{10}
\end{align}
が$s \geq 1$に対して成り立つことを示す。
$s = 1$のとき、
\begin{align}
p(y_{t+1}|x_{0:t+1},y_{0:t}) &= p(y_{t+1}|x_{t+1})\int p(x_{0:t}|y_{0:t})dx_{0:t}\\
&= \int p(y_{t+1}|x_{t+1}) p(x_{0:t}|x_{t+1},y_{0:t})dx_{0:t}\\
&= \int p(y_{t+1}|x_{0:t+1},y_{0:t}) p(x_{0:t}|x_{t+1},y_{0:t})dx_{0:t}\\
&= \int p(y_{t+1},x_{0:t}|x_{t+1},y_{0:t}) dx_{0:t}\\
&= p(y_{t+1}|x_{t+1},y_{0:t}) \\
\\
p(x_{t+2}|x_{0:t+1},y_{0:t+1}) &= p(x_{t+2}|x_{t+1})\int p(x_{0:t}|x_{t+1},y_{0:t+1})dx_{0:t}\\
&= \int p(x_{t+2}|x_{t+1})p(x_{0:t}|x_{t+1},y_{0:t+1})dx_{0:t}\\
&= \int p(x_{t+2}|x_{0:t+1},y_{0:t+1}) p(x_{0:t}|x_{t+1},y_{0:t+1})dx_{0:t}\\
&= \int p(x_{t+2},x_{0:t}|x_{t+1},y_{0:t+1}) dx_{0:t}\\
&= p(x_{t+2}|x_{t+1},y_{0:t+1})\\
\end{align}
となるので(9), (10)は成り立つ。
(9),(10)が成り立つと仮定する。
\begin{align}
p(y_{t+1:t+s+1}&|x_{0:t+1},y_{0:t}) \\
\\
&= p(y_{t+s+1}|x_{0:t+1},y_{0:t+s})p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= \int p(y_{t+s+1}|x_{0:t+s+1},y_{0:t+s})p(x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s})dx_{t+2:t+s+1} \times p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s})dx_{t+2:t+s+1} \times p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{t+s+1}|x_{0:t+1},y_{0:t+s})dx_{t+s+1} \times p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{t+s+1}|x_{t+1},y_{0:t+s})dx_{t+s+1} \times p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{0:t},x_{t+2:t+s+1}|x_{t+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s+1} \times p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= \int p(y_{t+s+1}|x_{0:t+s+1},y_{0:t+s})p(x_{0:t},x_{t+2:t+s+1}|x_{t+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s+1} \times p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= \int p(y_{t+s+1},x_{0:t},x_{t+2:t+s+1}|x_{t+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s+1} \times p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
&= p(y_{t+s+1}|x_{t+1},y_{0:t+s})p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})\\
\\
&= p(y_{t+1:t+s+1}|x_{t+1},y_{0:t})
\end{align}
となる。途中で仮定(9),(10)を用いている。
次に、
\begin{align}
p(x_{t+s+2}&|x_{0:t+1},y_{0:t+s+1}) \\
&= \int p(x_{t+s+2}|x_{0:t+s+1},y_{0:t+s+1})p(x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s+1})dx_{t+2:t+s+1}\\
&= \int p(x_{t+s+2}|x_{t+s+1})p(x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s+1})dx_{t+2:t+s+1}\\
&= \int p(x_{t+s+2}|x_{t+s+1})p(x_{t+s+1}|x_{0:t+1},y_{0:t+s+1})dx_{t+s+1}\tag{11}\\
\end{align}
となるが、こ↑こ↓で$p(x_{t+s+2}|x_{t+s+1})=p(x_{t+s+2}|x_{t+1},x_{t+s+1},y_{0:t+s+1})\tag{12}$を示す。
$s=1$のとき、
\begin{align}
p(x_{t+3}|x_{t+2}) &= \int p(x_{t+3}|x_{t+2})p(x_{0:t}|x_{t+1:t+2},y_{0:t+2})dx_{0:t}\\
&= \int p(x_{t+3}|x_{0:t+2},y_{0:t+2})p(x_{0:t}|x_{t+1:t+2},y_{0:t+2})dx_{0:t}\\
&= \int p(x_{0:t},x_{t+3}|x_{t+1:t+2},y_{0:t+2})dx_{0:t}\\
&= p(x_{t+3}|x_{t+1:t+2},y_{0:t+2})
\end{align}
となるので(12)は成り立つ。
$s \geq 2$のとき、
\begin{align}
p(x_{t+s+2}|x_{t+s+1}) &= \int p(x_{t+s+2}|x_{t+s+1})p(x_{0:t},x_{t+2:t+s}|x_{t+1},x_{t+s+1},y_{0:t+s+1})dx_{0:t}dx_{t+2:t+s}\\
&= \int p(x_{t+s+2}|x_{0:t+s+1},y_{0:t+s+1})p(x_{0:t},x_{t+2:t+s}|x_{t+1},x_{t+s+1},y_{0:t+s+1})dx_{0:t}dx_{t+2:t+s}\\
&= \int p(x_{0:t},x_{t+2:t+s},x_{t+s+2}|x_t, x_{t+s+1},y_{0:t+s+1})dx_{0:t}dx_{t+2:t+s}\\
&= p(x_{t+s+2}|x_t, x_{t+s+1},y_{0:t+s+1})
\end{align}
となるので、この場合も(12)は成り立つ。よって$s \geq 1$に対して(12)は成り立つ。
したがって(11)は、
\begin{align}
&\int p(x_{t+s+2}|x_{t+s+1})p(x_{t+s+1}|x_{0:t+1},y_{0:t+s+1})dx_{t+s+1}\\
&= \int p(x_{t+s+2}|x_{t+1},x_{t+s+1},y_{0:t+s+1})p(x_{t+s+1}|x_{0:t+1},y_{0:t+s+1})dx_{t+s+1}\\
&= \int p(x_{t+s+2}|x_{t+1},x_{t+s+1},y_{0:t+s+1})\frac{p(y_{t+s+1}|x_{t+s+1},x_{0:t+1},y_{0:t+s})p(x_{t+s+1}|x_{0:t+1},y_{0:t+s})}{p(y_{t+s+1}|x_{0:t+1},y_{0:t+s})}dx_{t+s+1}\\
&= \int p(x_{t+s+2}|x_{t+1},x_{t+s+1},y_{0:t+s+1})\frac{p(y_{t+s+1}|x_{t+s+1},x_{0:t+1},y_{0:t+s})p(x_{t+s+1}|x_{t+1},y_{0:t+s})}{p(y_{t+s+1}|x_{0:t+1},y_{0:t+s})}dx_{t+s+1} \tag{13}\\
\end{align}
となる。
$$
p(y_{t+s+1}|x_{t+s+1},x_{0:t+1},y_{0:t+s}) = p(y_{t+s+1}|x_{t+s+1},x_{t+1},y_{0:t+s}) \tag{14}
$$
を示す。
$s = 1$のとき、
\begin{align}
&p(y_{t+2}|x_{t+2},x_{0:t+1},y_{0:t+1})\\
&=p(y_{t+2}|x_{t+2},y_{0:t+1})\\
&=\int p(y_{t+2}|x_{t+2},y_{0:t+1})p(x_{0:t}|x_{t+1:t+2},y_{0:t+1})dx_{0:t}\\
&=\int p(y_{t+2}|x_{0:t+2},y_{0:t+1})p(x_{0:t}|x_{t+1:t+2},y_{0:t+1})dx_{0:t}\\
&=\int p(y_{t+2},x_{0:t}|x_{t+1:t+2},y_{0:t+1})dx_{0:t}\\
&= p(y_{t+2}|x_{t+1:t+2},y_{0:t+1})
\end{align}
となり式(14)は成り立つ。
$s \geq 2$のとき、
\begin{align}
&p(y_{t+s+1}|x_{t+s+1},x_{0:t+1},y_{0:t+s})\\
&= \int p(y_{t+s+1}|x_{0:t+s+1},y_{0:t+s})p(x_{t+2:t+s}|x_{0:t+1},x_{t+s+1},y_{0:t+s})dx_{t+2:t+s}\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{t+2:t+s}|x_{0:t+1},x_{t+s+1},y_{0:t+s})dx_{t+2:t+s}\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{0:t},x_{t+2:t+s}|x_{t+1},x_{t+s+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s}\\
&= \int p(y_{t+s+1},x_{0:t},x_{t+2:t+s}|x_{t+s+1},x_{t+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s}\\
&= p(y_{t+s+1}|x_{t+s+1},x_{t+1},y_{0:t+s})
\end{align}
となる。よって、$s \geq 1$に対して式(14)は成り立つ。
さらに
$$
p(y_{t+s+1}|x_{0:t+1},y_{0:t+s}) = p(y_{t+s+1}|x_{t+1},y_{0:t+s}) \tag{15}
$$
を示す。
\begin{align}
&p(y_{t+s+1}|x_{0:t+1},y_{0:t+s})\\
&= \int p(y_{t+s+1},x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s})dx_{t+2:t+s+1}\\
&= \int p(y_{t+s+1}|x_{0:t+s+1},y_{0:t+s})p(x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s})dx_{t+2:t+s+1}\\
&= \int p(y_{t+s+1}|x_{0:t+s+1},y_{0:t+s})p(x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s})dx_{t+2:t+s+1}\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{t+2:t+s+1}|x_{0:t+1},y_{0:t+s})dx_{t+2:t+s+1}\\
&= \int p(y_{t+s+1}|x_{t+s+1})p(x_{0:t},x_{t+2:t+s+1}|x_{t+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s+1}\\
&= \int p(y_{t+s+1}|x_{0:t+s+1},y_{0:t+s})p(x_{0:t},x_{t+2:t+s+1}|x_{t+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s+1}\\
&= \int p(y_{t+s+1},x_{0:t},x_{t+2:t+s+1}|x_{t+1},y_{0:t+s})dx_{0:t}dx_{t+2:t+s+1}\\
&= p(y_{t+s+1}|x_{t+1},y_{0:t+s})\\
\end{align}
式(14),(15)を用いると式(13)は
\begin{align}
\int &p(x_{t+s+2}|x_{t+1},x_{t+s+1},y_{0:t+s+1})\frac{p(y_{t+s+1}|x_{t+s+1},x_{0:t+1},y_{0:t+s})p(x_{t+s+1}|x_{t+1},y_{0:t+s})}{p(y_{t+s+1}|x_{0:t+1},y_{0:t+s})}dx_{t+s+1}\\
&=\int p(x_{t+s+2}|x_{t+1},x_{t+s+1},y_{0:t+s+1})\frac{p(y_{t+s+1}|x_{t+s+1},x_{t+1},y_{0:t+s})p(x_{t+s+1}|x_{t+1},y_{0:t+s})}{p(y_{t+s+1}|x_{t+1},y_{0:t+s})}dx_{t+s+1}\\
&=\int p(x_{t+s+2}|x_{t+1},x_{t+s+1},y_{0:t+s+1})\frac{p(y_{t+s+1},x_{t+s+1}|x_{t+1},y_{0:t+s})}{p(y_{t+s+1}|x_{t+1},y_{0:t+s})}dx_{t+s+1}\\
&=\int \frac{p(x_{t+s+2},y_{t+s+1},x_{t+s+1}|x_{t+1},y_{0:t+s})}{p(y_{t+s+1}|x_{t+1},y_{0:t+s})}dx_{t+s+1}\\
&= \frac{p(x_{t+s+2},y_{t+s+1}|x_{t+1},y_{0:t+s})}{p(y_{t+s+1}|x_{t+1},y_{0:t+s})}\\
&= p(x_{t+s+2}|x_{t+1},y_{0:t+s+1})
\end{align}
よって、
$$
p(x_{t+s+2}|x_{0:t+1},y_{0:t+s+1}) = p(x_{t+s+2}|x_{t+1},y_{0:t+s+1})
$$
となった。以上より$s \geq 1$に対して式(9),(10)が成り立つ。
したがって、式(9)より、式(8)は
\begin{align}
&\frac{p(y_{t+1:t+s}|x_{0:t+1},y_{0:t})}{p(y_{t+1:t+s}|x_{t+1},y_{0:t})} \frac{p(x_{t+1}|y_{0:t+s})}{p(x_{t+1}|y_{0:t})}\\
&= \frac{p(x_{t+1}|y_{0:t+s})}{p(x_{t+1}|y_{0:t})}
\end{align}
となる。これにより式(7)は
\begin{align}
&p(x_t|y_{0:t})\int \frac{p(x_{0:t+1}|y_{0:t+s})p(x_{t+1}|x_{t})}{p(x_{0:t+1}|y_{0:t})}dx_{t+1} \\
&= p(x_t|y_{0:t})\int \frac{p(x_{t+1}|y_{0:t+s})p(x_{t+1}|x_{t})}{p(x_{t+1}|y_{0:t})}dx_{t+1}
\end{align}
となる。したがって以下の平滑化の公式が得られる。
p(x_t|y_{0:t+s}) = p(x_t|y_{0:t})\int \frac{p(x_{t+1}|y_{0:t+s})p(x_{t+1}|x_{t})}{p(x_{t+1}|y_{0:t})}dx_{t+1} \tag{平滑化}
表記の関係で$t=0$の場合を除外していたが、これは$t=0$でも成り立つ。もうめんどくさいから$t=0$でも成り立つことの"証明は読者にゆだねる"。$\leftarrow$難しい数学の本の難しい定理の証明がこのように読者にゆだねられてしまうため困惑。今回扱ったようなものははっきり言って高校生レベル。しかし筆者はその高校生レベルの数学すらも怪しいのである。御免。
7.戯言
終わり！！
なんか質問とか文句とかあったらコメントよろ～
やる気あんのか？ってなｗｗ
ねえよんなもん。
んじゃ、またな～
あと、受験生の皆さん、センター試験間近ですね！いろいろ大変な年ですけど、頑張ってください！皆さんが実力を十分に発揮し、結果にかかわらず達成感あふれるものとなるよう祈っています。
では昨年を生きながらえた罰として今日も自分に百敲き