確率過程

　各 $t \in (0, \infty)$ に対して, 確率変数 $X$ が与えられたとき, その族 $X = (X_t)_{t \geq 0}$ を確率過程という. $t$ が実数値のように連続値のとき, とくに $X$ を確率過程という. $t$ が離散値のとき, $X$ を時系列という.

　確率過程 $X = (X_t)_{t0}$ が与えられたとき, その実現値の集合 $(x_t)_{t \geq 0}$ と書くと, $t$ の関数が描かれる. これを $X$ のパスとぃう.

独立定常増分

確率過程 $X = (X_t)_{t \geq 0}$ が以下の(1),(2)を満たすとき, $X$ を独立定常増分という.

(1)任意の $0 = t_0 < t_1 < ... < t_{n-1} < t_n$ に対して, $X_{t0}, X_{t1} - X_{t0}, ...., X_{tn} - X_{t(n-1)}$ は互いに独立である(独立増分性).

(2)任意の $0 \geq t < t+h$ に対して, $X_{t+h} - X_t$ の分布は $X_{h} - X_0$ の分布と同じである(定常増分性).

(1)から, 増分の仕方は独立である. (2)から, ラグ $h$ が一定なら増加の分布は同じであるという仮定であると分かる.

ブラウン運動

$B_0 = 0$ なる確率過程 $B = (B_t)_{t \geq 0}$ が以下の性質を満たすとき, $B$ をブラウン運動という.

(1)$B$ は独立定常増分である.
(2)各 $t \geq 0$ に対して, $B_t \sim N(\mu t, \sigma^2 t)$
(3)$B$ のパスは連続である.

特に, (2)において, $\mu = 0, \sigma^2 = 1$ となるものを標準ブラウン運動またはウィナー運動という.

ブラウン運動のパラメータ推定

　$B_t \sim N(\mu t, \sigma^2 t)$ なるブラウン運動のパスを, 時間間隔 $\Delta > 0$ で観測し, データ $B_{0}, B_{\Delta}, B_{2\Delta}, ...., B_{n\Delta}$ を得たとして, $\mu, \sigma^2$ を推定する.

　独立定常増分によって, $Z_k = B_{k\Delta} - B_{(k-1)\Delta} \sim N(\mu \Delta, \sigma^2 \Delta)$ らは独立であるから, $Z_k$ に対する最尤法を考える.
対数尤度関数 $l(\mu, \sigma^2)$ は,

\begin{align}
l(\mu, \sigma^2) &= \log \prod_{k=1}^{n} P(Z_k) \\
&= \log \prod_{k=1}^{n} \frac {1} {\sqrt{2\pi \sigma^2 \Delta}} \exp (- \frac {(Z_k - \mu \Delta)^2} {2\sigma^2 \Delta}) \\
&= - \frac {1} {2} \sum_{i=1}^{n} \frac {(Z_k - \mu \Delta)^2} {2\sigma^2 \Delta} - \frac {n} {2} \log (2\pi \sigma^2 \Delta) \\
\end{align}

これを最大化する $\mu, \sigma^2$ は,

\begin{align}
\hat{\mu}\Delta &= \frac {1} {n} \sum_{i=1}^{n} Z_k \\
\hat{\sigma^2}\Delta &= \frac {1} {n} \sum_{i=1}^{n} Z_k^2 - (\frac {1} {n} \sum_{i=1}^{n} Z_k)^2
\end{align}

ポアソン過程

　各 $t$ で自然数値をとるような確率過程 $N = (N_t)_{t \geq 0}$ を考え, $N_0 = 0$ とする. この $N$ が以下の(1),(2)を満たすとき, 強度 $\lambda$ のポアソン過程という.

(1)$N$ は独立定常増分過程である.

(2)任意の $t \geq 0$ に対して $N_t$ は強度 $\lambda t$ のポアソン分布に従う.
すなわち,

$$
P(N_t = k) = e^{-\lambda t} \frac {(\lambda t)^k} {k!}
$$

ポアソン過程は, 自然数値しかとらない階段型のパスをもち, 応用上は何らかイベントの回数を表すモデルとして用いられる.

計数過程としての表現

正値確率変数列 $T = (T_k)_{k=1,2,...}$ が, 自然数 $k$ に対して $T_k < T_{k+1}$ を満たすとし, $T_0 = 0$ とする. これを用いて確率過程 $N$ を

$$
N_t = \sum_{k=1}^{\infty} I(T_k \leq t)
$$

と定める. ただし, $I(A)$ はイベント $A$ が起こったとき 1, 起こらなければ 0 をとる定義関数である. このような $N$ を, $T$ から定まる $N$ の計数過程または点過程という.

　ある繰り返し起こるイベントに対して $n$ 番目の発生時刻を $T_n$ とみれば, $N_t$ は時刻 $t$ までに起こるイベントの回数を表す確率過程とみなせる.

$$
W_k = T_k - T_{k-1}
$$

とすると, $W = (W_k)_{k=1,2,...}$ はイベントの発生間隔であり, このとき特に, $W$ が独立に $W_n \sim Exp(\lambda)$ に従うとすると $N$ がポアソン過程になることが知られている.

ポアソン過程のパラメータ推定

2 種類のデータを考える.

(1)イベントの起こった時刻 $T_1,T_2,...,T_n$ を観測する.
(2)時間間隔 $\Delta > 0$ によって, データ $N_0, N_{\Delta},...,N_{n\Delta}$ を観測する.

(1)ではイベントの正確な時刻が観測されるのに対し, (2)ではイベントのイベントの正確な時刻は観測されず, 疎の回数しか分からない.

(1)の場合の推定
$W_k = T_k - T_{k-1}$ として, データを $W_1,W_2,...,W_n$ に変換すれば, これらは $Exp(\lambda)$ に従う. したがって, 対数尤度関数 $l(\lambda)$ とすると,

$$
l(\lambda) = \sum_{k=1}^{n} \log \lambda e^{-\lambda W_k} = n \log \lambda - \lambda \sum_{k=1}^{n} W_k
$$

よって, 最尤推定量は,

$$
\hat{\lambda} = (\frac {1} {n} \sum_{k=1}^{n} W_k)^{-1} = \frac {n} {T_n}, T_n = \sum_{k=1}^{n} W_k
$$

(2)の場合の推定
イベント発生の正確な時刻が分からないので, イベントの回数を表す確率過程 $N_t$ から推定する. $M_k = N_{k\Delta} - N_{(k-1)\Delta}$ として, データを $M_1,M_2,...,M_n$ とすると独立定常増分より, これらは独立に $Po(\lambda \Delta)$ に従う.

$$
Po(\lambda \Delta) = e^{-\lambda \Delta} \frac {(\lambda \Delta)^{M_k}} {M_k!}
$$

よって, 対数尤度関数 $l(\lambda)$ は,

$$
l(\lambda) = -\lambda n \Delta + \sum_{k=1}^{n} M_k \log (\lambda \Delta) - \sum_{k=1}^{n} \log (M_k!)
$$

最尤推定量は,

$$
\hat{\lambda} = \frac {1} {n\Delta} \sum_{k=1}^{n} M_k = \frac {N_{n\Delta}} {n\Delta}, N_{n\Delta} = \sum_{k=1}^{n} M_k
$$

推定量はいずれも, $\hat{\lambda} = \frac {(イベントの総回数)} {(観測時間)}$ の形になっている.

複合ポアソン過程

次のような確率過程を考える.

$$
X_t = \sum_{k=1}^{N_t} U_k
$$

ただし, $N$ はポアソン過程で, $U_k$ は互いに独立に同一の分布に従う確率変数で, $N$ とも独立とする. このような確率過程 $X = (X_t)_{t \geq 0}$ は複合ポアソン過程という. 特に $U_k = 1$ ならば $X$ はポアソン過程である.
　複合ポアソン過程は, $N_k$ が第 $k$ 回目のイベント発生回数なので, 第 $k$ 回目のイベント発生に対する何らかの量 $U_k$ の累積和を表すモデルである.

例2

\begin{align}
E[X_t] &= E[E[X_t|N_t]] (繰り返し期待値の法則)\\
&= E[E[\sum_{k=1}^{N_t} U_k|N_t]] \\
&= E[\sum_{k=1}^{N_t} E[U_k|N_t]] (U_kは互いに独立) \\
&= E[\sum_{k=1}^{N_t} E[U_k]] (U_k,N_tは独立) \\
&= E[\mu N_t] (E[U_k] = \mu) \\
&= \mu E[N_t] \\
&= \lambda \mu t (E[N_t] = \lambda t)
\end{align}

\begin{align}
E[X_t^2] &= E[E[X_t^2|N_t]] (繰り返し期待値の法則)\\
&= E[E[(\sum_{k=1}^{N_t} U_k)^2|N_t]] \\
&= E[E[\sum_{k=1}^{N_t} U_k^2 + 2\sum_{j>i} U_i U_j |N_t]] ((a_1 + ... + a_n)^2の展開公式)　\\
\end{align}

ここで、中にある期待値を考える.

\begin{align}
E[\sum_{k=1}^{N_t} U_k^2 + 2\sum_{j>i} U_i U_j] &= E[U_1^2] + ... + E[U_{N_t}^2] + 2 \frac {N_t (N_t - 1)} {2} E[U_i U_j]
\end{align}

ここで,

\begin{align}
E[U_k^2] &= V[U_k^2] + E[U_k]^2 \\
&= \sigma^2 + \mu^2
\end{align}

\begin{align}
E[U_i U_j] &= E[U_i]E[U_j] (U_i,U_Jは独立) \\
&= \mu^2
\end{align}

よって,

\begin{align}
E[\sum_{k=1}^{N_t} U_k^2 + 2\sum_{j>i} U_i U_j] &= (\sigma^2 + \mu^2) + \mu^2 N_t (N_t - 1)
\end{align}

したがって,

\begin{align}
E[X_t^2] &= E[E[\sum_{k=1}^{N_t} U_k^2 + 2\sum_{j>i} U_i U_j |N_t]] \\
&= E[(\sigma^2 + \mu^2) + \mu^2 N_t (N_t - 1)] \\
&= \sigma^2 E[N_t] + \mu^2 E[N_t^2] \\
&=  \sigma^2 \lambda t + \mu^2 (\lambda t + (\lambda t)^2) 
\end{align}

これより,

\begin{align}
V[X_t^2] &= E[X_t^2] - E[X_t]^2 \\
&= \lambda t(\mu^2 + \sigma^2)
\end{align}