はじめに

ARIMAモデルは，メジャーな時系列モデルであるにも関わらず，モデル式を数式で説明している日本語の文献は少ない．
多くの文献では，ARモデルやMAモデル，ARMAモデルまでの説明はあるが，ARIMAモデルになると途端に説明が少なくなる．
SARIMAモデルになるとさらに少なくなる．Wikipediaですら，ARMAモデルまでは詳しく書いてあるが，ARIMAモデルから説明が少なくなる．
詳しい導出はどこかの本に書いているのかしれないが，インターネットで検索する範囲では簡単には見つからなかった．
インターネットで公開されているブログ記事では誤った情報も散見された．
英語の論文や海外の大学の講義資料などに断片的な情報はあるが，「これだけ見れば良い」という文献はあまりなかった．
そこで，この分野は全くの素人ではあるが，自分で導出してみることにした．（私も間違えた情報を書いているかもしれない．）
もし有用な本や記事があれば頂きたく思います．また，記事の査読や誤植などに対するコメントを頂ければ幸いです．

続編（SARIMAモデルを導出したい）を書きました．

結論

たくさん予防線を張ったところで，結論を書く．
この記事のゴールは，ある時刻$t$の時系列データ$y_t$を，過去の時系列データ$y_{t-1}, y_{t-2}, \cdots, y_{t-N}$を用いて書くことである．
結論として，ARIMA$(p,d,q)$モデルは以下の式で書ける．（自分で導出したので，あっている確証はない．）

\begin{eqnarray}
    y_{t} = \sum_{i=1}^p \phi_i y_{t-i} - \sum_{k=1}^d (-1)^{k} \binom dk y_{t-k} + \sum_{i=1}^p \sum_{k=1}^d (-1)^{k} \binom dk \phi_i y_{t-i-k} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

【追記】以下のようにシンプルにできるとコメントを頂きました（ありがとうございます）

\begin{eqnarray}
    y_{t} = \sum_{i=1}^p \sum_{k=0}^d (-1)^{k} \binom dk \phi_i y_{t-i-k} - \sum_{k=1}^d (-1)^{k} \binom dk y_{t-k} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t} 
\end{eqnarray}

この記事では一貫して，ベースライン$c=0$とする．
導出してみて分かったが，なぜARIMAモデルの説明が少ないか考えてみると，説明が面倒だからだと思われる．
あとで記載するオペレータを用いた形式であれば，教科書などの紙面を抑えることができるので，わざわざ$y_t = ...$の形式で書く必要もないのだろう．
この式の説明をするためには，ARモデルから順に説明する必要がある．

ARモデル

AR$(p)$の式を以下に示す．

\begin{eqnarray}
y_{t} = \sum_{i=1}^{p} \phi_{i} y_{t-i} + \varepsilon_{t}
\end{eqnarray}

ここで，$p$はorder，$\phi_i$はARモデルを決めるパラメータ，$\varepsilon_{t}$は$y_{t}$に依存しないノイズとする．例えば，平均0，分散1の正規分布を用いる．

MAモデル

MA$(q)$の式を以下に示す．

\begin{eqnarray}
y_{t} = \varepsilon_{t} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i}
\end{eqnarray}

ここで，$q$はorder，$\theta_i$はMAモデルを決めるパラメータとする．
この記事では，$\theta_i > 0$とするため，$(-\theta_{i})$で記載しているが，$\theta_i < 0$とするならば，$(\theta_{i})$で書ける．

ARMAモデル

ARMA$(p,q)$の式を以下に示す．

\begin{eqnarray}
	y_{t} = \sum_{i=1}^{p} \phi_{i} y_{t-i} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

ARIMAモデル

ARIMA$(p,d,q)$モデルの式は，ARMA$(p,q)$と$y_{t}$の差分を用いて定義できる．

\begin{eqnarray}
	y^{(d)}_{t} = \sum_{i=1}^{p} \phi_{i} y^{(d)}_{t-i} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

ここで，$d$次の$y_{t}$の差分を以下で定義する．

\begin{eqnarray}
	y^{(d)}_{t} := y^{(d-1)}_{t} - y^{(d-1)}_{t-1}
\end{eqnarray}

1次と2次の差分を以下で定義する．

\begin{eqnarray}
	y^{(1)}_{t} &:=& y_{t} - y_{t-1} \\
	y^{(2)}_{t} &:=& y^{(1)}_{t} - y^{(1)}_{t-1} = (y_{t} - y_{t-1}) - (y_{t-1} - y_{t-2}) = y_{t} - 2y_{t-1} + y_{t-2}
\end{eqnarray}

ここで$d$次の差分が以下で書けることに瞬時に気づけば，ARIMAモデルの導出は問題ない（無理）

\begin{eqnarray}
	y^{(d)}_{t} = \sum_{k=0}^d \binom dk (-1)^k y_{t-k} 
\end{eqnarray}

これを用いれば，代入して整理すればよい．

\begin{eqnarray}
	\sum_{k=0}^d \binom dk (-1)^k y_{t-k} = \sum_{i=1}^{p} \phi_{i} \sum_{k=0}^d \binom dk (-1)^k y_{t-i-k} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

ただし，問題は両辺に$y_{t-k}$に関する項が出てくるので，式変形が大変．
便利な略式記号（作用素・オペレータなどと呼ばれる）を定義することで，式変形を簡単にできる（ただし簡単とは言っていない）

後退オペレータ (Backshift operator)

Backward shift operator $B$を定義する（別名 Lag operator $L$）

\begin{eqnarray}
	B y_{t} &:=& y_{t-1} \\
	B^k y_{t} &:=& y_{t-k}
\end{eqnarray}

このオペレータを使用すると，差分を以下のように書ける．

\begin{eqnarray}
	y^{(1)}_{t} &=& y_{t} - y_{t-1} = y_{t} - B y_{t} = (1-B) y_{t} \\
	y^{(2)}_{t} &=& y_{t} - 2y_{t-1} + y_{t-2} = (1 - 2B + B^2) y_{t} = (1 - B)^2 y_{t}
\end{eqnarray}

$n$次の差分が以下で書ける（証明略）

\begin{eqnarray}
	y^{(n)}_{t} = (1 - B)^n y_{t}
\end{eqnarray}

以下のような書き方ができる．

\begin{eqnarray}
	(1 - B)(1 - B^m) y_{t} &=& (1 - B - B^m + B^{m+1}) y_{t} \\
         &=& y_{t} - y_{t-1} - y_{t-m} + y_{t-m-1}
\end{eqnarray}

差分作用素 (Difference operator)

もう一つオペレータを定義する．
差分作用素$\nabla$を以下のように定義する．

\begin{eqnarray}
    \nabla y_t &:=& y_t - y_{t-1} \\
    \nabla^n y_t &:=& y^{(n)}_{t} = y^{(n-1)}_{t} - y^{(n-1)}_{t-1}
\end{eqnarray}

差分作用素$\nabla$は後退オペレータ$B$で書ける．

\begin{eqnarray}
    \nabla y_t &=& y_t - y_{t-1} = (1 - B) y_t
\end{eqnarray}

二項定理の展開式を示す．

\begin{eqnarray}
    (x+y)^n = \sum_{k=0}^n \binom nk x^{n-k}y^k \\
    (1-B)^n = \sum_{k=0}^n \binom nk (-B)^k
\end{eqnarray}

展開式を用いて，差分作用素を式変形する．

\begin{eqnarray}
	\nabla^n y_t = (1 - B)^n y_{t} = \left\{ \sum_{k=0}^n \binom nk (-B)^k \right\} y_t = \sum_{k=0}^n \binom nk (-1)^k y_{t-k}
\end{eqnarray}

オペレータ形式のARMAモデル

オペレータでARMAモデルを書き直してみる．
オペレータを用いるとモデル式が簡単に書けることを示す．

ARモデル

AR$(p)$の式を再掲する．

\begin{eqnarray}
	y_{t} = \sum_{i=1}^{p} \phi_{i} y_{t-i} + \varepsilon_{t}
\end{eqnarray}

AR$(p)$ operator を以下で定義する．

\begin{eqnarray}
	\phi_p (B) := 1 - \phi_1 B - \phi_2 B^2 - \cdots - \phi_p B^p 
\end{eqnarray}

オペレータに$y_t$を作用させる．

\begin{eqnarray}
	\phi_p (B) y_{t} &=& y_{t} - \phi_1 y_{t-1} - \phi_2 y_{t-2} - \cdots - \phi_p y_{t-p} \\
	&=& y_{t} - \sum_{i=1}^{p} \phi_{i} y_{t-i} \\
	&=& \varepsilon_{t}
\end{eqnarray}

ARモデルはAR$(p)$ operator を用いて以下の式で書ける．

\begin{eqnarray}
	\phi_p (B) y_{t} = \varepsilon_{t}
\end{eqnarray}

MAモデル

MA$(q)$の式を再掲する．

\begin{eqnarray}
	y_{t} = \varepsilon_{t} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i}
\end{eqnarray}

MA$(q)$ operator を以下で定義する．

\begin{eqnarray}
	\theta_q (B) := 1 - \theta_1 B - \theta_2 B^2 - \cdots - \theta_q B^q
\end{eqnarray}

オペレータに$\varepsilon_t$を作用させる．

\begin{eqnarray}
	\theta_q (B) \varepsilon_{t} &=& \varepsilon_{t} - \theta_1 \varepsilon_{t-1} - \theta_2 \varepsilon_{t-2} - \cdots - \theta_p \varepsilon_{t-p} \\
	&=& \varepsilon_{t} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} \\
	&=& y_{t}
\end{eqnarray}

MAモデルはMA$(q)$ operator を用いて以下の式で書ける．

\begin{eqnarray}
    y_{t} = \theta_q (B) \varepsilon_{t}
\end{eqnarray}

ARMAモデル

ARMA$(p,q)$の式を再掲する．

\begin{eqnarray}
	y_{t} = \sum_{i=1}^{p} \phi_{i} y_{t-i} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

ARMAモデルは operator を用いて以下の式で書ける．

\begin{eqnarray}
    y_{t} = \left\{ y_{t} - \phi_p (B) y_{t} \right\} + \theta_q (B) \varepsilon_{t} \; \Leftrightarrow \; \phi_p (B) y_{t} = \theta_q (B) \varepsilon_{t}
\end{eqnarray}

準備

後で使う式変形を一般的な形式で書く．
2つのオペレータを定義する．

\begin{eqnarray}
	a_N (B) &=& 1 - a_1 B - a_2 B^2 - \cdots - a_N B^N \\
	b_M (B) &=& 1 - b_1 B - b_2 B^2 - \cdots - b_M B^M
\end{eqnarray}

ここで，$a_0 = -1$，$b_0 = -1$とすると，以下のように書ける．

\begin{eqnarray}
    a_N (B) &=& 1 - \sum_{i=1}^N a_i B^i = \sum_{i=0}^N (-a_i) B^i \\
    b_M (B) &=& 1 - \sum_{j=1}^M b_j B^j = \sum_{j=0}^M (-b_j) B^j 
\end{eqnarray}

2つのオペレータの積は以下のように書ける．

\begin{eqnarray}
    a_N (B) b_M (B) = \sum_{i=0}^N \sum_{j=0}^M (-a_i) (-b_j) B^{i+j} = \sum_{i=0}^N \sum_{j=0}^M a_i b_j B^{i+j} 
\end{eqnarray}

和のスタートを変える式変更を示す（後で使う）

\begin{eqnarray}
    a_N (B) b_M (B) &=& \sum_{i=0}^N \sum_{j=0}^M (-a_i) (-b_j) B^{i+j} \\
    &=& (-a_0) (-b_0) + \sum_{i=1}^N (-a_i) (-b_0) B^{i} + \sum_{j=1}^M (-a_0) (-b_j) B^{j} \\
    &+& \sum_{i=1}^N \sum_{j=1}^M (-a_i) (-b_j) B^{i+j} \\
    &=& 1 + \sum_{i=1}^N (-a_i) B^{i} + \sum_{j=1}^M (-b_j) B^{j} + \sum_{i=1}^N \sum_{j=1}^M (-a_i) (-b_j) B^{i+j} 
\end{eqnarray}

$(-a_i)$のまま計算した理由は，係数の関係を分かりやすくするためである．
オペレータ$\alpha_N (B)$，$\beta_M (B)$と関数$f(\cdot)$，$g(\cdot)$に対して，オペレータの積が以下のように書ける．（予想）

\begin{eqnarray}
    \alpha_N (B) &=& \sum_{i=0}^N f(\alpha_i) B^i \\
    \beta_M (B) &=& \sum_{j=0}^M g(\beta_j) B^j \\
    \alpha_N (B) \beta_M (B) &=& \sum_{i=0}^N \sum_{j=0}^M f(\alpha_i) g(\beta_j) B^{i+j}
\end{eqnarray}

ARIMAモデルの式を導出する

ARIMA$(p,d,q)$モデルの途中式を再掲する．

\begin{eqnarray}
	y^{(d)}_{t} = \sum_{i=1}^{p} \phi_{i} y^{(d)}_{t-i} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

上記の式は，ARMA$(p,q)$に$y_t$に差分作用素を作用させていることになるので，以下の式と同値である．

\begin{eqnarray}
    \phi_p (B) (1 - B)^d y_{t} = \theta_q (B) \varepsilon_{t}
\end{eqnarray}

左辺を計算する．

\begin{eqnarray}
    \phi_p (B) (1 - B)^d y_{t} &=& \left\{ \sum_{i=0}^p (-\phi_i) B^{i} \right\} \left\{ \sum_{k=0}^d \binom dk (-B)^{k} \right\} y_{t} \\
    &=& \sum_{i=0}^p \sum_{k=0}^d \left\{ (-1)^{k} \binom dk (-\phi_i) \right\} y_{t-i-k}  \\
    &=& y_t + \sum_{i=1}^p (-\phi_i) y_{t-i} + \sum_{k=1}^d (-1)^{k} \binom dk y_{t-k} + \sum_{i=1}^p \sum_{k=1}^d \left\{ (-1)^{k} \binom dk (-\phi_i) \right\} y_{t-i-k} \\
    &=& y_t - \sum_{i=1}^p \phi_i y_{t-i} + \sum_{k=1}^d (-1)^{k} \binom dk y_{t-k} - \sum_{i=1}^p \sum_{k=1}^d \left\{ (-1)^{k} \binom dk \phi_i \right\} y_{t-i-k} 
\end{eqnarray}

上式の3行目では，和のスタートを変えた．
スタートを変える理由は式から$y_t$の項を独立させるためである．
右辺を計算し，$y_t$以外を移行して整理すると，結論で述べた式が導ける．

\begin{eqnarray}
    y_{t} = \sum_{i=1}^p \phi_i y_{t-i} - \sum_{k=1}^d (-1)^{k} \binom dk y_{t-k} + \sum_{i=1}^p \sum_{k=1}^d \left\{ (-1)^{k} \binom dk \phi_i \right\} y_{t-i-k} + \sum_{i=1}^{q} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

具体例で検算する

2通りの方法でARIMA$(2,1,1)$を導出し，式が一致することを確かめる．

\begin{eqnarray}
    \phi_2 (B) (1 - B) y_{t} = \theta_1 (B) \varepsilon_{t}
\end{eqnarray}

\begin{eqnarray}
    y_{t} = \sum_{i=1}^2 \phi_i y_{t-i} - \sum_{k=1}^1 (-1)^{k} \binom 1k y_{t-k} + \sum_{i=1}^2 \sum_{k=1}^1 \left\{ (-1)^{k} \binom 1k \phi_i \right\} y_{t-i-k} + \sum_{i=1}^{1} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t}
\end{eqnarray}

まずは，オペレータ形式から求める．

\begin{eqnarray}
    && \phi_2 (B) (1 - B) y_{t} = \theta_1 (B) \varepsilon_{t} \\
    & \Leftrightarrow & (1 - \phi_1 B - \phi_2 B^2) (1 - B) y_{t} = (1 - \theta_1 B) \varepsilon_{t} \\
    & \Leftrightarrow &(1 - \phi_1 B - \phi_2 B^2 - B + \phi_1 B^2 + \phi_2 B^3) y_{t} = (1 - \theta_1 B) \varepsilon_{t} \\
    & \Leftrightarrow &\left\{ 1 - (1 + \phi_1) B + (\phi_1 - \phi_2) B^2 + \phi_2 B^3 \right\} y_{t} = (1 - \theta_1 B) \varepsilon_{t} \\
    & \Leftrightarrow &y_{t} = (1 + \phi_1) y_{t-1} - (\phi_1 - \phi_2) y_{t-2} - \phi_2 y_{t-3} + \varepsilon_{t} - \theta_1 \varepsilon_{t-1}
\end{eqnarray}

次に，導出した式から求める．

\begin{eqnarray}
    && y_{t} = \sum_{i=1}^2 \phi_i y_{t-i} - \sum_{k=1}^1 (-1)^{k} \binom 1k y_{t-k} + \sum_{i=1}^2 \sum_{k=1}^1 \left\{ (-1)^{k} \binom 1k \phi_i \right\} y_{t-i-k} + \sum_{i=1}^{1} (-\theta_{i}) \varepsilon_{t-i} + \varepsilon_{t} \\
    & \Leftrightarrow & y_{t} = \phi_1 y_{t-1} + \phi_2 y_{t-2} - (-1) y_{t-1} + \sum_{i=1}^2 (-1) \phi_i y_{t-i-1} - \theta_{i} \varepsilon_{t-1} + \varepsilon_{t} \\
    & \Leftrightarrow & y_{t} = \phi_1 y_{t-1} + \phi_2 y_{t-2} + y_{t-1} - \phi_1 y_{t-2} - \phi_2 y_{t-3} - \theta_{i} \varepsilon_{t-1} + \varepsilon_{t} \\
    & \Leftrightarrow & y_{t} = (1 + \phi_1) y_{t-1} - (\phi_1 - \phi_2) y_{t-2} - \phi_2 y_{t-3} + \varepsilon_{t} - \theta_{i} \varepsilon_{t-1} 
\end{eqnarray}

2つの式は一致した．

次回

SARIMAモデル編でお会いしましょう