前回記事
参考本
多変量解析入門 -線形から非線形へ- 小西貞則著
基底展開法
基底関数に基づく回帰関数を導入し、線形回帰、多項式回帰、スプライン、B-スプライン回帰、動径基底関数などによるモデルの想定、推定、評価、という一連のモデリングのプロセスを統一的に整理する。
基底関数展開
$p$次元説明変数ベクトル$\boldsymbol x$と目的変数$Y$に対して、現象の真の構造
$E[Y[\boldsymbol x]] =u(\boldsymbol x)$を近似する回帰関数として、基底関数と呼ばれる既知の関数$b_0(\boldsymbol x)\equiv 1, b_1(\boldsymbol x), b_2(\boldsymbol x)\cdots b_m(\boldsymbol x)$の線形結合に基づくモデル
$$b(\boldsymbol w; \boldsymbol x)=\sum_j \omega_jx_j$$
重み$\boldsymbol \omega= (\omega_0, \omega_1, \omega_2, \cdots)^T$
これらは今まで述べてきた自然3次スプラインやＢ-スプライン、ガウス型基底関数に基づくモデルを上の様に表せる。
モデルの推定
観測されたデータ${(\boldsymbol x_i, y_i); i = 1, 2, \cdots, n }$に対して、基底展開法に基づくモデル
$$y_i = \sum_{j= 0}^m \omega_j b_j(\boldsymbol x_i) + \epsilon _i , i= 1,2, \cdots,n$$
の当てはめを考える。ここで誤差項$\epsilon_i$は互いに無相関で、$E[\epsilon_i] = 0$, $E[\epsilon_i^2]=\sigma^2$とする。
この回帰モデルを与えるｎ個の式は、次のように表せる。
$$\begin{pmatrix}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{pmatrix} =
\begin{pmatrix}
1 && b_1(\boldsymbol x_1) && b_2(\boldsymbol x_1) && \cdots && b_m(\boldsymbol x_1) \\
1 && b_1(\boldsymbol x_2) && b_2(\boldsymbol x_2) && \cdots && b_m(\boldsymbol x_2) \\
\vdots && \vdots && \vdots && \cdots && \vdots
\vdots \\
1 && b_1(\boldsymbol x_n) && b_2(\boldsymbol x_n) && \cdots && b_m(\boldsymbol x_n) \\
\end{pmatrix}
\begin{pmatrix}
\omega_1 \\
\omega_2 \\
\vdots \\
\omega_n
\end{pmatrix}
+
\begin{pmatrix}
\epsilon_1 \\
\epsilon_2 \\
\vdots \\
\epsilon_n
\end{pmatrix}$$
つまりは
$$\boldsymbol y = B\boldsymbol \omega +\boldsymbol \epsilon$$
$\boldsymbol y$は、目的変数ベクトル、観測値ベクトル、$B$は基底関数からなる基底関数行列, $\boldsymbol \omega$は重みベクトル, $\boldsymbol \epsilon$誤差ベクトル
最小2乗法
これまでにやった通り
重みベクトル$\boldsymbol \omega$の最小2乗推定量$S$の
$$S = \boldsymbol \epsilon^T \boldsymbol \epsilon$$
を最小とする推定値は$\boldsymbol \omega$で偏微分して0となる値
$$\hat{\boldsymbol \omega}= (B^TB)^{-1}B^T\boldsymbol y$$
である。
これでウエイトを置きなおした回帰式が求まる。
残りはこのページの見やすさを考え、割愛する。上記のリンク先の式の変数を置きなおせばよい。
最尤法
これもこれまでと同様。
次のガウス型非線形回帰モデルを想定する。
$$\boldsymbol y = B\boldsymbol \omega +\boldsymbol \epsilon, \boldsymbol \epsilon ~ N_n(\boldsymbol 0, \sigma^2 I_n)$$
この後も割愛する。
その他のモデル
とある非線形モデルが、基底関数$b_i(x_i), \hspace{1em}i = 1,2, ..., n$の重みベクトルをそれぞれの係数とした線形和でかける。
次に有限個の説明変数を除いて、目的変数と説明変数の間に、線形回帰モデルが考えられるとする。
つまり非線形と線形に分けて考えられる、入り混じったモデルを考える。こういったモデルが一番目にすることが多い。
セミパラメトリックモデルといわれている。
詳細は文献を参照されたい。
モデルの評価はAIC基準で評価する。
次回
正則化など。