はじめに

統計モデルの精度はどのように評価されるのかをまとめました。

参考文献：「データ解析のための統計モデリング入門」

AICとは

モデル選択規準の一つに、「AIC (Akaike's information criterion)」があります。これは、良い予測をするモデルが良いモデルであるという考えに基づいて設計された規準です。

※ 観測データにあてはまりが良いモデルが、良い統計モデルであるという考え方は正しくありません。複雑なモデルほど観測データへのあてはまりが良くなるからです。

最尤推定したパラメーターの個数がkであるとき、AICは

\begin{align}
AIC &= -2(\log L^*-k)\\
&= D+2k
\end{align}

と定義されます。(逸脱度：$D=-2\log L^*$)

このAICが一番小さいモデルが良いモデルとなります。

以下の二点について検討していきたいと思います。

・AICで選ばれたモデルは何が「良い」のか
・$AIC=-2(\log L^*-k)$となるのはなぜか

これには、「最大対数尤度」と「平均対数尤度」の違いを理解することが重要です。

パラメーター推定に使った観測データ自身に対するあてはまりの良さのこと

推定された統計モデルが真の統計モデルに似ているかどうかではなく、たまたま得られた観測データへのあてはまりの良さです。

平均対数尤度は統計モデルの予測の良さを表す量のこと

真の統計モデルから予測の良さを評価するデータを生成して、すでに推定された統計モデルに対してあてはまりの良さを対数尤度で評価した平均です。

※ 「真の統計モデル」：単純な真のモデルがあって、そこからデータが生成されると措定した考え方

したがって、統計モデリングの目的が現象の背後にあるメカニズムの予測であるとすると、
この平均対数尤度が統計モデルの良さの指標となります。

最尤推定するパラメーターを k 個もつモデルの平均対数尤度の推定量は$\log L^*-k$であることが解析的に導出できるため、これに-2をかけたものがAICとなります。

平均対数尤度は統計モデルの予測の良さでしたから、その推定量である$\log L^*-k$にマイナスをかけたAICは「予測の悪さ」と解釈できます。

したがって、AICのモデル選択とは、
「予測の悪さ」が小さいモデルを選ぶことになります。

AICは「あてはまりの良いモデル」を選ぶ規準ではなく、「良い予測をするモデル」を選ぶ規準です。