制約付き最小二乗法とF検定
1. はじめに
回帰分析では、あるパラメータに制約を課したいことがあります。
たとえば次のような帰無仮説を立てる場合です。
$$
H_0: \beta_2 = 0,\ \beta_3 = 0
$$
このような「線形制約」がデータに適しているかを検定するために、F検定 (F-test) が使われます。
2. 制約付きモデルと制約なしモデル
2つの回帰モデルを考えます。
-
制約付きモデル（Restricted model）
帰無仮説 $H_0$ の制約条件を係数に課して推定したもの
→ 残差平方和を $RSS_R$ と書く -
制約なしモデル（Unrestricted model）
制約を課さず、通常の最小二乗法 (OLS) で推定したもの
→ 残差平方和を $RSS_{UR}$ と書く
3. F統計量の定義
制約付き・なしモデルの残差平方和を使って、次の量を定義します。
$$
F =
\frac{(RSS_R - RSS_{UR}) / q}
{RSS_{UR} / (n - K)}
$$
ここで出てくる記号は次の通りです。
- $RSS_R$ : 制約付きモデルの残差平方和
- $RSS_{UR}$ : 制約なしモデルの残差平方和
- $q$ : 帰無仮説で課している「等式制約の本数」
- $K$ : 制約なしモデルのパラメータ数
- $n$ : サンプルサイズ
4. なぜこの F が F(q, n-K) 分布に従うのか
4.1 回帰モデルの仮定
線形回帰モデルをおきます。
$$
y = X\beta + \varepsilon,\quad
\varepsilon \sim N(0, \sigma^2 I_n)
$$
ここで、
- $y$ : $n \times 1$ の目的変数ベクトル
- $X$ : $n \times K$ の説明変数行列
- $\beta$ : $K \times 1$ の係数ベクトル
- $\varepsilon$ : 平均0・分散 $\sigma^2 I_n$ の正規誤差
4.2 残差平方和の分布
通常の最小二乗推定量を $\hat{\beta}$ とすると、残差は
$$
\hat{\varepsilon} = y - X\hat{\beta}
$$
残差平方和は
$$
RSS_{UR} = \hat{\varepsilon}^\top \hat{\varepsilon} = \varepsilon'(I - H)\varepsilon
$$
ここで $H = X(X'X)^{-1}X'$である。
$I - H$ は対称かつ冪等で、ランクが $n-K$ なので：
$$
\frac{RSS_{UR}}{\sigma^2} = z'(I - H)z \sim \chi^2_{n-K}, \quad z \sim N(0, I_n)
$$
4.3 制約による悪化分
制約を課した推定では、自由度が $q$ 減ります。
その結果生じる「当てはまりの悪化分」は次のように分布します。
$$
\frac{RSS_R - RSS_{UR}}{\sigma^2} \sim \chi^2_q
$$
4.4 独立性とF分布
上の2つのカイ二乗統計量は独立であり、次の比がF分布に従います。
$$
F =
\frac{(RSS_R - RSS_{UR}) / q}{RSS_{UR} / (n - K)}
= \frac{(\chi^2_q / q)}{(\chi^2_{n-K} / (n - K))}
\sim F(q, n - K)
$$
5. 検定の実施手順
- 制約なしモデルと制約付きモデルを推定する
- 各残差平方和 $RSS_{UR}$ と $RSS_R$ を求める
- F統計量を計算：
$$
F = \frac{(RSS_R - RSS_{UR}) / q}{RSS_{UR} / (n - K)}
$$ - 自由度 $(q, n-K)$ のF分布と比較して、帰無仮説を棄却するか判断