回帰・分散分析一覧
| 種類 |
検定統計量 |
分布 |
検定方向 |
| 単回帰分析（母回帰係数の検定） |
$\displaystyle t=\frac{\hat{\beta}_1}{s_{\hat{\beta}_1}}$ |
$t(n-2)$分布 |
両側（$\beta_1=0$ vs $\neq 0$） |
| 重回帰分析（各係数の有意性） |
$\displaystyle t=\frac{\hat{\beta}_j}{s_{\hat{\beta}_j}}$ |
$t(n-p-1)$分布 |
両側（$\beta_j=0$ vs $\neq 0$） |
| 重回帰分析（モデル全体の有意性） |
$\displaystyle F=\frac{(SSR/p)}{(SSE/(n-p-1))}$ |
$F(p, n-p-1)$分布 |
右片側 |
| 決定係数の検定（寄与の検定） |
$\displaystyle F=\frac{R^2/p}{(1-R^2)/(n-p-1)}$ |
$F(p, n-p-1)$分布 |
右片側 |
| 相関係数の検定 |
$\displaystyle t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}$ |
$t(n-2)$分布 |
両側（$r=0$ vs $\neq 0$） |
| 一元配置分散分析 |
$\displaystyle F=\frac{S_A/(k-1)}{S_E/(N-k)}$ |
$F(k-1, N-k)$分布 |
右片側 |
| 二元配置分散分析（要因A/B） |
$\displaystyle F_A=\frac{S_A/df_A}{S_E/df_E}$, $\displaystyle F_B=\frac{S_B/df_B}{S_E/df_E}$ |
各$F(df_A, df_E)$分布 |
右片側 |
| 回帰の分散分析表（回帰・残差分解） |
$\displaystyle F=\frac{MSR}{MSE}=\frac{SSR/(p)}{SSE/(n-p-1)}$ |
$F(p, n-p-1)$分布 |
右片側 |
迷いやすい帰無仮説
| 検定の種類 |
帰無仮説 (H_0) |
対立仮説 (H_1) |
| 単回帰分析 |
母回帰係数は0である（説明変数は目的変数に影響しない） |
母回帰係数は0でない（説明変数は目的変数に影響する） |
| 重回帰分析（係数） |
各母回帰係数$\beta_j=0$ |
少なくとも1つの$\beta_j\neq 0$ |
| 重回帰分析（モデル全体） |
全ての回帰係数$\beta_1,\beta_2,...,\beta_p=0$ |
少なくとも1つ$\beta_j\neq 0$ |
| 相関係数の検定 |
母相関係数$\rho=0$（無相関） |
$\rho\neq 0$（有相関） |
| 一元配置分散分析 |
各群の母平均は等しい |
少なくとも1群の母平均が異なる |
| 二元配置分散分析（要因A/B） |
各要因の水準による母平均の差はない |
要因AまたはBに差がある |
| 重回帰モデルの分散分析 |
回帰による説明分散と残差分散に差はない |
回帰による説明分散が有意に大きい |
単回帰分析の一般式
$$
Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i
$$
| 記号 |
意味 |
| $Y_i$ |
目的変数（例：売上） |
| $X_i$ |
説明変数（例：広告費） |
| $\beta_0$ |
切片（回帰直線のY軸との交点） |
| $\beta_1$ |
傾き（説明変数の影響の大きさ） |
| $\varepsilon_i$ |
誤差（観測値と回帰直線との差） |
| 記号 |
意味 |
| $\hat{\beta}_1$ |
標本から推定された回帰係数（傾き） |
| $s_{\hat{\beta}_1}$ |
回帰係数の標準誤差（ばらつきの程度） |
| 自由度 |
(n - 2)（切片と傾きの2パラメータを推定したため） |
| 分布 |
t分布 (t(n-2)) |
重回帰分析の一般式
$$
Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \cdots + \beta_p X_{pi} + \varepsilon_i
$$
| 記号 |
意味 |
| $Y_i$ |
目的変数 |
| $X_{1i}, X_{2i}, \ldots, X_{pi}$ |
複数の説明変数 |
| $\beta_0$ |
切片 |
| $\beta_j$ |
各説明変数 (X_j) の母回帰係数（影響の強さ） |
| $\varepsilon_i$ |
誤差項（誤差のばらつき） |
| $p$ |
説明変数の個数 |
| $n$ |
標本数（データ数） |
| 記号 |
意味 |
| $\hat{\beta}_j$ |
回帰分析で推定された回帰係数（例：広告費、価格など） |
| $s_{\hat{\beta}_j}$ |
その回帰係数の標準誤差 |
| 自由度 |
(n - p - 1)（切片1つ＋p個の係数を推定したため） |
| 分布 |
t分布 (t(n - p - 1)) |
迷いやすい自由度
| 分析手法 |
自由度の考え方 |
自由度の式 |
備考 |
| 単回帰分析（t検定） |
回帰直線の当てはまり（2パラメータ：切片・傾き） |
$n-2$ |
切片・傾きを推定したため |
| 重回帰分析（t検定） |
回帰係数の個数 $p$ + 切片1個 |
$n-p-1$ |
係数数＋切片を推定 |
| 重回帰モデル全体のF検定 |
回帰・残差に分解 |
$F(p, n-p-1)$ |
モデル全体の説明力 |
| 相関係数の検定 |
相関計算に2自由度消費 |
$n-2$ |
単回帰と同値 |
| 一元配置分散分析 |
群間：$k-1$，群内：$N-k$ |
$F(k-1, N-k)$ |
群平均の比較 |
| 二元配置分散分析 |
要因A：$a-1$，要因B：$b-1$，誤差：$(a-1)(b-1)$ |
$F(df_A, df_E)$等 |
各要因ごとに求める |
分析手法別：対応関係まとめ
| 分析手法 |
対応する統計検定 |
分布 |
目的 |
| 単回帰分析 |
回帰係数のt検定 |
t分布 |
傾きの有意性確認 |
| 重回帰分析 |
t検定・F検定 |
t/F分布 |
各説明変数およびモデル全体の有意性 |
| 相関分析 |
相関係数のt検定 |
t分布 |
相関の有意性確認 |
| 一元配置分散分析 |
F検定 |
F分布 |
群平均の差の有無を検定 |
| 二元配置分散分析 |
F検定 |
F分布 |
各要因・交互作用の効果検定 |
