相関分析

変数$x,y$の相関係数$r$を$n$組のデータから求める場合、$r$は以下のようになる

r = \frac{S_{xy}}{\sqrt{S_x}\times \sqrt{S_y}}

ただし、

\begin{align}
S_{x}&=\sum x_i^2 - \frac{(\sum x_i)^2}{n}\\
S_{y}&=\sum y_i^2 - \frac{(\sum y_i)^2}{n}\\
S_{xy}&=\sum x_i \dot{} y_i - \frac{(\sum x_i)(\sum y_i)}{n}
\end{align}

相関係数$r$は―1～1の範囲となり、相関の強さは以下の目安で判断する

範囲	相関の強さ
$r \geqq 0.8 $	強い相関
$0.8 > r \geqq 0.6 $	相関がある
$0.6 > r \geqq 0.4 $	弱い相関がある
$ r < 0.4 $	ほとんど相関がない

単回帰分析（分散分析）

回帰モデル

変数$x$に対して、実測値$y$の母平均$E(y_i)=\mu_i$が以下の直線関係にあるとする。

$$ \mu_i = \alpha + \beta x_i $$

しかし、実際には実測値$y_i$は直線状にならず、ずれが発生する。その、残差変量を$\varepsilon_i$とすると、回帰のデータモデルは以下のようになる。

$$ \mu_i = \alpha + \beta x_i ＋ \varepsilon_i $$

$\alpha,\beta$は未知なので、推定値をそれぞれ$a,b$とすると、回帰のデータモデルは、残差を$E_i$とすると以下のようになる。

$$ y_i = a + b x_i ＋ e_i $$

残差の平方和が最小になるように、最小二乗法を用いて、$a,b$を求めると、以下のようになる。

\begin{align}
a &= \bar{y} - b \bar{x}\\
b &= \frac{S_{xy}}{S_x}
\end{align}

実測値の変動$S_T$は、回帰による変動$S_R$と残差による変動$S_E$に分解できる。

\begin{align}
S_T &= S_y\\
S_R &= \frac{(S_{xy})^2}{S_x}\\
S_E &= S_T - S_R = S_y - \frac{(S_{xy})^2}{S_x}
\end{align}

回帰分析の流れ

変動$S_T,S_R,S_E$の平方和をもとめる。
$S_T,S_R,S_E$の自由度を求める。
$S_R,S_E$の不偏分散と分散比$F_0$を求める
分散分析表を作る
検定を行い分散分析の結果を判定する
回帰係数を推定する

変動の平方和をもとめる。

\begin{align}
S_T &= S_y\\
S_R &= \frac{(S_{xy})^2}{S_x}\\
S_E &= S_T - S_R = S_y - \frac{(S_{xy})^2}{S_x}
\end{align}

自由度を求める。

それぞれの自由度は以下の通り

\begin{align}
\phi_T &= n-1\\
\phi_R &= 1\\
\phi_E &= n-2
\end{align}

不偏分散と分散比を求める

$S_R,S_E$の不偏分散と分散比$F_0$は以下の通り

\begin{align}
V_R &= \frac{S_R}{\phi_R} = S_R\\
V_E &= \frac{S_E}{\phi_E} = \frac{S_E}{n-2}\\
F_0 &= \frac{V_R}{V_E}
\end{align}

分散分析表を作る

種別	平方和	自由度	不偏分散	分散比
回帰	$\frac{(S_{xy})^2}{S_x}$	$1$	$S_R$	$\frac{V_R}{V_E}$
残差	$S_y - \frac{(S_{xy})^2}{S_x}$	$n-2$	$ \frac{S_E}{n-2} $	↑
合計	$S_y$	$n-1$		↑

検定を行い分散分析の結果を判定する

母分散の違いに関する検定を用いる場合

分散分析表で求めた分散比を用いて母分散の違いに関する検定を行い、その結果を用いて判定する。
帰無仮説が採択されたら、回帰による変動が有意となり、直線的な関係を考えることに意味があるといえる。

無相関の検定を用いる場合

検定統計量 $ t_0 = \frac{|r|\sqrt{n-2}}{\sqrt{1-r^2}} $ をもとめ、自由度n-2でt検定を行う。

回帰係数を推定する

回帰係数$a,b$の推定値は以下の通り

\begin{align}
a &= \bar{y} - b \bar{x}\\
b &= \frac{S_{xy}}{S_x}
\end{align}