目次と前回の記事
Python のバージョンとこれまでに作成したモジュール
本記事のプログラムは Python のバージョン 3.13 で実行しています。また、numpy のバージョンは 2.3.5 です。
| リンク | 説明 |
|---|---|
| marubatsu.py | Marubatsu、Marubatsu_GUI クラスの定義 |
| ai.py | AI に関する関数 |
| mbtest.py | テストに関する関数 |
| util.py | ユーティリティ関数の定義 |
| tree.py | ゲーム木に関する Node、Mbtree クラスなどの定義 |
| gui.py | GUI に関する処理を行う基底クラスとなる GUI クラスの定義 |
AI の一覧とこれまでに作成したデータファイルについては、下記の記事を参照して下さい。
今回の記事の内容
前回の記事では 下記が成り立つ ことを説明しました。
- 確率変数 $\boldsymbol{X}$ が 母平均 が $\boldsymbol{μ}$ の 母集団分布 に従うものとする
- 母集団から $n$ 個の要素を 無作為抽出 した標本の 標本平均 を表す確率変数は $\boldsymbol{\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i}$ で定義される。ただし、$\boldsymbol{X_i}$ は 確率変数 $\boldsymbol{X}$ と同じ確率分布 に従う 互いに独立した確率変数 であるものとする
- 標本平均の期待値 である $\boldsymbol{E(\bar{X})}$ は母集団の 母平均 である $\boldsymbol{μ = E(X)}$ と等しくなる
上記は 標本サイズに関わらず 常に 標本平均の期待値が母平均と等しくなる ことを表しますが、前回の記事で説明したように、標本のサイズが小さい 場合の 標本平均 は ばらつきが大きい ため 標本平均を母平均として推定 すると 精度が低くなる という問題があることを説明しました。
母集団 や 標本 などの、数値の集合のばらつき を表す 指標 としでは以前の記事で簡単に説明した 分散 があり、大数の法則の証明で必要となる ので、今回の記事では 分散について詳しく説明 します。
確率変数の期待値の線形性
前回の記事では 独立した確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ の和 によって定義される 確率変数 $\boldsymbol{X + Y}$ の期待値 が 下記の式で計算される ことを示しましたが、下記の式は確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立していなくても成り立ちます。この性質はこの後の説明で必要となるので その証明 を最初に行います。
$\boldsymbol{E[X + Y] = E[X] + E[Y]}$
下記の 確率変数の積の期待値 の 式が成り立つため には 確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立している必要 があり、こちらと勘違いしていました。なお、下記の式についてはこの後で証明します。
$\boldsymbol{E[XY] = E[X]E[Y]}$
確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ から 実現値 $\boldsymbol{x}$ と $\boldsymbol{y}$ が 同時に得られる確率 を 同時確率 と呼び、$\boldsymbol{P(X=x, Y=y)}$ と表記します。確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立 している場合の 同時確率 は 実現値 $\boldsymbol{x}$ が得られる確率 $\boldsymbol{P(X=x)}$ と 実現値 $\boldsymbol{y}$ が得られる確率 $\boldsymbol{P(Y=y)}$ を乗算した値 になるので下記の式が成り立ちます。
$\boldsymbol{P(X=x, Y=y) = P(X=x)P(Y=y)}$
前回の記事では 確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立している という前提で、$\boldsymbol{E[X + Y]}$ を下記の式で計算しました。
$\boldsymbol{E[X + Y] = \sum_{x}\sum_{y} (x + y)P(X=x)P(Y=y)}$
確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が 独立している ことを 前提としない 場合は、上記の式は下記のようになるので、この式から $\boldsymbol{E[X + Y] = E[X] + E[Y]}$ が成り立つ ことを示します。
$\boldsymbol{E[X + Y] = \sum_{x}\sum_{y} (x + y)P(X=x, Y=y)}$
この式の $\boldsymbol{(x + y)}$ を展開すると下記のようになります。
$\boldsymbol{E[X + Y] = \sum_{x}\sum_{y} xP(X=x, Y=y) + \sum_{x}\sum_{y} yP(X=x, Y=y)}$
前半部分の式の計算
上記の式の 前半部分 の $\boldsymbol{\sum_{x}\sum_{y} xP(X=x, Y=y)}$ について考えます。
$\boldsymbol{x}$ は $\boldsymbol{y}$ とは独立した値 なので、この式の $\boldsymbol{\sum_{y} xP(X=x, Y=y)}$ の $\boldsymbol{x}$ を $\boldsymbol{\sum_{y}}$ の外に移動すると下記の式になります。
$\boldsymbol{\sum_{y} xP(X=x, Y=y) = x\sum_{y} P(X=x, Y=y)}$
$\boldsymbol{\sum_{y}P(X=x, Y=y)}$ によって すべての $\boldsymbol{Y}$ の実現値 $\boldsymbol{y}$ に対して $\boldsymbol{x}$ と $\boldsymbol{y}$ が同時に発生する確率 の 合計を計算 すると、すべての $\boldsymbol{Y}$ の実現値が発生 する 確率の合計は 1 なので、$\boldsymbol{x}$ が発生する確率 である $\boldsymbol{P(X=x)}$ に等しくなる ため下記の式が成り立ちます。
$\boldsymbol{\sum_{y} P(X=x, Y=y) = P(X=x)}$
このような 複数の確率変数の同時確率 から、特定の確率変数を取り除く ことを 確率変数の周辺化 と呼びます。
参考までに Wikipedia の 周辺化 に関する項目のリンクを下記に示します。
従って、先程の式の 前半部分 は下記のようになります。
$\boldsymbol{\sum_{x}\sum_{y} xP(X=x, Y=y)}$
$\boldsymbol{=\sum_{x}(x\sum_{y} P(X=x, Y=y))}$
$\boldsymbol{=\sum_{x}x P(X=x)}$
最後の式 は $\boldsymbol{X}$ の期待値 である $\boldsymbol{E(X)}$ を計算する式なので、先程の式の 前半部分 は $\boldsymbol{E(X)}$ になります。
$x$ と $P(X=x, Y=y)$ は独立していないので、前回の記事で紹介した 2 重和の分解の公式は利用できない点に注意して下さい。
従って、$\boldsymbol{\sum_{x}\sum_{y} xP(X=x, Y=y)}$ を下記の式に変形することはできません。
$\boldsymbol{(\sum_{x}x)(\sum_{y} P(X=x, Y=y))}$
後半部分の式の計算
$\boldsymbol{\sum_{x}\sum_{y}}$ は すべての $\boldsymbol{x}$ と $\boldsymbol{y}$ の 組み合わせでの合計 を計算するので、前後の順番を入れ替えて $\boldsymbol{\sum_{y}\sum_{x}}$ としても 同じ計算結果 になります。
従って、先程の式の 後半部分 の式は以下のようになり、前半部分と同様の理由 から $\boldsymbol{E[Y]}$ が計算 されます。
$\boldsymbol{\sum_{x}\sum_{y} yP(X=x, Y=y)}$
$\boldsymbol{=\sum_{y}\sum_{x} yP(X=x, Y=y)}$
$\boldsymbol{=\sum_{y}(y\sum_{x} P(X=x, Y=y))}$
$\boldsymbol{=\sum_{y}yP(Y=y)}$
$\boldsymbol{=E(Y)}$
前半部分と後半部分の和 が $\boldsymbol{E[X] + E[Y]}$ であることから $\boldsymbol{E[X + Y] = E[X] + E[Y]}$ となることが 証明 されました。
期待値の線形性
上記と前回の記事で説明した 確率変数の一次変換 で によって計算された 確率変数の期待値 を表す $\boldsymbol{E[aX + b] = aE[X] + b}$ の $b=0$ とした場合の $\boldsymbol{E[aX] = aE[X]}$ を組み合わせた下記の式が成り立ちます。
確率変数 $\boldsymbol{X}$、$\boldsymbol{Y}$ と 任意の値 の 実数 $\boldsymbol{a}$ と $\boldsymbol{b}$1に対して下記の式が成り立つ。
$\boldsymbol{E[aX + bY] = aE[X] + bE[Y]}$
このような 確率変数の定数倍の和 によって定義される確率変数の 期待値 が、それぞれの確率変数 の 期待値の定数倍の和 になることを 期待値の線形性 と呼びます。
$\boldsymbol{E[aX + b] = aE[X] + b}$ を含めると下記の式が成り立ち、この性質を アフィン と呼びます。厳密には線形とアフィンは異なるものですが、下記の式の性質 を 期待値の線形性と呼ぶ場合が多い ようなので、本記事でも下記の式を期待値の線形性と呼ぶことにします。
確率変数 $\boldsymbol{X}$、$\boldsymbol{Y}$ と 任意の値 の 実数 $\boldsymbol{a}$、$\boldsymbol{b}$、$\boldsymbol{c}$ に対して下記の式が成り立つ。
$\boldsymbol{E[aX + bY + c] = aE[X] + bE[Y] + c}$
なお、確率変数が 3 つ以上 の場合も 上記と同様の式 が成り立ちます。
参考までに Wikipedia の 期待値の性質 と 線形性 の項目のリンクを下記に示します。
独立した確率変数の積によって定義された確率変数の期待値
独立した確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ の積 によって定義される 確率変数 $\boldsymbol{XY}$ の期待値 は 下記の式で計算されます。先ほどの確率変数の和の場合と異なり 確率変数が独立していることが条件 である点に注意して下さい。この性質はこの後の 確率変数の分散の公式の証明 で必要となるので その証明 を行います。
$\boldsymbol{E[XY] = E[X] + E[Y]}$
確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が 独立している ことを 前提としない 場合は、上記の式は先ほどの $\boldsymbol{E[X + Y]}$ の計算式の $\boldsymbol{(x + y)}$ を $\boldsymbol{xy}$ に置き換えた下記の式 のようになります。
$\boldsymbol{E[XY] = \sum_{x}\sum_{y} xyP(X=x, Y=y)}$
確率変数の独立が必要な理由
先程と同様に $\boldsymbol{xy}$ の $\boldsymbol{x}$ を $\boldsymbol{\sum_{y}}$ の外に移動すると上記の式は下記のようになります。
$\boldsymbol{E[XY] = \sum_{x}(x\sum_{y} yP(X=x, Y=y))}$
先程は $\boldsymbol{\sum_{y}}$ の中身 が $\boldsymbol{P(X=x, Y=y)}$ だけだったので $\boldsymbol{\sum_{y}P(X=x, Y=y) = P(X = x)}$ のような 確率変数の周辺化 を行うことができましたが上記の式の場合は $\boldsymbol{\sum_{y}}$ の中身 が $\boldsymbol{yP(X=x, Y=y)}$ のように $\boldsymbol{y}$ と $\boldsymbol{P(X=x, Y=y)}$ を乗算した値になっているため先程のような 周辺化を行うことができません。これが 確率変数の独立が必要となる理由 です。
式の証明
先程説明したように、確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立 している場合は $\boldsymbol{P(X=x, Y=y) = P(X=x)P(Y=y)}$ が成り立つので先程の式は下記のようになります。
$\boldsymbol{E[XY] = \sum_{x}\sum_{y} xyP(X=x, Y=y)}$
$\boldsymbol{= \sum_{x}\sum_{y} xyP(X=x)P(Y=y)}$
$\boldsymbol{= \sum_{x}\sum_{y} xP(X=x)yP(Y=y)}$
$\boldsymbol{xP(X = x)}$ と $\boldsymbol{yP(Y = y)}$ は独立しているので前回の記事で説明した 2 重和の分解の公式 から上記の式は下記のようになります。
$\boldsymbol{E[XY] = (\sum_{x}xP(X=x))(\sum_{y} yP(Y=y))}$
$\boldsymbol{= E[X]E[Y]}$
上記から 確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立 している場合に下記の式が成り立つことが証明されました。
$\boldsymbol{E[XY] = E[X]E[Y]}$
条件に関する補足
上記の式が成り立つ条件 を 確率変数の独立 と 説明する場合が多い ようですが、実際には上記の式が 成り立つ厳密な条件 は、確率変数の独立よりも 条件が若干緩い 確率変数の 無相関 です。ただし、大数の法則 を含む多くの法則では 確率変数が独立していることを条件 としている点や、無相関よりも 独立の方がわかりやすい概念 なのでそのような説明がされているのではないかと思います。
下記の説明 は 大数の法則の証明には必要ない ので興味がない方は飛ばしても大丈夫です。
無相関 とは、確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ の間に $\boldsymbol{Y = aX + b}$ のような 直線的な関係がない ことを意味しており、無相関の定義 は 2 つの確率変数 が 共にどれだけ散らばっているか を表す 共分散 を計算する 下記の式が 0 になるというものです。
$\boldsymbol{E[XY] - E[X]E[Y]}$
共分散が 0 となるということから 先程の $\boldsymbol{E[XY] = E[X]E[Y]}$ が 無相関の定義そのもの です。従って、確率変数が独立 である場合は上記で証明したように 無相関になります。
一方、確率変数が無相関 であっても 独立でない場合 が存在します。
具体例として 下記の表の確率分布 を持つ 確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y=X^2}$ で定義される 確率変数 $\boldsymbol{Y}$ を例に説明します。確率変数 $\boldsymbol{Y}$ は明らかに 確率変数 $\boldsymbol{X}$ と 独立ではありません。
| 確率変数 $\boldsymbol{X}$ | -1 | 0 | 1 |
|---|---|---|---|
| 確率 | 1/3 | 1/3 | 1/3 |
確率変数 $\boldsymbol{X}$ の期待値 は下記の式から 0 になります。
$\boldsymbol{E[X] = -1 × 1/3 + 0 × 1/3 + 1 × 1/3 = 0}$
下記は 確率変数 $\boldsymbol{X}$ の実現値 と $\boldsymbol{Y}$ の実現値 とその 確率の対応表 です。
| 確率変数 $\boldsymbol{X}$ | -1 | 0 | 1 |
|---|---|---|---|
| 確率変数 $\boldsymbol{Y}$ | 1 | 0 | 1 |
| 確率 | 1/3 | 1/3 | 1/3 |
上記の表から 確率変数 $\boldsymbol{Y}$ の確率分布 は下記の表のようになります。
| 確率変数 $\boldsymbol{X}$ | 0 | 1 |
|---|---|---|
| 確率 | 1/3 | 2/3 |
確率変数 $\boldsymbol{Y}$ の期待値 は下記の式から 2/3 になります。
$\boldsymbol{E[Y] = 0 × 1/3 + 1 × 2/3 = 2/3}$
従って、$\boldsymbol{E[X]E[Y] = 0 × 2/3 = 0}$ となります。
下記は 確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ の すべての実現値の組み合わせ と 確率変数 $\boldsymbol{XY}$ の実現値 とその 確率の対応表 です。確率 は $\boldsymbol{X}$ と $\boldsymbol{Y}$ の 実現値が発生する確率を乗算 した値です。
| 確率変数 $\boldsymbol{X}$ | -1 | -1 | 0 | 0 | 1 | 1 |
|---|---|---|---|---|---|---|
| 確率変数 $\boldsymbol{Y}$ | 0 | 1 | 0 | 1 | 0 | 1 |
| 確率変数 $\boldsymbol{XY}$ | 0 | -1 | 0 | 0 | 0 | 1 |
| 確率 | 1/9 | 2/9 | 1/9 | 2/9 | 1/9 | 2/9 |
下記は 上記の表から計算 した 確率変数 $\boldsymbol{XY}$ の確率分布 の表です。
| 確率変数 $\boldsymbol{XY}$ | -1 | 0 | 1 |
|---|---|---|---|
| 確率 | 2/9 | 5/9 | 2/9 |
確率変数 $\boldsymbol{XY}$ の期待値 は下記の式から 0 になります。
$\boldsymbol{E[XY] = -1 × 2/9 + 0 ×5/9 + 1 × 2/9 = 0}$
従って $\boldsymbol{E[X]E[Y] = E[XY] = 0}$ となるので、
上記から実際に 無相関 であるが 独立でない 確率変数が 存在する ことが示されました。
$\boldsymbol{Y = X^2}$ で定義 される 確率変数 $\boldsymbol{Y}$ が 常に $\boldsymbol{X}$ と無相関であるとは限らない 点に注意して下さい。
興味がある方は 上記とは別の確率分布 に従う 確率変数 $\boldsymbol{X}$ で確認 してみると良いでしょう。
参考までに Wikipedia の相関と共分散の項目のリンクを下記に示します。
分散
分散（variance） は平均と並んで統計学で良く使われる 数値の集合のばらつきを表す指標 で、集合の要素 の 平均値からの差 の 2 乗の平均 として 定義 されます。計算式についてはこの後で詳しく説明します。
以下の説明では 数値の集合 として 母集団 や 標本 を例にその 平均や分散の説明 を行いますが、母集団や標本という文脈から離れた 単なる数値の集まり に対する 平均や分散 も 同様の性質 を持ちます。参考までに下記に 分散 のWikipedia の項目のリンクを示します。
母平均の計算式のおさらい
下記は以前の記事で説明した 母平均 を計算する式です。
母平均 は 母集団の大きさ を $\boldsymbol{N}$、母集団の要素 を $\boldsymbol{x_1}$、$\boldsymbol{x_2}$、・・・、$\boldsymbol{x_N}$ と表記すると、下記の式で計算 することができます。
$\boldsymbol{μ = \frac{x_1 + x_2 + ... + x_N}{N} = \frac{1}{N}\sum_{i=1}^{N} x_i}$
なお、母集団の要素 は 大文字 の $\boldsymbol{X_i}$ で 表記するのが一般的 ですが、確率変数と同じ記号 を利用するのは 紛らわしい ので以前の記事では $\boldsymbol{E_i}$ という記号を用いました。ただし、$\boldsymbol{E}$ という記号は 期待値を表す記号 としても利用される点が紛らわしいことと、母集団の要素 を 小文字 の $\boldsymbol{x_i}$ で表記する場合もある ようなので、今回の記事では 小文字 の $\boldsymbol{x_i}$ で表記することにしました。
サイコロを振った出目のような 無限母集団 の場合は上記の式では計算できないので、確率変数 $\boldsymbol{X}$ が 確率質量関数 $\boldsymbol{P}$ で表される 母集団分布に従う場合 の 期待値 $\boldsymbol{E(X)}$ を計算する下記の式で 母平均を計算 する必要があります。
$\boldsymbol{μ = E(X) = \sum_{x} xP(X=x)}$
母分散の計算式
母集団の分散 のことを 母分散(population variance) と呼びます。母分散 は一般的に $\boldsymbol{σ^2}$ という記号で表記 されます。$\boldsymbol{σ}$ は後述する 母標準偏差 を表す ギリシャ文字の小文字 の シグマ という記号で、母分散 が 母標準偏差の 2 乗 の値であることから $\boldsymbol{o^2}$ と表記します。
先程説明したように、分散の定義 は 集合の要素 の 平均値からの差 の 2 乗の平均 なので、母分散 $\boldsymbol{σ^2}$ は下記の式のように、各要素の値と母平均の差 の 2 乗の合計 を 母集団のサイズ を表す $\boldsymbol{N}$ で除算 する事で計算します。
$\boldsymbol{σ ^ 2 = \frac{(x_1 - μ)^2 + (x_2 - μ) ^ 2 + ... + (x_N - μ)^2}{N} = \frac{1}{N}\sum_{i=1}^{N} (x_i - μ)^2}$
$\boldsymbol{(x_i - μ)^2}$ は $\boldsymbol{x_i}$ が母平均 $\boldsymbol{μ}$ と等しい場合 に 最小値である 0 となるので、母分散 は 全ての要素が母平均と等しい という ばらつきがない場合 に 最小値である 0 となり、各要素 が 平均から離れてばらつきが大きくなる ほど 大きな値 となります。従って、母分散 は 母平均からのばらつきの大きさ を表す 0 以上の数値 であることがわかります。
$\boldsymbol{σ^2}$ は 母集団の分散 を表す記号です。後述するように、母集団から抽出した 標本 に対しても 分散を上記と同様の式で計算 できますが、その場合は 標本分散 という用語を用い $σ ^ 2$ とは異なる $\boldsymbol{s ^ 2}$ という記号で表記 します。また、数値の集合 を母集団や標本ではない 単なる数値の集まり と考えた場合も 同様の式で分散を計算 することができ、その場合も $\boldsymbol{s ^ 2}$ という記号で表記されることが多い ようです。
無限母集団 の場合は上記の式では計算できないので、母集団分布 の 確率変数 の 分散 が 母分散 になります。確率変数 $\boldsymbol{X}$ の分散 は $\boldsymbol{V[X]}$ または $\boldsymbol{Var[X]}$ で表記し、本記事では $\boldsymbol{V[X]}$ と表記 することにします。$\boldsymbol{V[X]}$ は 分散の定義 から下記の方法で計算します。
- 確率変数 の $\boldsymbol{X}$ の 実現値 $\boldsymbol{x}$ に対して $\boldsymbol{x}$ と $\boldsymbol{X}$ の期待値 $\boldsymbol{E[X]}$ の差の 2 乗 である $\boldsymbol{(x - E[X])^2}$ を 実現値 とする 確率変数 は $\boldsymbol{(X - E[X])^2}$ という式で定義できる
- 従って、確率変数 $\boldsymbol{X}$ の 分散 は 確率変数 $\boldsymbol{(X - E[X])^2}$ の期待値 である $\boldsymbol{E[(X - E[X])^2]}$ となる
上記から $\boldsymbol{V[X]}$ は下記の式で計算できることがわかりました。
$\boldsymbol{V(X) = E[(X - E[X])^2]}$
従って、確率変数 $\boldsymbol{X}$ が 母集団分布に従う 場合は 下記の式が成り立ちます。
$\boldsymbol{σ ^ 2 = V(X) = E[(X - E[X])^2] = E[(X - μ)^2]}$
各要素と母平均の差 の 2 乗の平均 を 計算する主な理由 は以下の通りです。
下記の式のように 各要素と母平均の差 の 平均を計算 すると 負の値と正の値が相殺 された結果 必ず 0 が計算 されてしまいます。
$\boldsymbol{\frac{1}{N}\sum_{i=1}^{N} (x_i - μ)}$
$\boldsymbol{= \frac{1}{N}\sum_{i=1}^{N} x_i - \frac{1}{N}\sum_{i=1}^{N} μ}$
$\boldsymbol{= μ - \frac{N}{N}μ}$
$\boldsymbol{= μ - μ = 0}$
上記の問題を解決する方法として下記の式のように 各要素と母平均の差 の 絶対値の平均 を計算する方法が考えられますが、$\boldsymbol{|x_i - μ|}$ を $\boldsymbol{x_i}$ に関する関数 として グラフで表す と 平均の所で鋭角に折れ曲がる ため 微分することができず、数値解析を行うことが困難2 であるという 問題 があります。
$\boldsymbol{\frac{1}{N}\sum_{i=1}^{N} |x_i - μ|}$
それに対して $\boldsymbol{(x_i - μ)^2}$ のグラフ は 放物線 であり 微分可能 なので 数値解析を行いやすい という利点があります。
標本分散の計算式
標本の分散 のことを 標本分散(sample variance)と呼びます。標本分散 は一般的に $\boldsymbol{s^2}$ という記号で表記 されます。$\boldsymbol{s}$ は後述する 標準偏差（standartd deviation）の頭文字 を表し、分散 が 標準偏差の 2 乗 の値であることから $\boldsymbol{s^2}$ と表記 します。数値の集合 を 単なる数値の集まり と考えた場合の 分散 も $\boldsymbol{s^2}$ という記号で表記されることが多い ようです。
標本分散 は 標本サイズ を $\boldsymbol{n}$、標本の各要素 を $\boldsymbol{x_i}$、標本平均 を $\boldsymbol{\bar{x}}$ と表記した場合に、母分散と同様 の下記の式で計算することができます。
$\boldsymbol{s^2 = \frac{(x_1 - \bar{x})^2 + (x_2 - \bar{x}) ^ 2 + ... + (x_n - \bar{x})^2}{n} = \frac{1}{n}\sum_{i=1}^{n} (x_i-\bar{x})}$
母分散 が一般的に実際には計算できない 仮想的な値 である場合が多いのに対し、標本分散 は 実際に得られた標本から計算 される 具体的な値 である点に注意して下さい。そのため、標本分散 は 標本平均と同様に 確率変数を用いて計算することはありません。
分散の性質と単位
分散の計算式 の中では 要素と平均値の差 の 2 乗を計算 するため、平均的 に 要素が平均値からどれくらい離れているか を 直観的に感じづらい という性質があります。
例えば、-10、-10、10、10 という 4 つの要素 を持つ集合の 平均値 は下記の式から 0 なので、すべての要素 が 平均値から 10 離れている ことがわかります。
$\boldsymbol{\frac{(-10 -10 + 10+10)}{4} = 0}$
この集合の 分散 は下記の式から 10 の 2 乗 である 100 になる ので、分散の値 から 各要素が平均値から 10 離れている ことを 直観的に想像することは困難 です。
$\boldsymbol{\frac{(-10 - 0) ^ 2 + (-10 - 0) ^ 2 + (10 - 0) ^ 2 + (10 - 0) ^ 2}{4}}$
$\boldsymbol{= \frac{100+100+100+100}{4}}$
$\boldsymbol{= \frac{400}{4}}$
$\boldsymbol{= 100}$
また、分散 は 各要素の値を 2 乗して計算 するので 分散の単位 は 要素の単位の 2 乗 となってしまうという性質があります。例えば数値の集合の 要素の単位 が $\boldsymbol{cm}$ という 長さを表す場合 に計算される 分散の単位 は $\boldsymbol{cm^2}$ という 面積を表す ことになります。
標準偏差
大数の法則の証明では利用しませんが、分散と密接な関係がある標準偏差 について簡単に説明します。
標準偏差（standartd deviation）は 分散の平方根 によって計算される値で、一般的にその頭文字をとって $\boldsymbol{s}$ という記号で表記 します。下記は 標本の標準偏差 を表す 標本標準偏差(sample standard deviation) の 計算式 です。
$\boldsymbol{s = \sqrt{s^2} = \sqrt{\frac{1}{n}\sum_{i=1}^{n} (x_i-\bar{x})}}$
また、確率変数 $\boldsymbol{X}$ の 標準偏差 は特別な記号を用いず分散の平方根で表す $\boldsymbol{\sqrt{V[X]}}$ や standard deviation の頭文字を用いた $\boldsymbol{SD[X]}$ 等で表記されるようです。
標準偏差 は 分散の平方根を計算 するため、要素と平均値の差の絶対値 の 平均 に 近い値 が計算されるため、その 数値の意味を直観的にとらえやすくなります。
例えば、先程の -10、-10、10、10 という 4 つの要素 を持つ集合の 標準偏差 は $\boldsymbol{\sqrt{100} = 10}$ となり、各要素の平均値からの差と等しくなります。
また、標準偏差の単位 は分散の単位の平方根なので 集合の要素の単位と同じになる という性質があります。
標準偏差 と 要素と平均値の差の絶対値の平均 は 同じ値になるとは限らない 点に注意して下さい。
例えば -9、0、9 という 3 つの要素を持つ集合 の 標準偏差 は下記の式から 約 7.35 になります。なお、小数点以下第 3 桁で四捨五入しました。
$\bar{x} = \frac{(-9 + 0 + 9)}{3} = 0$
$s^2 = \frac{((-9 - 0) ^ 2 + (0 - 0) ^ 2 + (9 - 0)^ 2)}{3} = \frac{81 + 0 + 81}{3} = 54$
$s = \sqrt{s^2} = \sqrt{54} = 7.35$
一方、同じ集合 の 要素と平均値の差の絶対値 の 平均 は下記のように 6 になります。
$\frac{|-9 - 0| + |0 - 0| + |9 - 0|}{3} = \frac{9 + 0 + 9}{3} = 6$
分散に関する公式
大数の法則の証明で必要 となる 分散に関するいくつかの公式 を紹介します。
期待値を利用した分散の計算
確率変数 $\boldsymbol{X}$ の 分散 $\boldsymbol{V[X]}$ は下記の式のように、確率変数 $\boldsymbol{X^2}$ の 期待値 $\boldsymbol{E[X^2]}$ から 確率変数 $\boldsymbol{X}$ の 期待値 $\boldsymbol{E[X]}$ の 2 乗 を 引き算する ことで計算することができます。なお、確率変数 $\boldsymbol{X^2}$ の 実現値 は、確率変数 $\boldsymbol{X}$ の 実現値を 2 乗した値 になります。
$\boldsymbol{V[X] = E[X^2] - E[X]^2}$
上記の公式が正しい ことを、先程説明した下記の $\boldsymbol{V[X]}$ の計算式から証明 します。
$\boldsymbol{V[X] = E[(X - E[X])^2]}$
上記の式の $\boldsymbol{(X - E[X])^2}$ を展開 すると下記の式になります。
$\boldsymbol{V[X] = E[X^2 - 2E[X]X + E[X]^2]}$
$\boldsymbol{X^2}$ と $\boldsymbol{X}$ は 異なる確率変数 で、$\boldsymbol{E[X]}$ は 確率変数 $\boldsymbol{X}$ から計算 された 定数 なので、$\boldsymbol{a = 1}$、$\boldsymbol{b = -2E[X]}$、$\boldsymbol{c = E[X]^2}$ とすると上記の式は下記のようになります。
$\boldsymbol{V[X] = E[aX^2 + bX + c]}$
先程説明した 期待値の線形性 から下記の式が成り立ちます。
$\boldsymbol{V[X] = E[aX^2 + bX + c]}$
$\boldsymbol{= aE[X^2] + bE[X] + c}$
$\boldsymbol{ = E[X^2] -2E[X]E[X] + E[X]^2}$
$\boldsymbol{= E[X^2] - 2E[X]^2 + E[X]^2}$
$\boldsymbol{ = E[X^2] - E[X]^2}$
上記から $\boldsymbol{V[X] = E[X^2] - E[X]^2}$ となることが 証明 されました。
確率変数の一次変換によって定義された確率変数の分散
下記は、前回の記事で説明した $\boldsymbol{aX + b}$ という 確率変数の一次変換 によって定義された 確率変数の期待値 $\boldsymbol{E[aX+b]}$ を求める式 です。ただし、$\boldsymbol{a}$、$\boldsymbol{b}$ は 任意の実数 であるものとします。
$\boldsymbol{E[aX + b] = aE[X] + b}$
それに対し、確率変数 $\boldsymbol{aX + b}$ の分散 である $\boldsymbol{V[aX + b]}$ は 下記の式で計算 することができます。
$\boldsymbol{V[aX + b] = a^2V[X]}$
上記の公式が正しい ことを先程証明した下記の $\boldsymbol{V[aX+b]}$ の計算式から証明 します。
$\boldsymbol{V[aX+b] = E[(aX + b)^2] - E[aX+b]^2}$
上記の式の $\boldsymbol{(aX + b)^2}$ を展開 すると下記のようになります。
$\boldsymbol{V[aX+b] = E[a^2X^2 + 2abX + b^2] - E[aX+b]^2}$
期待値の線形性 から上記は下記のようになります。
$\boldsymbol{V[aX+b] = a^2E[X^2] + 2abE[X] + b^2 - (aE[X]+b)^2}$
$\boldsymbol{= a^2E[X^2] + 2abE[X] + b^2 - (a^2E[X]^2+2abE[X] + b^2)}$
$\boldsymbol{= a^2E[X^2] - a^2E[X]^2}$
$\boldsymbol{= a^2(E[X^2] - E[X]^2)}$
最後の式 の 括弧内の式 は $\boldsymbol{V[X]}$ なので下記の式が成り立つことが証明されました。
$\boldsymbol{V[aX + b] = a^2V[X]}$
上記の公式の意味 を 言葉で説明 すると以下のようになります。
$\boldsymbol{Y = aX + b}$ の $\boldsymbol{aX}$ は 確率変数 $\boldsymbol{X}$ の実現値 を $\boldsymbol{a}$ 倍 するという意味を持つので、$\boldsymbol{a > 1}$ の場合は 確率分布のグラフ が 左右に $\boldsymbol{a}$ 倍に広がります。例えば、下記の表の確率分布 に従う 確率変数 $\boldsymbol{X}$ から $\boldsymbol{Y = 2X}$ によって定義 された 確率変数 $\boldsymbol{Y}$ が従う確率分布 は 下記の表 のようになります。
| 確率変数 $\boldsymbol{X}$ | -2 | -1 | 0 | 1 | 2 |
|---|---|---|---|---|---|
| 確率 | 0.1 | 0.25 | 0.3 | 0.25 | 0.1 |
| 確率変数 $\boldsymbol{Y}$ | -4 | -2 | 0 | 2 | 4 |
|---|---|---|---|---|---|
| 確率 | 0.1 | 0.25 | 0.3 | 0.25 | 0.1 |
下記は 確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が従う確率分布を表すグラフ で、$\boldsymbol{Y}$ のグラフ が $\boldsymbol{X}$ のグラフ に比べて 左右に 2 倍に広がり、ばらつきが増えている ことが確認できます。
説明は省略しますが、参考までに上記のグラフを描画するプログラムを下記に示します。確率分布のグラフ化については以前の記事を参照して下さい。
グラフを描画するプログラム
import matplotlib.pyplot as plt
import japanize_matplotlib
import numpy as np
X = np.array([-2, -1, 0, 1, 2])
Y = X * 2
P = [0.1, 0.25, 0.3, 0.25, 0.1]
plt.bar(X, P)
plt.xlim(-5, 5)
plt.xlabel("X")
plt.ylabel("確率")
plt.show()
plt.bar(Y, P)
plt.xlim(-5, 5)
plt.xlabel("Y")
plt.ylabel("確率")
plt.show()
なお、$\boldsymbol{0 < a < 1}$ の場合 のグラフは 左右に縮み、$\boldsymbol{a <0}$ の場合 は 左右を反転した後 で 左右に $\boldsymbol{-a}$ 倍 したグラフになります。
分散 は 平均値との差の 2 乗 の 平均 を計算するので、グラフが 左右に $\boldsymbol{a}$ 倍 になると 分散 は $\boldsymbol{a^2}$ 倍 になるため、$\boldsymbol{V[aX] = a^2V[X]}$ となります。
$\boldsymbol{Y = aX + b}$ の $\boldsymbol{+b}$ は確率変数 $\boldsymbol{X}$ の実現値 を $\boldsymbol{b}$ だけ加算 するという意味をもつので、$\boldsymbol{Y}$ の確率分布を表すグラフ は $\boldsymbol{X}$ の確率分布を表すグラフ を 横方向に $\boldsymbol{b}$ だけ 並行移動 するのでその 形状は変化しません。そのことは、下記は上記の $\boldsymbol{X}$ に対して $\boldsymbol{Z = X + 2}$ で定義 される 確率変数 $\boldsymbol{Z}$ の確率分布 と そのグラフ で、形状が変化しない ことが確認できます。形状が変化しない ということは ばらつきも変わらない ということを意味するので $\boldsymbol{V[X + b] = V[X]}$ となります。
| 確率変数 $\boldsymbol{Z}$ | 0 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|
| 確率 | 0.1 | 0.25 | 0.3 | 0.25 | 0.1 |
参考までに上記のグラフを描画するプログラムを下記に示します。
グラフを描画するプログラム
Z = X + 2
plt.bar(X, P)
plt.xlim(-5, 5) # X の表示範囲を -5 ~ 5 にする
plt.xlabel("X")
plt.ylabel("確率")
plt.show()
plt.bar(Z, P)
plt.xlim(-5, 5) # Z の表示範囲を -5 ~ 5 にする
plt.xlabel("Z")
plt.ylabel("確率")
plt.show()
確率変数の和によって定義された確率変数の分散
先程説明したように、期待値の線形性の性質 から 任意の確率変数 $\boldsymbol{X}$、$\boldsymbol{Y}$ に対して $\boldsymbol{X + Y}$ によって定義 された 確率変数の期待値 は下記の式で計算できます。
$\boldsymbol{E[X + Y] = E[X] + E[Y]}$
分散 の場合は、確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が 独立している場合 に下記の式が成り立ちます。
$\boldsymbol{V[X + Y] = V[X] + V[Y]}$
上記の公式が正しい ことを下記の $\boldsymbol{V[X+Y]}$ の計算式から証明 します。
$\boldsymbol{V[X + Y] = E[(X + Y)^2] - E[X + Y]^2}$
上記の式の $\boldsymbol{(X + Y)^2}$ を展開 すると下記のようになります。
$\boldsymbol{V[X + Y] = E[X^2 + 2XY + Y^2] - E[X + Y]^2}$
期待値の線形性 から上記は下記のようになります。
$\boldsymbol{V[X + Y] = E[X^2] + 2E[XY] + E[Y^2] - (E[X] + E[Y])^2}$
$\boldsymbol{= E[X^2] + 2E[XY] + E[Y^2] - (E[X]^2 + 2E[X]E[Y] + E[Y]^2)}$
$\boldsymbol{= E[X^2] - E[X]^2 + E[Y^2] - E[Y]^2 + 2(E[XY] - E[X]E[Y])}$
上記の式の $\boldsymbol{V[X] = E[X^2] - E[X]^2}$、$\boldsymbol{V[Y] = E[Y^2] - E[Y]^2}$ なので下記の式が成り立ちます。
$\boldsymbol{V[X + Y] = V[X] + V[Y] + 2(E[XY] - E[X][Y])}$
先程証明したように確率変数 $X$ と $Y$ が独立している場合は $\boldsymbol{E[XY] = E[X][Y]}$ なので上記の式から下記の式が成り立つことが証明されました。
$\boldsymbol{V[X + Y] = V[X] + V[Y]}$
上記の公式の意味 を 言葉で説明 すると以下のようになります。
互いに独立 した 確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ の和 で計算された 確率変数 $\boldsymbol{X + Y}$ の 分散 は、確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ の 分散の和 になる。つまり、互いに独立した確率変数の和 によって定義された 確率変数のばらつき は 元の確率変数のばらつき以上になる ということです。
上記の公式が成り立つ条件は $E[XY] = E[X]E[Y]$ なので、先程補足したように厳密には確率変数 $X$ と $Y$ が無相関の場合に上記の式が成り立ちます。
なお、$\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立 であっても 分散 には 線形性はありません。例えば $\boldsymbol{V[aX + bY + c]}$ は下記の式のように $\boldsymbol{aV[X] + bV[Y] + c}$ にはならない からです。
$\boldsymbol{V[aX + bY + c]}$
$\boldsymbol{= V[(aX + bY) + c]}$
$\boldsymbol{Z=aX + bY}$ と定義すると上記の式は下記のようになります。
$\boldsymbol{V[aX + bY + c]= V[Z +c]}$
$\boldsymbol{= V[Z]}$
$\boldsymbol{= V[aX + bY]}$
$\boldsymbol{a}$ と $\boldsymbol{b}$ は定数 なので $\boldsymbol{aX}$ と $\boldsymbol{bY}$ も独立している ので上記の式は下記のようになります。
$\boldsymbol{= V[aX] + V[bY]}$
$\boldsymbol{= a^2V[X] + b^2V[Y]}$
従って、下記のように 分散に線形性はありません。
$\boldsymbol{V[aX + bY + c] = a^2V[X] + b^2V[Y] ≠ aV[X] + bV[Y] + c}$
標本平均の分散
標本平均 の 分散の性質 がわかれば 標本平均を母平均として推定した場合 の 精度がわかる ようになります。そこで、分散の公式 を利用して 確率変数 $\boldsymbol{X}$ に従う 母集団分布から 無作為抽出 した 標本サイズ が $\boldsymbol{n}$ の 標本平均 $\boldsymbol{\bar{x}}$ の 分散を計算 することにします。
前回の記事 で説明したように、標本平均 を表す 確率変数 $\boldsymbol{\bar{X}}$ は 下記の式で定義 されます。ただし、$\boldsymbol{X_i}$ は 確率変数 $\boldsymbol{X}$ と同じ確率分布 に従う 互いに独立した確率変数 であるものとします。
$\boldsymbol{\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i}$
従って 標本平均の分散 である $\boldsymbol{V[\bar{X}]}$ は下記の式で計算することができます。
$\boldsymbol{V[\bar{X}] = V[\frac{1}{n}\sum_{i=1}^{n} X_i]}$
$\boldsymbol{\sum_{i=1}^{n} X_i}$ は 一つの確率変数とみなす ことができるので上記の式は下記のようになります。
$\boldsymbol{V[\bar{X}] = (\frac{1}{n})^2V[\sum_{i=1}^{n} X_i]}$
$\boldsymbol{= \frac{1}{n^2}V[\sum_{i=1}^{n} X_i]}$
$\boldsymbol{X_i}$ は 互いに独立している ので上記の式は下記のようになります。
$\boldsymbol{V[\bar{X}] = \frac{1}{n^2}\sum_{i=1}^{n} V[X_i]}$
$\boldsymbol{X_i}$ は 確率変数 $\boldsymbol{X}$ と同じ確率分布 に従うので $\boldsymbol{V[X_i] = V[X]}$ を上記の式に代入 すると下記のようになります。
$\boldsymbol{V[\bar{X}] = \frac{1}{n^2}\sum_{i=1}^{n} V[X]}$
$\boldsymbol{ = \frac{1}{n^2}nV[X]}$
$\boldsymbol{ = \frac{1}{n}V[X]}$
上記から下記の式が成り立つことがわかります。
$\boldsymbol{V[\bar{X}] = \frac{1}{n}V[X]}$
最初に説明したように 分散は 0 以上の値を取る のでこの式から、標本平均の分散 は 標本サイズ $\boldsymbol{n}$ を 大きくすればするほど小さくなる ことがわかりました。
このことと、前回の記事で説明した 標本平均の期待値 $\boldsymbol{E[\bar{X}]}$ が 母平均 $\boldsymbol{μ}$ と等しくなる ことから、標本サイズ を 大きくすればするほど、標本平均の分布 が 母平均を平均 とした ばらつきの小さな分布になる ことがわかります。また、このことから 直観的 に 標本サイズが大きくなる と 標本平均 が 母平均に近づく確率が高くなる という 大数の法則が正しい ことがわかるのではないかと思います。
ただし、これだけ では 大数の法則 を 数学的に証明したことにはならない ので、次回の記事では 大数の法則 の 数学的な定義 と その証明 を行うことにします。
不偏分散
以下は 大数の法則の証明 には 直接関係のない おまけです。
標本平均の期待値 が 母平均と同じ になることから、標本分散の期待値 も 母分散と同じになると直観的に考えた 方がいるのではないかと思いますが そうではありません。そのため、標本分散 をそのまま 母分散の推定値 として 用いることはできません。従って、標本分散 は 前回の記事で説明した 不偏推定量ではありません。
その理由は先ほど示した下記の 標本分散の計算式 で 母平均 $\boldsymbol{μ}$ とは異なる標本平均 $\boldsymbol{\bar{x}}$ を利用して 計算を行っているから です。
$\boldsymbol{s^2 = \frac{(x_1 - \bar{x})^2 + (x_2 - \bar{x}) ^ 2 + ... + (x_N - \bar{x})^2}{n} = \frac{1}{n}\sum_{i=1}^{n} (x_i-\bar{x})}$
標本分散 を下記の式のように 母平均 $\boldsymbol{μ}$ を利用して計算を行う ことができれば、標本分散の期待値は母分散と等しくなります が、残念ながら 母平均 $\boldsymbol{μ}$ の正確な値を計算 することは 一般的に不可能 です。
$\boldsymbol{\frac{1}{n}\sum_{i=1}^{n} (x_i-μ)}$
そのため、標本分散の期待値 は 母分散と異なる少し小さな値 になるという性質があるのでそのことを示します。
標本分散を表す確率変数の計算式
標本分散 は母集団から抽出された標本の値によって 計算結果が毎回異なる ので、標本平均と同様 に 確率変数 とみなすことができます。標本分散 を表す 確率変数 は一般的に $\boldsymbol{S^2}$ と表記する場合が多く、標本サイズが $\boldsymbol{n}$ の標本の 標本分散 は、標本平均の確率変数と同様の方法で 下記の式で定義 することができます。
$\boldsymbol{S^2 = \frac{1}{n}\sum_{i=1}^{n} (X_i-\bar{X})^2}$
上記の式から 標本分散の期待値 $\boldsymbol{E[S^2]}$ を計算するのは難しいので $\boldsymbol{S^2}$ の式を 期待値を計算しやすい式に変形 することにします。
$\boldsymbol{S^2}$ の式の $\boldsymbol{(X_i - \bar{X}) ^ 2}$ を展開すると下記の式になります。
$\boldsymbol{S^2 = \frac{1}{n}\sum_{i=1}^{n} (X_i^2 - 2X_i\bar{X} +\bar{X}^2)}$
$\boldsymbol{= \frac{1}{n}(\sum_{i=1}^{n} X_i^2 - \sum_{i=1}^{n}2X_i\bar{X} + \sum_{i=1}^{n}\bar{X}^2)}$
$\boldsymbol{\bar{X}}$ は $\boldsymbol{i}$ から独立した値 なので $\boldsymbol{2\bar{X}}$ と $\boldsymbol{\bar{X}^2}$ も $\boldsymbol{i}$ から独立 しているので上記は下記の式になります。
$\boldsymbol{S^2 = \frac{1}{n}(\sum_{i=1}^{n} X_i^2 - 2\bar{X}\sum_{i=1}^{n}X_i + n\bar{X}^2)}$
$\boldsymbol{\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i}$ から $\boldsymbol{\sum_{i=1}^n X_i = n\bar{X}}$ が成り立つので上記は下記の式になります。
$\boldsymbol{S^2 = \frac{1}{n}(\sum_{i=1}^{n} X_i^2 - 2\bar{X}n\bar{X} + n\bar{X}^2)}$
$\boldsymbol{= \frac{1}{n}(\sum_{i=1}^{n} X_i^2 - n\bar{X}^2)}$
$\boldsymbol{= \frac{1}{n}\sum_{i=1}^{n} X_i^2 - \bar{X}^2}$
標本分散の期待値の計算式
上記で計算した $\boldsymbol{S^2 =\frac{1}{n}\sum_{i=1}^{n} X_i^2 - \bar{X}^2}$ から 標本分散の期待値 $\boldsymbol{E[S^2]}$ は下記の式で計算されます。
$\boldsymbol{E[S^2] = E[\frac{1}{n}\sum_{i=1}^{n} X_i^2 - \bar{X}^2]}$
期待値の線形性 から上記の式は下記のようになります。
$\boldsymbol{E[S^2]= \sum_{i=1}^{n} E[\frac{1}{n}X_i^2] - E[\bar{X}^2]}$
$\boldsymbol{= \frac{1}{n}\sum_{i=1}^{n} E[X_i^2] - E[\bar{X}^2]}$
$\boldsymbol{X_i}$ は $\boldsymbol{X}$ と同じ確率分布に従う ので $\boldsymbol{X_i^2}$ も $\boldsymbol{X^2}$ と同じ確率分布 に従い $\boldsymbol{E[X_i^2] = E[X^2]}$ となるので上記の式は下記のようになります。
$\boldsymbol{E[S^2] = \frac{1}{n}\sum_{i=1}^{n} E[X^2] - E[\bar{X}^2]}$
$\boldsymbol{= \frac{1}{n}nE[X^2] - E[\bar{X}^2]}$
$\boldsymbol{= E[X^2] - E[\bar{X}^2]}$
次に、確率変数 $\boldsymbol{\bar{X}^2}$ について考えることにします。$\boldsymbol{\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i}$ から下記の式が成り立ちます。
$\boldsymbol{\bar{X}^2 = (\frac{1}{n}\sum_{i=1}^n X_i)^2}$
$\boldsymbol{= \frac{1}{n^2}(\sum_{i=1}^n X_i)^2}$
$\boldsymbol{= \frac{1}{n^2}(\sum_{i=1}^n X_i)(\sum_{j=1}^n X_j)}$
2 重和の分解の公式から上記の式は下記のようになります。
$\boldsymbol{\bar{X}^2 = \frac{1}{n^2}\sum_{i=1}^n \sum_{j=1}^n X_iX_j}$
$\boldsymbol{\frac{1}{n^2}\sum_{i=1}^n \sum_{j=1}^n X_iX_j}$ の中で、$\boldsymbol{i = j}$ となるものの 合計 を表す 確率変数 を $\boldsymbol{A}$、$\boldsymbol{i≠ j}$ となるものの 合計 を表す 確率変数 $\boldsymbol{B}$ と表記すると以下のようになります。ただし、$\boldsymbol{\sum_{j=1,i ≠ j}^n}$ は $\boldsymbol{j}$ を 1 から $n$ まで $\boldsymbol{i}$ を除いて 増やしながら 合計を計算 するという意味を表します。
$\boldsymbol{\bar{X}^2 = A + B}$
$\boldsymbol{A = \frac{1}{n^2}\sum_{i=1}^n X_iX_i = \frac{1}{n^2}\sum_{i=1}^n X_i^2}$
$\boldsymbol{B = \frac{1}{n^2}\sum_{i=1}^n \sum_{j=1,i ≠ j}^n X_iX_j}$
$\boldsymbol{E[\bar{X}^2] = E[A + B] = E[A] + E[B]}$
そこで、$\boldsymbol{E[A]}$ と $\boldsymbol{E[B]}$ をそれぞれ計算することにします。
$\boldsymbol{E[A] = E[\frac{1}{n^2}\sum_{i=1}^n X_i^2]}$
$\boldsymbol{= \sum_{i=1}^nE[\frac{1}{n^2} X_i^2]}$
$\boldsymbol{= \frac{1}{n^2}\sum_{i=1}^nE[ X_i^2]}$
先程説明したように $\boldsymbol{E[X_i^2] = E[X^2]}$ なので下記の式が成り立ちます。
$\boldsymbol{E[A] = \frac{1}{n^2}\sum_{i=1}^nE[ X^2]}$
$\boldsymbol{= \frac{1}{n^2}nE[ X^2]}$
$\boldsymbol{= \frac{1}{n}E[ X^2]}$
$\boldsymbol{E[B] = E[ \frac{1}{n^2}\sum_{i=1}^n \sum_{j=1,i ≠ j}^n X_iX_j]}$
$\boldsymbol{= \sum_{i=1}^n \sum_{j=1,i ≠ j}^nE[ \frac{1}{n^2} X_iX_j]}$
$\boldsymbol{= \frac{1}{n^2}\sum_{i=1}^n \sum_{j=1,i ≠ j}^nE[ X_iX_j]}$
$\boldsymbol{i ≠ j}$ の場合は 確率変数 $\boldsymbol{X_i}$ と $\boldsymbol{X_j}$ は 互いに独立した異なる確率変数 なので $\boldsymbol{E[X_iX_j] = E[X_i]E[X_j]}$ が成り立ちます。また、$\boldsymbol{X_i}$ と $\boldsymbol{X_j}$ は $\boldsymbol{X}$ と同じ確率分布に従う ので $\boldsymbol{E[X_i] = E[X_j] = E[X]}$ となるので下記の式が成り立ちます。
$\boldsymbol{=E[ X_iX_j] = E[X_i][X_j] = E[X]E[X] = E[X]^2}$
この式を先程の式にあてはめると下記の式になります。
$\boldsymbol{E[B] = \frac{1}{n^2}\sum_{i=1}^n \sum_{j=1,i ≠ j}^n E[X]^2}$
$\boldsymbol{E[B] = \frac{1}{n^2}E[X]^2\sum_{i=1}^n \sum_{j=1,i ≠ j}^n 1}$
$\boldsymbol{\sum_{i=1}^n\sum_{j=1,i ≠ j}^n 1}$ は $\boldsymbol{1 ≦ i ≦ n}$、$\boldsymbol{1 ≦ j ≦ n}$、$\boldsymbol{i ≠ j}$ を満たす すべての $\boldsymbol{i}$ と $\boldsymbol{j}$ の 組み合わせの数 を表し、その数は以下のようになります。
- $\boldsymbol{1 ≦ i ≦ n}$、$\boldsymbol{1 ≦ j ≦ n}$ となる 組み合わせの数 は $\boldsymbol{n^2}$
- $\boldsymbol{i = j}$ となる 組み合わせの数 は $\boldsymbol{n}$
- 従って $\boldsymbol{\sum_{i=1}^n\sum_{j=1,i ≠ j}^n 1 = n^2 - n = n(n-1)}$ である
このことを先程の式に当てはめると下記の式のようになります。
$\boldsymbol{E[B] = \frac{1}{n^2}E[X]^2n(n-1)}$
$\boldsymbol{E[B] = \frac{n-1}{n}E[X]^2}$
従って $\boldsymbol{E[\bar{X}]}$ は下記の式で計算できます。
$\boldsymbol{E[\bar{X}] = E[A] + E[B]}$
$\boldsymbol{= \frac{1}{n}E[ X^2] + \frac{n-1}{n}E[X]^2}$
従って $\boldsymbol{E[S^2]}$ は下記の式で計算できます。
$\boldsymbol{E[\bar{S^2}] = E[X^2] - E[\bar{X}^2]}$
$\boldsymbol{= E[X^2] - (\frac{1}{n}E[ X^2] + \frac{n-1}{n}E[X]^2)}$
$\boldsymbol{= \frac{n-1}{n}(E[X^2] - E[X]^2)}$
$\boldsymbol{V[X] = E[X^2] - E[X^2]}$ から下記の式が成り立ちます。
$\boldsymbol{E[S^2]= \frac{n-1}{n}V[X]}$
この式を 母分散 をあらわす $\boldsymbol{V[X] = σ}$ を表す式で置き換えると下記のようになります。
$\boldsymbol{V[X] = σ^2= \frac{n}{n-1}E[S^2]}$
上記の式は $n = 1$ の場合に分母が 0 になるので計算できませんが、$n = 1$ は標本サイズが 1 であることを表します。1 つしかない標本の値と標本平均は必ず等しくなるので標本分散は必ず 0 になります。従って、$n = 1$ の場合の標本分散から母分散を推定することはできないので上記の式は $n > 1$ の場合に利用することができます。
$\boldsymbol{n > 1}$ の場合は $\boldsymbol{\frac{n}{n-1} > 1}$ となるので、上記の式から 標本分散の期待値 が 母集団よりも小さく計算される ことがわかりました。
不偏分散の計算式
上記の式から、標本分散 から 母分散を推定 する場合は、標本分散 に $\boldsymbol{\frac{n}{n-1}}$ を乗算した値を計算 する必要があり、そのようにして計算された値のことを 不偏分散 と呼びます。また、不偏分散 は 母分散の不偏推定量 です。
不偏分散を表す記号 として 不偏（unbiased）の頭文字 からとった $\boldsymbol{u^2}$ を利用することが多い ようですが、不偏分散を $\boldsymbol{s^2}$ と表記する場合もあるようです。本記事では不偏分散を $\boldsymbol{u^2}$ と表記することにします。
下記は 不偏分散を計算する式 です。
$\boldsymbol{u^2 = \frac{n}{n-1}s^2}$
$\boldsymbol{= \frac{n}{n-1}(\frac{1}{n}\sum_{i=1}^{n} (x_i-\bar{x}))}$
$\boldsymbol{= \frac{1}{n-1}\sum_{i=1}^{n} (x_i-\bar{x})}$
このことから 不偏分散 は標本分散と異なり $\boldsymbol{n -1}$ で除算を行う ことがわかります。
標本分散と不偏分散の使い分け
標本分散 は 実際に得られた標本のばらつき を表します。従って、実際に得られたデータそのものを分析 する場合は 標本分散を利用 する必要があります。
一方、不偏分散 は 得られた標本 から 母集団の分散を推測 する際に利用します。例えば アンケート調査 から 世論を分析 する場合は 不偏分散を利用 する必要があります。
標本分散 と 不偏分散 は 異なる値 になるので、その 使い分けを正しく行わないと間違った分析になる 点に注意が必要です。
記号と公式のまとめ
記号や公式が多くなってきたのでまとめることにします。
| 母集団 | 標本 | 確率分布 | |
|---|---|---|---|
| サイズ | 母集団のサイズ $N$ | 標本サイズ $n$ | |
| 要素 | $X_i$ または $x_i$ | $x_i$ | 確率変数は $X$ のように大文字で表記 実現値は $x$ のように小文字で表記 |
| 平均 | 母平均 $μ$ | 標本平均 $\bar{x}$ | 確率変数 $X$ の期待値 $E[X]$ 標本平均を表す確率変数 $\bar{X}$ |
| 分散 | 母分散 $σ^2$ | 標本分散 $s^2$ | 確率変数 $X$ の分散 $V[X]$ 標本分散を表す確率変数 $S^2$ |
| 標準偏差 | 母標準偏差 $σ$ | 標本標準偏差 $s$ | 確率変数 $X$ の標準偏差 $\sqrt{V[X]}$、$SD[X]$ |
| 不偏分散 | 不偏分散 $u^2$ |
離散型確率変数 X の確率分布を表す確率質量関数
$\boldsymbol{P(X = x)}$
平均に関する計算式
$\boldsymbol{μ = \frac{x_1 + x_2 + ... + x_N}{N} = \frac{1}{N}\sum_{i=1}^{N} x_i}$
$\boldsymbol{\bar{x} = \frac{x_1 + x_2 + ... + x_n}{n} = \frac{1}{n}\sum_{i=1}^{n} x_i}$
$\boldsymbol{E[X] = \sum_{x}xP(X=x)}$
$\boldsymbol{\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i}$
$\boldsymbol{E[\bar{X}] = E[X]}$
分散に関する計算式
$\boldsymbol{σ ^ 2 = \frac{(x_1 - μ)^2 + (x_2 - μ) ^ 2 + ... + (x_N - μ)^2}{N} = \frac{1}{N}\sum_{i=1}^{N} (x_i - μ)^2}$
$\boldsymbol{s^2 = \frac{(x_1 - \bar{x})^2 + (x_2 - \bar{x}) ^ 2 + ... + (x_N - \bar{x})^2}{n} = \frac{1}{n}\sum_{i=1}^{n} (x_i-\bar{x})}$
$\boldsymbol{u^2 = \frac{1}{n-1}\sum_{i=1}^{n} (x_i-\bar{x})}$
$\boldsymbol{V[X] = E[(X - E[X])^2] = E[X^2] - E[X]^2}$
$\boldsymbol{S^2 = \frac{1}{n}\sum_{i=1}^{n} (X_i-\bar{X})^2}$
確率変数 $\boldsymbol{X_i}$ が 互いに独立な場合
$\boldsymbol{E[S^2]= \frac{n-1}{n}V[X]}$
$\boldsymbol{V[X] = \frac{n}{n-1}E[S^2]}$
期待値に関する公式
$\boldsymbol{E[aX + bY + c] = aE[X] + b[Y] + c}$
確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立（厳密には無相関） している場合
$\boldsymbol{E[XY] = E[X]E[Y]}$
分散に関する公式
$\boldsymbol{V[aX + b] = a^2V[X]}$
確率変数 $\boldsymbol{X}$ と $\boldsymbol{Y}$ が独立（厳密には無相関） している場合
$\boldsymbol{V[X + Y] = V[X] + V[Y]}$
今回の記事のまとめ
今回の記事では 分散の性質と公式 について説明し、標本平均の分散 が 標本サイズを大きくする と 小さくなる ことを示しました。
本記事で入力したプログラム
| リンク | 説明 |
|---|---|
| marubatsu.ipynb | 本記事で入力して実行した JupyterLab のファイル |
次回の記事