概要

データ分析や統計学において、データのばらつきや分散を理解することは非常に重要です。本記事では、標本分散と標準偏差について解説し、正規分布に近いデータセットを用いてPythonでこれらの統計量を計算する方法を紹介します。文章はGPT O1-previewで書いていています。

はじめに

標本分散：サンプル内のデータが平均からどれだけ離れているかを示す指標。
標準偏差：分散の平方根で、データのばらつきを元の単位で表します。

分散と標準偏差の基礎

分散とは

分散は、データポイントが平均値からどれだけ散らばっているかを示します。各データポイントと平均値の差の二乗の平均を計算して求めます。

s^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})^2

  s^2 ：標本分散

  n ：サンプルサイズ（データの総数）

  x_i ：各データポイント

  \bar{x} ：標本平均

標準偏差とは

標準偏差は、分散の平方根を取ったもので、データのばらつきを元の単位で示します。

s = \sqrt{s^2}

コード全文

# Import Necessary Libraries
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Fix the seed for reproducibility
np.random.seed(0)

# Generate sample data: Normally distributed scores with mean=70 and std=10
scores = np.random.normal(loc=70, scale=10, size=1000)

# Convert data to a Pandas Series
scores_series = pd.Series(scores)

# Calculate the sample mean
mean_score = scores_series.mean()
print(f"Sample Mean: {mean_score:.2f}")

# Calculate the sample variance (unbiased estimator)
variance = scores_series.var(ddof=1)
print(f"Sample Variance: {variance:.2f}")

# Calculate the standard deviation
std_deviation = scores_series.std(ddof=1)
print(f"Standard Deviation: {std_deviation:.2f}")

# Plot the histogram
plt.hist(scores, bins=30, edgecolor='black')
plt.title('Distribution of Math Test Scores')
plt.xlabel('Score')
plt.ylabel('Frequency')
plt.grid(axis='y', alpha=0.75)
plt.show()

表示結果

結果の解釈

標本平均：約69.84で、データの中心的な傾向を示しています。
標本分散：約97.52で、データが平均からどれだけ離れているかを示します。
標準偏差：約9.87で、データポイントが平均から平均してどれだけ離れているかを示します。
ヒストグラムから、データが正規分布に従っていることが確認できます。大半の点数が平均値付近に集中しています。

分母が n−1 になる理由

分母が n−1 になるのは、データの自由度を考慮しているためです。標本平均を計算する際に1つの自由度を失うため、分母を nではなくn−1 とします。これにより、標本分散が母集団分散の不偏推定量となります。

なぜ n−2 ではないのか？

分母が n−2 となるのは、さらにもう1つの制約がある場合です。例えば、回帰分析において、データの点数
nから回帰モデルで使われる2つのパラメータ（傾きと切片）を推定する場合、自由度は n−2 となります。これは平均の代わりに2つのパラメータを推定するため、n−2 個のデータ点が自由に変動できるためです。

しかし、単純な標本分散の計算では、制約となるのは標本平均 1つだけなので、自由度は n−1 となります。

自由度とは？

自由度とは、データの中で制約を受けずに自由に変動できるデータ点の数を指します。標本平均を計算するとき、すべてのデータ点を使って平均を固定してしまうため、1つのデータ点は他のデータ点に依存することになります。その結果、自由度が1つ減り、自由度は n−1 となります。

例

もう少し具体的に考えてみましょう。

データが

( x_1 = 5 )、( x_2 = 7 )、( x_3 = 9 )

の3つだとします。これらのデータの平均は次のように計算されます。

 \bar{x}  = \frac{5 + 7 + 9}{3} = 7

もし、私が「このデータの平均が7であることは既に知っている」という条件で、データの1つを勝手に選べるとしたら、たとえば ( x_1 = 5 ) と決めて、次に ( x_2 = 7 ) と決めた場合、残りの ( x_3 ) は自動的に決まります。

x_3 = 3 \bar{x} - x_1 - x_2 = 3 \times 7 - 5 - 7 = 9

つまり、3つ目のデータ ( x_3 ) はもう自由に選べるわけではなく、平均値を保つために他のデータ点に依存しているということです。このように、標本平均を使って計算する場合、自由に動かせるのは ( n - 1 ) 個のデータ点しかなく、それが「自由度が1つ減る」理由です。

結論

標本平均を計算すると、データのうち1つは他のデータに依存することになります。
したがって、自由に選べるデータ点の数、つまり自由度は ( n - 1 ) となります。
分散を計算する際に分母を ( n - 1 ) にするのは、この自由度を考慮して、母集団分散の不偏推定量にするためです。