Help us understand the problem. What is going on with this article?

統計学の基礎(復習)

期待値(Expected Value)

確率変数(Random Variable)$X$の平均は下記の通りだけれど、このように展開すれば平均と期待値は同じであることがわかる。

X=\left\{ 1,1,1,2,3 \right\} \\ \frac { \sum { { X }_{ i } }  }{ n } =\\ \frac { 1+1+1+2+3 }{ 5 } =\\ \frac { (1\cdot 3)+(2\cdot 1)+(3\cdot 1) }{ 5 } =\\ (1\cdot 3/5)+(2\cdot 1/5)+(3\cdot 1/5)=\\ (1\cdot 0.6)+(2\cdot 0.2)+(3\cdot 0.2)=\\ \sum { { X }_{ i } } \cdot P\left( { X }={ x }_{ i } \right) =E\left( X \right) =1.6

期待値の性質

$X,Y$は独立を仮定します。

E\left( c \right) =\frac { \sum { c }  }{ n } =\frac { nc }{ n } =c\\ E\left( X+Y \right) =\frac { \sum { \left( x_{ i }+y_{ i } \right)  }  }{ n } =\frac { \sum { { x }_{ i } } +\sum { y_{ i } }  }{ n } =\frac { \sum { { x }_{ i } }  }{ n } +\frac { \sum { y_{ i } }  }{ n } =E\left( X \right) +E\left( Y \right) \\ E\left( X-Y \right) =\frac { \sum { \left( x_{ i }-y_{ i } \right)  }  }{ n } =\frac { \sum { { x }_{ i } } -\sum { y_{ i } }  }{ n } =\frac { \sum { { x }_{ i } }  }{ n } -\frac { \sum { y_{ i } }  }{ n } =E\left( X \right) -E\left( Y \right) \\ E\left( cX \right) =\frac { \sum { cx_{ i } }  }{ n } =\frac { c\sum { x_{ i } }  }{ n } =c\cdot \frac { \sum { { x }_{ i } }  }{ n } =cE\left( X \right) \\ E\left( X\cdot Y \right) =\frac { \sum { \left( x_{ i }\cdot y_{ i } \right)  }  }{ n } =\frac { \sum { { x }_{ i } }  }{ n } \cdot \frac { \sum { y_{ i } }  }{ n } =E\left( X \right) \cdot E\left( Y \right) \quad \\ \\ E\left( \frac { X }{ Y }  \right) =\frac { \sum { \left( { x_{ i } }/{ y_{ i } } \right)  }  }{ n } ={ \frac { \sum { { x }_{ i } }  }{ n }  }/{ \frac { \sum { y_{ i } }  }{ n }  }=\frac { E(X) }{ E(Y) } 

分散(Variance)

分散を期待値を使って表現してみる。2つ目の表現は、期待値を使って分散を表せる性質を利用しています。
スクリーンショット 0031-01-10 23.02.36.png

{ \sigma  }^{ 2 }=\frac { \sum { { \left( { x }_{ i }-\mu  \right)  }^{ 2 } }  }{ n } =\sum { { \left( { x }_{ i }-\mu  \right)  }^{ 2 } } \cdot P\left( { X }={ x }_{ i } \right) =E\left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right] =Var\left( X \right) \\ { \sigma  }^{ 2 }=\frac { \sum { { \left( { x }_{ i }-\mu  \right)  }^{ 2 } }  }{ n } =\bar { { X }^{ 2 } } -{ \bar { X }  }^{ 2 }=\frac { \sum { { x }_{ i }^{ 2 } }  }{ n } -{ \left( \frac { \sum { { x }_{ i } }  }{ n }  \right)  }^{ 2 }=E\left( { X }^{ 2 } \right) -{ \left( E(X) \right)  }^{ 2 }=Var\left( X \right) 

分散の性質

$X,Y$は独立を仮定します。

Var\left( X+Y \right) =\\ E\left[ { \left( \left( X+Y \right) -E\left( X+Y \right)  \right)  }^{ 2 } \right] =\\ E\left[ { \left( \left( X+Y \right) -(E\left( X)+E(Y \right)  \right) ) }^{ 2 } \right] =\\ E\left[ { \left( \left( X+Y \right) -E\left( X)-E(Y \right)  \right)  }^{ 2 } \right] =\\ E\left[ { (\left( X-E\left( X))+(Y-E(Y \right)  \right) ) }^{ 2 } \right] =\\ E\left[ { \left( X-E\left( X \right)  \right)  }^{ 2 }+2\left( X-E\left( X \right)  \right) \left( Y-E\left( Y \right)  \right) +{ \left( Y-E\left( Y \right)  \right)  }^{ 2 } \right] =\\ E\left[ { \left( X-E\left( X \right)  \right)  }^{ 2 } \right] +E\left[ { \left( Y-E\left( Y \right)  \right)  }^{ 2 } \right] +2E\left[ \left( X-E\left( X \right)  \right) \left( Y-E\left( Y \right)  \right)  \right] =\\ Var\left( X \right) +Var\left( Y \right) +2Cov\left( X,Y \right) 

確率変数の線形変換(Linear Transformation of Random Variables)

確率変数$X$を別の変数を用いて、1次関数で表現しなおすこと。その場合、期待値や分散はどのように変化するのか見ていきます。

E\left( Y \right) =E\left( a+bX \right) =E\left( a)+E(bX \right) =a+bE\left( X \right) =a+b\overline { X } \\ \overline { Y } =a+b\overline { X } 

分散はどうなるででしょうか。$Y$と$\overline { Y }$の線形変換は下記の通り変換できます。

Y=a+bX,\quad \overline { Y } =a+b\overline { X } \\ Var\left( Y \right) =\frac { \sum { { \left( { y }_{ i }-\overline { y }  \right)  }^{ 2 } }  }{ n } =\frac { 1 }{ n } \sum { { \left( { y }_{ i }-\overline { y }  \right)  }^{ 2 } } 

なので、線形変換をするとこうなります。

Var\left( a+bX \right) =\frac { 1 }{ n } \sum { { \left( a+b{ x }_{ i }-a+b\overline { x }  \right)  }^{ 2 } } =\frac { 1 }{ n } \sum { { \left( b{ x }_{ i }-b\overline { x }  \right)  }^{ 2 } } =\frac { 1 }{ n } \sum { { b\left( { x }_{ i }-\overline { x }  \right)  }^{ 2 } } =\\ \frac { 1 }{ n } { b }^{ 2 }\sum { { \left( { x }_{ i }-\overline { x }  \right)  }^{ 2 } } ={ b }^{ 2 }\frac { \sum { { \left( { x }_{ i }-\overline { x }  \right)  }^{ 2 } }  }{ n } ={ b }^{ 2 }\cdot Var\left( X \right) 

標本平均の平均と分散(Expected Value of the Sample Mean and Variance)

標本平均の平均

E\left( \overline { X }  \right) =\\ E\left[ \frac { \sum { { X }_{ i } }  }{ n }  \right] =\frac { 1 }{ n } E\left[ \sum { X_{ i } }  \right] =\\ \frac { 1 }{ n } \left( E\left( { X }_{ 1 } \right) +E\left( { X }_{ 2 } \right) +...+E\left( { X }_{ n } \right)  \right) =\\ \frac { 1 }{ n } \sum { \left[ E\left( { X }_{ i } \right)  \right]  } =\frac { 1 }{ n } \sum { \left[ \mu  \right]  } =\\ \frac { 1 }{ n } \cdot n\cdot \mu =\mu 

標本平均の分散

Var\left( \overline { X }  \right) =\\ Var\left[ \frac { \sum { { X }_{ i } }  }{ n }  \right] =\frac { 1 }{ { n }^{ 2 } } Var\left[ \sum { X_{ i } }  \right] =\\ \frac { 1 }{ { n }^{ 2 } } \sum { \left[ Var\left[ X_{ i } \right]  \right]  } =\frac { 1 }{ { n }^{ 2 } } \sum { \left[ E{ \left( { X }_{ i }-\mu  \right)  }^{ 2 } \right]  } =\\ \\ =\frac { 1 }{ { n }^{ 2 } } \sum { \left[ \sigma ^{ 2 } \right]  } =\frac { 1 }{ { n }^{ 2 } } \cdot n\cdot \sigma ^{ 2 }=\frac { \sigma ^{ 2 } }{ n } =\frac { \sigma  }{ \sqrt { n }  } 

不偏推定量(Unbiased Estimator)

推定値が不偏推定量となるのか見ていきます。サンプリングして計算した統計量が一致すれば不偏推定量となります。標本平均の平均の部分で平均は不偏推定量ですが、分散はどうでしょうか。すぐ忘れるので丁寧に展開しておきます。まずは分散の分子の部分だけを展開しています。

E\left( { S }^{ 2 } \right) \\ { S }^{ 2 }=\frac { \sum { { \left( { x }_{ i }-\overline { x }  \right)  }^{ 2 } }  }{ n } \\ \sum { { \left( { x }_{ i }-\overline { x }  \right)  }^{ 2 } } =\sum { { \left( { x }_{ i }-\mu +\mu -\overline { x }  \right)  }^{ 2 } } =\sum { { \left( \left( { x }_{ i }-\mu  \right) +\left( \mu -\overline { x }  \right)  \right)  }^{ 2 }= } \\ \sum { \left[ { \left( \left( { x }_{ i }-\mu  \right) +\left( \mu -\overline { x }  \right)  \right)  }{ \left( \left( { x }_{ i }-\mu  \right) +\left( \mu -\overline { x }  \right)  \right)  } \right] = } \\ \sum { \left[ \left( { x }_{ i }-\mu  \right) \left( { x }_{ i }-\mu  \right) +\left( { x }_{ i }-\mu  \right) \left( \mu -\overline { x }  \right) +\left( \mu -\overline { x }  \right) \left( { x }_{ i }-\mu  \right) +\left( \mu -\overline { x }  \right) \left( \mu -\overline { x }  \right)  \right] = } \\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 }+2\left( \mu -\overline { x }  \right) \left( { x }_{ i }-\mu  \right) +{ \left( \mu -\overline { x }  \right)  }^{ 2 } \right] = } \\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right] + } 2\sum { \left[ \left( \mu -\overline { x }  \right) \left( { x }_{ i }-\mu  \right)  \right]  } +\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } =\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right] + } 2\left( \mu -\overline { x }  \right) \sum { \left[ \left( { x }_{ i }-\mu  \right)  \right]  } +\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } =\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right] + } 2\left( \mu -\overline { x }  \right) \sum { { x }_{ i } } -\sum { \mu  } +\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } =\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right] + } 2\left( \mu -\overline { x }  \right) \left( n\overline { x } -n\mu  \right) +\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } =\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right] + } 2n\left( \mu -\overline { x }  \right) \left( \overline { x } -\mu  \right) +\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } =\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } -2n\left( \overline { x } -\mu  \right) \left( \overline { x } -\mu  \right) +\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } =\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } -2n{ \left( \overline { x } -\mu  \right)  }^{ 2 }+\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } =\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } +\sum { \left[ { \left( \mu -\overline { x }  \right)  }^{ 2 } \right]  } -2n{ \left( \overline { x } -\mu  \right)  }^{ 2 }=\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } +n{ \left( \mu -\overline { x }  \right)  }^{ 2 }-2n{ \left( \overline { x } -\mu  \right)  }^{ 2 }=\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } +n{ \left( \overline { x } -\mu  \right)  }^{ 2 }-2n{ \left( \overline { x } -\mu  \right)  }^{ 2 }=\\ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } -n{ \left( \overline { x } -\mu  \right)  }^{ 2 }

ここで期待値を取ります。

E\left( { S }^{ 2 } \right) =\\ E\left[ \frac { 1 }{ n } \left( \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } -n{ \left( \overline { x } -\mu  \right)  }^{ 2 } \right)  \right] =\\ \frac { 1 }{ n } E\left[ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } -n{ \left( \overline { x } -\mu  \right)  }^{ 2 } \right] =\\ \frac { 1 }{ n } \left( E\left[ \sum { \left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right]  } -E\left[ n{ \left( \overline { x } -\mu  \right)  }^{ 2 } \right]  \right]  \right) =\\ \frac { 1 }{ n } \left( \sum { E\left[ { \left( { x }_{ i }-\mu  \right)  }^{ 2 } \right] -n } E\left[ { \left( \overline { x } -\mu  \right)  }^{ 2 } \right]  \right) =\\ \frac { 1 }{ n } \left( \sum { Var\left( X \right) -nVar\left( \overline { X }  \right)  }  \right) =\\ \frac { 1 }{ n } \left( n\cdot Var\left( X \right) -n\cdot Var\left( \frac { 1 }{ n } \sum { { x }_{ i } }  \right)  \right) =\quad \\ \because Var\left( Y \right) =Var\left( a+bX \right) ={ b }^{ 2 }Var\left( X \right) \\ \frac { 1 }{ n } \left( n\cdot Var\left( X \right) -n\cdot \frac { { 1 }^{ 2 } }{ { n }^{ 2 } } Var\left( \sum { { x }_{ i } }  \right)  \right) =\\ \frac { 1 }{ n } \left( n\cdot Var\left( X \right) -\frac { { 1 } }{ { n } } \sum { Var\left( X \right)  }  \right) =\\ \frac { 1 }{ n } \left( n\cdot Var\left( X \right) -\frac { { 1 } }{ { n } } \cdot n\cdot Var\left( X \right)  \right) =\\ \frac { 1 }{ n } \left( n\cdot Var\left( X \right) -Var\left( X \right)  \right) =\\ \frac { 1 }{ n } \left( \left( n-1 \right) \cdot Var\left( X \right)  \right) =\\ \frac { n-1 }{ n } Var\left( X \right) 

つまり、母分散に$(n-1)/n$をかけたものが標本の分散と一致することがわかります。なので$n$を$n-1$にすることで、不偏推定量となります。

E\left( { S }^{ 2 } \right) =\frac { n-1 }{ n-1 } Var\left( X \right) =Var\left( X \right) 

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away