有意差とは

有意差とは統計の文脈である事柄の起こる確率が本当に意味のある確率なのかを判断する指標のことです

また、有意差は数値で表されるわけではなく、有意差がある or 有意差がないの二択で表現されます

...？？？

具体例

コーラの製造会社を例を挙げてみましょう

この会社は一本あたり500mlのコーラを10000本製造しています
あるとき一人の社員が一本あたり500ml入ってなくね？と言い始めました
今からこの社員が言っていることが正しいかを検証していきましょう

このとき、帰無仮説と対立仮説は以下のようになります

帰無仮説：コーラ一本あたりは500mlに設定されている
対立仮説：コーラ一本あたりは500mlに設定されていない

製造するコーラ全ての量を測るのは現実的でないです
標本として100本のコーラを調べてみると、平均505mlでした

このとき、帰無仮説との差5mlは大きいのでしょうか、小さいのでしょうか

この5mlをどう捉えたらいいのかを判断を定量的に判断するのが有意差です

有意水準とP値

有意差を判断するため出てくる値が有意水準とP値です

ちなみに有意水準とP値と有意差は以下のような関係になります

有意水準とは

有意水準とはP値と比較するための基準のことです

もっというと有意水準とは有意差がある or 有意差がないと判断するためのP値の境界線となる、閾値的な値のことです

有意水準が高ければ高いほど標本が母集団から離れている可能性を許容することになります

有意水準 > P値が成り立つとき、有意差ありと判断できます

P値とは

P値とは帰無仮説が正しいとした場合、サンプルとした標本が帰無仮説からなる母集団からどれくらい離れているかを確率で表現した値のことです

先ほどの例で言うと、100本のコーラを調べて平均505mlとなる標本をとってくる確率のことです

P値と有意水準を比較して有意差を求めていきます

例えばP値が0.03だとして有意水準は一般的使用される5％としましょう
このとき有意水準 > P値が成り立つ、つまり取ってきた標本95％でよっぽど母集団からはずれていないだろうとできるため、「帰無仮説：コーラ一本あたりは500mlに設定されている」は棄却できます

参考記事