私がZennで記事にしていた内容の転写です。
はじめに
この記事は統計検定2級の資格取得を目指す方で、初めて統計学を学ぶ方を対象としています。特に統計WEBの統計学の時間で試験対策だけで進めていると、P値について理解が曖昧になる方も少なくないかと思います。そのような方への理解の助けを目的としています。
P値
P値（p-value）は統計学において非常に重要な概念で、実験や観測データから得られた結果が、帰無仮説の下でどれだけ起こり得るかを数値で示します。ここで、帰無仮説とは通常、検証したい主張の否定形（例えば、効果がない、差がないなど）を指します。
P値の意味
P値は、帰無仮説が真であると仮定した場合に、観測された統計量（またはそれよりも極端な値）が得られる確率です。小さいP値は、観測データが帰無仮説と矛盾していることを示唆します。これは、帰無仮説の下で観測された結果が非常に珍しい、または予期せぬものであることを意味します。逆に、大きいP値は、観測データが帰無仮説と矛盾しないことを示します。これは、観測された結果が帰無仮説の下で十分に起こり得るものであることを意味します。
P値の使用
統計的検定では、通常、P値を事前に定義された有意水準（例: 0.05）と比較します。P値がこの有意水準よりも小さい場合、結果は「統計的に有意」と見なされ、帰無仮説は棄却されます。しかし、P値が大きい場合は、帰無仮説を棄却する十分な証拠がないとされます。これは帰無仮説が真である証明ではなく、単に棄却するだけの証拠が不足していることを意味します。
注意点
P値は、帰無仮説が真であることの証明ではなく、あくまで観測されたデータが帰無仮説の下でどれだけ珍しいかを表す指標です。
P値は、実験の実際の意義や重要性を示すものではありません。結果の解釈には、P値だけでなく、実験の文脈、効果の大きさ、他の証拠なども考慮する必要があります。
要するに、P値は、特定のデータが帰無仮説の下でどれだけ起こり得るかを示す確率値ですが、これを解釈する際には注意が必要です。統計的有意性と実際の重要性は必ずしも同じではありません。
統計量t,ZとP値の関係性
P値とt分布で用いられる統計量tや、標準正規分布で用いられる統計量Zと有意水準の違いを理解する必要があります。
P値と、t分布で用いられる統計量tや、標準正規分布で用いられる統計量Zは異なる概念ですが、密接に関連しています。それぞれの違いを説明します。
統計量t（t値）
t値は、t検定で使用される統計量です。
母集団の標準偏差が未知で、サンプルサイズが小さい場合に用いられます。
t値は、サンプルの平均値が母平均からどれだけ離れているかを標準誤差で標準化したものです。
母分散が未知の場合におけるt値は、次の式で計算されます：
$$
t=\frac{\bar{x}-\mu}{\sqrt{\mathstrut \frac{s^2}{n}}}
$$
統計量Z（Z値）
Z値は、標準正規分布で使用される統計量です。母集団の標準偏差が既知で、大きなサンプルサイズの場合に用いられます。Z値は、サンプル平均が母平均からどれだけ離れているかを母集団の標準偏差で標準化したものです。母分散が既知のZ値は、次の式で計算されます：
$$
Z=\frac{\bar{x}-\mu}{\sqrt{\mathstrut \frac{\sigma^2}{n}}}
$$
P値
P値は、統計的検定の結果を表す確率値で、計算されたt値やZ値が得られる確率を示します。P値は、帰無仮説が真であると仮定した場合に、観測されたt値やZ値（またはそれ以上の絶対値）が得られる確率です。
P値は、t分布または標準正規分布（Z分布）の確率密度関数を用いて計算されます。
関係性
t値やZ値は、サンプルデータに基づく計算結果で、P値はこれらの値に基づいて決定されます。
t値やZ値が大きい（つまり、観測値が帰無仮説から大きく離れている）場合、P値は小さくなります。逆に、t値やZ値が小さい（観測値が帰無仮説に近い）場合、P値は大きくなります。
要するに、t値やZ値はデータに基づいて計算される特定の値であり、P値はこれらの値がどれだけ帰無仮説と一致するかを示す確率です。
P値と確率密度関数の照らし合わせ
おおまかな関係性を理解できたところで、実際の数値を使って理解を深めます。今回は標準正規分布表の95％信頼区間での1.96よりもやや大きい1.99がZ値となった場合を想定します。この場合のP値は確率密度関数で表されるZ＞1.99の面積という理解が正しいのでしょうか。
ほぼ正確な理解ですが、少し補足が必要です。P値は、特定の統計的検定で得られた統計量（この場合はZ値）に基づいて、帰無仮説が真であると仮定した場合にその統計量が観測される確率です。しかし、P値を求める際には、統計量の「絶対値」が考慮されます。
P値とZ値の関係
例えば、Z値が1.99の場合、P値は「Z値が±1.99（またはそれ以上の絶対値）になる確率」を指します。
標準正規分布（Z分布）では、この確率はZ値が1.99より大きい（Z > 1.99）または1.99より小さい（Z < -1.99）領域の面積の合計です。
両側検定の場合
両側検定の場合、P値は分布の両端にある対応する領域の面積を合計したものです。つまり、Z > 1.99とZ < -1.99の面積を合計します。
Z値が正または負のどちらか一方の場合でも、P値はその絶対値に基づいて計算されます。
片側検定の場合
片側検定の場合、P値は片方の端だけの面積に基づきます。例えば、右片側検定の場合はZ > 1.99の面積だけを考慮します。
結論
したがって、Z値が1.99である場合のP値は、標準正規分布におけるZ > 1.99の面積だけでなく、Z < -1.99の面積も含めた合計面積（両側検定の場合）を示します。これにより、帰無仮説を棄却するための基準として用いられます。