p値と合わせて示したい効果量
最近の学術論文では、実験で有意な差があるかどうかを示すp値だけでなく、その差にどれだけの効果があるかを示す効果量の提示が求められています。
平均値の差の検定には、効果量としてCohenのdとHedgesのgの2つがあります。一般的に2つの違いは効果量を算出する際に分散を使用するか、不偏分散を使用するかです。分散は、偏差の2乗和をnで割り、不偏分散は偏差の2乗和をn-1で割ります。母集団を推定するという観点では不偏分散が望ましいと考えられますが、サンプルサイズが大きければ結果にほとんど違いはありません。
ちなみに、SPSS Statistics 27で算出されるCohenのdは不偏分散を使用しています。また、Hedgesの補正は、その不偏分散を使用して求めたCohenのdに補正をかけた値を出力しています。
対応のあるサンプルのｔ検定の効果量
実際にSPSS Statistics 27 で算出してみました。
分析メニュー＞平均の比較＞対応のあるサンプルのｔ検定を選択して、対応のある変数をセットします。
ここでは、同じ被験者のgrade8とgrade9の測定値を比較しました。
そして、☑効果サイズの推定を選択すれば効果量が算出できます。
効果量の選択肢には、◯差の標準偏差、◯差の不偏標準偏差、◯分散の平均があります。
さて、どれを選択しましょう？選択肢があると迷いますね。前半の流れからすると◯差の不偏標準偏差が良さそうにも思えます。
それぞれの算出方法はアルゴリズムガイドを参考にします。
ftp://public.dhe.ibm.com/software/analytics/spss/documentation/statistics/27.0.1/en/client/Manuals/IBM_SPSS_Statistics_Algorithms.pdf
さらに、アルゴリズムガイドを見ていると論文の紹介がありました。
Dunlap, W. P., Cortina, J. M., Vaslow, J. B., and Burke, M. J. (1996). Meta-analysisof experiments with matched groups or repeated measures designs. Psychological methods, 1(2):170.
要約すると対応がある2群間の相関が大きいほど、誤差は小さくなるため、検定統計量は大きくなります。2群間の相関を考慮せずに検定統計量から効果量を計算すると、効果量を過大評価します。なるほど！
効果量を算出する際に相関を使って調整しているのが◯差の不偏標準偏差でした。つまり、2群間の相関が高い場合には、◯差の不偏標準偏差を選択した方がよいということですね。
効果量を比較
3つのパターンで実行した結果を比べてみます。2群の相関は0.81です。
[ポイント推定]が効果量の値です。
調整しない(差の標準偏差)場合の効果量が過大評価されていることがわかります。
■対応のあるサンプルのｔ検定◯差の標準偏差
■対応のあるサンプルのｔ検定◯差の不偏標準偏差
■対応のあるサンプルのｔ検定◯分散の平均
最後に
p値だけでなく効果量の算出もこれでバッチリですね。
アルゴリズムガイドには、計算式だけでなく参考文献の記載もあるので役立ちますね。