今回の想定読者
今回のネタは、統計の中でも検定、その中のカイ二乗検定を扱っています。本記事を読んでいただけると、検定やカイ二乗検定の概要を知ることができます。
以下の様な方が想定読者です。
- 統計に興味があるがまだ何もできていない
- 検定とたまに聞くが、内容がよくわかっていない
- カイ二乗検定の概要を知りたい
ログビーの勉強会について
ログビー（Logbii）では、月一回オンラインの社内勉強会をしています。直近のものと、2025年以降のアーカイブを順次公開していきます。
ざっくりと、以下のルールで運用をしています。
- 月イチで、ランチタイムにオンライン開催（1時間）
- テーマ自由
- 持ち回りで開催
- ランチ代支給（2000円まで）、飲食可
- 業務時間扱い（業務時間を削る形）でOK
今回の勉強会について
今回は、2025年12月の勉強会アーカイブです。
フロントエンジニアのNiimiさんが発表しました！
それでは、以下本編です。
文系エンジニアが統計学に手を出した
目次
- 統計に興味を持ったきっかけ
- UX リサーチと統計の関係
- 統計の基礎と UX リサーチでの活用
- 実践編：カイ二乗検定
- まとめ
1. 統計に興味を持ったきっかけ
文系エンジニアの強みを活かしたキャリアパスを ChatGPT に聞いてみたところ、「UX を極めろ」とアドバイスを受けました。 そこから PDM（プロダクトマネージャー）、プロダクトエンジニアを志すようになり、リーン系の書籍を読み漁りました。
- 『UX リサーチの道具箱』
- 『リーンスタートアップ』
- 『LEAN UX』
- 『LEAN ANALYTICS』
UX リサーチを深堀りしていく中で、定量評価・定性評価の存在を知り、統計（定量評価）に手を出すことになりました。
2. UX リサーチと統計の関係
自分だけの完成では間違っている場合があると痛感しました。小さく作って、実際に使ってもらい、失敗して改善していく。このサイクルが重要だと考えています。 ユーザーの声を定量的・定性的に評価することで、より良いプロダクトを作るための指針が得られると感じました。
3. 統計の基礎と UX リサーチでの活用
統計は、心理学のような文系分野でも広く使われています。データを集めて分析し、傾向や関係性を見つけるための手法です。
おすすめ書籍：『完全独習 統計学入門』
4. 実践編：カイ二乗検定
問題
あなたは、アプリの新しいデザイン（A）と従来のデザイン（B）について、「使いやすい」と感じるかどうかを 100 人のユーザーにアンケートしました。結果は次の通りです。
| 使いやすい | 使いにくい | 合計 | |
|---|---|---|---|
| デザイン A | 30 | 20 | 50 |
| デザイン B | 20 | 30 | 50 |
| 合計 | 50 | 50 | 100 |
このデータから、「デザイン A と B で使いやすさの評価に違いがあるか？」をカイ二乗検定で調べてみましょう。
補足：人数が少ない場合の計算例
例えば、10 人で同じ調査をした場合：
| 使いやすい | 使いにくい | 合計 | |
|---|---|---|---|
| デザイン A | 3 | 2 | 5 |
| デザイン B | 2 | 3 | 5 |
| 合計 | 5 | 5 | 10 |
判断： 自由度 1 の臨界値 3.84 より小さいので、「統計的に有意な差がある」とは言えません。
人数が少ないと差があっても有意と判断できない場合があります。
補足：なぜ統計的な検定が必要なのか？
表を見ると「A のほうが使いやすい」「B のほうが使いにくい」と感じますが、この違いが「たまたま」起きた可能性もあります。
例えば、100 人のうち数人の意見が偶然偏っただけかもしれません。 統計的な計算（カイ二乗検定）を使うことで、
- 「この違いは偶然ではなく、本当に意味があるのか？」
- 「他の人でも同じ傾向が出るのか？」
を客観的に判断できます。
見た目の差が「本物の差」か「偶然の差」かを科学的に確かめるために統計的な検定が必要です。
ステップ 1：仮説を立てる
- 帰無仮説（H0）：デザイン A と B で「使いやすい」と感じる割合に違いはない
- 対立仮説（H1）：デザイン A と B で「使いやすい」と感じる割合に違いがある
コラム：帰無仮説と対立仮説の説明
- 帰無仮説（H0）：まず「違いはない」「効果はない」と仮定します。今回の例では「デザイン A と B で“使いやすい”と感じる割合に違いはない」とします。
- 対立仮説（H1）：「違いがある」「効果がある」と仮定します。今回の例では「デザイン A と B で“使いやすい”と感じる割合に違いがある」とします。
ポイント：最初は「違いはない（帰無仮説）」と仮定して検定を行い、データから「やっぱり違いがありそう（対立仮説）」と判断できるかどうかを調べます。
ステップ 2：期待値を計算する
各セルの期待値（「もし違いがなければ」どうなるか）を計算します。
ステップ 3：カイ二乗統計量を計算する
ステップ 4：有意水準 5%で判断する
計算したχ2の値と、カイ二乗分布表の値（自由度 1 の場合は 3.84）を比べて、違いが「統計的に有意」かどうかを判断します。
補足：なぜ自由度 1 なのか？
この表は「行が 2 つ」「列が 2 つ」の 2×2 表です。 自由度は「(行数 −1)×(列数 −1)」で計算します。
今回の場合：
- 行数：2（デザイン A、デザイン B）
- 列数：2（使いやすい、使いにくい）
計算式： (2−1)×(2−1)=1×1=1(2−1)×(2−1)=1×1=1
つまり、2×2 の表なので自由度は 1 になります。 この自由度を使って、カイ二乗分布表の値（臨界値）を調べます。
このように、カイ二乗検定を使うことで「デザインの違いがユーザーの評価に影響しているか？」を客観的に調べることができます。
解答例
ステップ 1：仮説
- 帰無仮説（H0）：デザイン A と B で「使いやすい」と感じる割合に違いはない
- 対立仮説（H1）：デザイン A と B で「使いやすい」と感じる割合に違いがある
ステップ 2：期待値の計算
ステップ 3：カイ二乗統計量の計算
ステップ 4：有意水準 5%で判断
- 自由度 1 のカイ二乗分布の臨界値は 3.84
- 計算したχ2（6）は 3.84 より大きいので、「違いがある」と判断できる
結論：
デザイン A と B で「使いやすい」と感じる割合に統計的な違いがあるといえます。
5. まとめ
統計に触れる前、数学コンプレックスが有りました。ただ文系エンジニアでも統計は十分に活用できると感じました。UX リサーチやプロダクト開発において、定量評価の力を身につけることで、より良い意思決定ができると思います。
ディスカッション
- UX以外に現場で統計を使うならばどのようなものがあるか（パフォーマンス評価など？）