データを見るときに気をつけている5つのこと

最近は開発のみならず、施策を考えることも多くなりました。

施策を考える上で重要なのはやはり カン データ ですね！
（いや、最後はカンが大事だったりすることもあるんですけども。）

そこで、私のようにデータを見ないといけなくなったエンジニアの方に向けて、
データを見るときに私が気をつけていることをご紹介したいと思います。

1. 数と率

あるサービスでユーザを獲得するために2種類の広告をしました。
その費用と獲得人数は以下の通りでした。

	広告A	広告B
費用	100万円	300万円
獲得人数	1,000人	1,500人

獲得人数を比較すると500人多い広告Bのほうが成功！となるわけですが、
獲得単価（一人あたり獲得費用 = 費用 / 獲得人数 ）で見てみると、

	施策A	施策B
獲得単価	1,000円	2,000円

広告Aのほうが費用を抑えられている、すなわち効率が良いことがわかります。

さらに広告C掲載したところ、こちらはなんと単価が100円で獲得できていました！すごい！！！
しかし、効率は良かったものの、獲得できた人数はたったの10人だとすると・・・

このように、効率さえ良ければよいというわけではありません。数を率をセットで見ることが大切です。

また、率は母集団を意識することも重要です。

『A大学合格実績100名！』『B大学合格実績80名！』 といった、学習塾の広告をよく見かけますよね。一瞬、この塾すごい！！って思ってしまいます。

でもよく考えてください。一体、何名の生徒が受講していたのか。
その塾の夏期講習だけ、いや、模擬テストだけ受けた生徒もカウントしている可能性は？
はたまた、1人の生徒が複数の大学に合格していた場合のカウントは・・・

『C大学合格率85%』と率になっている場合は、逆に都合の悪いデータを母集団から除かれていることはないでしょうか。

母集団はその数値の前提条件です。必ず確認するようにしましょう。

（注）学習塾になんの恨みもありません。ごめんなさい。

2. 比較

数年前に販売を始めたDIY関連の商品A。今年は様々な施策を実施して、売上前年比110%を達成しました
ですがよく見てみると、何も実施しなかった商品Bは200%、商品Cは250%を記録していました
どうやらコロナ禍のおうち時間の増加に伴って、販売が増えていたようでした・・・

数字は比較することで意味をなします。数字単体ではそれが良かったのか悪かったのかは判断できません。

商品Aは、
・ 前年と比較して10%増加した・・・◎
・ 商品Bと比較して成長率が90%低い・・・✕

と言えます。

このように過去データや別の商品と比較したり、他にも平均や目標などと比較するようにしましょう。

3. 分布

とあるサービスはユーザ数が10,000人で、平均課金額が5,000円でした。
その担当のAさんは、この平均課金額を6,000円にすべく、施策を考えることになりました。

『そうだ！6,000円課金してくれたユーザには○○をプレゼントする企画をしよう！
そうすれば、あと1,000円課金してくれるはずだ』

実施してから1ヶ月後...

なかなか平均課金額は上がりません なぜでしょう？

そこでヒストグラムを作ってみたところ

なんと、5,000円を課金してる人なんてほとんどいなかったのです！

ここでは例えばユーザを2グループに分けて、

• 低価格帯（平均課金額3,000円）のグループを3,500円にする
• 高価格帯（平均課金額7,000円）のグループを7,500円にする

という、2つの施策を実施する必要があったようです。

平均とは誰もが知っている便利な指標である一方で、特徴や実態が見えづらくなる指標でもある点に注意しましょう。

4. 時系列

Aさんは新規ユーザを獲得すべく、広告を打つことにしました。
すると・・・ あれよあれよユーザが増えていきます

してやったりとAさん。上司に承認を得て、広告予算を増やしてもらうことになりました。

以前の調子で広告を続けていると、突然上司に呼び出されて叱られてしましました。
そう、ROAS（広告の費用対効果）が悪化して、回収見込みが立たなくなっていたのです・・・

どうやら、広告をすればするほどユーザが増えると思い込んでいたことが原因のようでした。

世界的ベストセラーの FACTFULNESS にも、

「グラフはまっすぐになるだろう」という思い込みに気づくこと。実際には、直線のグラフのほうがめずらしいことを覚えておくこと。多くのデータは直線ではなく、S字カーブ、すべり台の形、コブの形、あるいは倍増する線のほうが当てはまる。

とあります。

現時点だけではなく、過去にさかのぼって全体を俯瞰しましょう。
そして、どんな形のグラフをしているのか、そしてその現象が起きている理由を推測する習慣を持ちましょう。きっとそれが未来に役立つはずです。

5. 相関関係と因果関係

Aさんは自社のウェブサイトの改善に取り組むことになりました。
様々なデータをひっぱり出してきて調べていると、ある法則があることに気づきました

『どうやら、Bというページを閲覧数が多いほど、サービス利用期間が長くなるようだ！』

そこで、Bページへの導線を増やす施策を行いました。

実施してから1ヶ月後...
Bページの閲覧数は増えたものの、なぜか利用時間は一向に変わりません

Bページの閲覧数とサービス利用期間には確かに相関関係はあったものの、因果関係はなかったようでした。

因果関係とは一方の「原因」によって、もう一方の「結果」がもたらされる関係のことを言います。

アイスクリームの売上と殺人事件の件数には相関があるのだそうですが、
『殺人事件を減らすために、みんなでアイスクリームの購入を控えよう！』
とならないのは誰の目からも明らかですよね。つまり、因果関係はありません。

その裏には、例えば気温といったの因果関係の因子が存在しているはずなのです。

データから見いだせるほとんどのことは相関関係です。
相関関係から、その裏に隠れている因果関係を探し当てる必要があります。

＜参考書籍＞
原因と結果の経済学
データ分析の力 因果関係に迫る思考法

まとめ

近年、ビッグデータやAIが様々な場面で活用されるようになってきたこともあり、データさえあれば何か課題の発見したり解決できたり思われがちですが、決してそうではありません。

データの見方や捉え方、つまりデータリテラシーがまず必要だと考えています。
それがないと、例えば因果関係のないことに対して多くの時間を割いた上に、誤った解決策を生み出してしまう可能性もあります。
さらにはそれが事態を悪化させることもありえます。

そういったことを頭において、データを見ていきたいと思っています。