データ「観察」のすすめ〜データ分析から仮説を生み出すために〜

Last updated at 2023-12-11Posted at 2023-12-11

はじめに

私はリンクアンドモチベーションのデータサイエンティスト・アナリストとして働いています。

これまでは、主に、弊社コンサルタントの経験に基づき仮説を立て、データ分析を行ってきました。

しかし、最近は、新機能や新規プロダクト開発に携わることが増え、仮説のない問題に取り組むことが多くなりました。

少ない経験ではありますが、仮説がないデータ分析で、仮説を作っていくために大事だと思っているポイントをお伝えします。

そもそも、データ分析には「仮説検証型」と「仮説探索型」という二つの主要なアプローチがあります。

また、KJ法で有名な川喜田二郎は研究することについて、著書の中で「実験科学の前に野外科学が必要だ」と述べています。

このプロセスはW型問題解決モデルという形で、野外科学によって仮説を集め、実験科学によって仮説を立証するまでの流れを説明しています。

一般的にデータ分析というと「仮説検証型」を想起しますが、検証するための仮説を集めるフェーズも存在し、「仮説探索型」に振り分けられます。

そのため、これから取り組む分析が「仮説検証型」なのか「仮説探索型」なのか見極めることが重要になります。

ただし、分析が「仮説検証型」なのか「仮説探索型」なのか見極めることができたとしても、万事解決とはいきません。

なぜなら、「仮説検証型」と「仮説探索型」では、分析の性質、進め方が異なるためです。

では、「仮説探索型」において、どのような困難があるでしょうか？

仮説探索型分析では、分析後の方向性が明確でなく、結果を見てからでないと決定が難しいことが多いです。

これは、仮説検証型のステップが

仮説構築 → データ収集 → 分析 → 考察

であるのに対し、仮説探索型は

データ収集 → 分析 → 考察 → 仮説構築

となるためです。

つまり、仮説探索型では、仮説を持たずに進めることとなるため、考察の段階で具体的な問いを定めることが困難な場合があります。

特に、分析対象についてのドメイン知識が乏しく、そもそものデータから発想が湧きにくい場合は顕著にこの問題が起こります。

仮説探索型分析では、分析結果の考察によって仮説構築をしますが、その自由度が高いため、
分析者のバイアスや先入観が無意識にデータ解釈に影響を及ぼすことがあります。

このバイアスには大きく分けて3つの原因があると思っています。

データ取得の範囲を最適化し、統計的検証を行うことで選択バイアスは回避できますが、
認知バイアスと確証バイアスは考察の自由度が増すほど発生しやすくなります。

では、どのようにして仮説探索を乗り越えると良いでしょうか？

前述の川喜田二郎のW型問題解決モデルによれば、観察を通じて情報を集め、KJ法で整理し、仮説を考案するプロセスが提案されています。

そのため、観察を通じて情報を整理し、

データ収集 → 分析 → 観察 → 考察 → 仮説構築

というふうに、分析と考察の間に「観察」を挟むことで、明示的に考察前に事実情報を整理することができ、考察を容易にすることができると思います。

また、考察前に事実情報をまとめることでバイアスが入る可能性も減らすことができます。

では、どのようにすると観察によって、考察のための情報収集ができるようになるでしょうか？

私がこれまで経験してきて重要だと思ったポイントは以下の4点です。

仮説探索型分析の需要が増える中で、効率的な観察手法を開発することが重要です。

また、分析中の自己効力感を保つためにも、チェックポイントをマイルストーンとして設定し、一つずつクリアしながらメンタルを保つ効果もあるなと思いました。