アルゴリズムエンジニアやデータサイエンティストのようなデータに関するポジションを設けている企業がますます多くなっているが、直感でユーザグロースを考える部署は依然として多い。
事業開発の黎明期では、「直感ドリブン」の方が効率よく、場合によっては唯一の策とも言える。しかし、事業が発展するにつれて、「良い直感力」は徐々に使い果たされる。そのようなボトル・ネックでは「データドリブン」の価値が高まる。
以下では事業開発の4つの時期において、データアナリストによるデータドリブンのすすめを論じる。
高成長期：「直感ドリブン」による野蛮な成長
事業開発の黎明期では、成熟した類似製品や競合製品から成功経験を学ぶことで、短時間で高速な事業成長ができる。事業開発では、0→1は非常に難しい時期ではあるが、ユーザグロースの意味では、起点は0なのでこれは最も簡単な「野蛮な成長」ができる時期とも言える。
典型的な黎明期では、ブレインストーミングなどの「直感ドリブン」の手法から始まる。データアナリストはこの時期では、BIオペレーター的な役割になることが多い。サービスのOKRパフォーマンスを正確に反映できるダッシュボードを作成し、タイムリーにBIレポートを提供することが業務となる。
この時期においてデータアナリストの主な業務内容
- イベントトラッキングの設計、OKR設計、SQLとデータウェアハウスの導入
- 成長指標をタイムリーに分析、異常を検知・記録。カスタマージャーニーに合わせてデータセットを作成
- 記述統計でサービスの成長ポイントを発見：
- ユーザーラベル、ユーザーアクションの記録で、ページ別・機能別のユーザー密度を統計
- ファネル分析で各プロセスのコンバージョン率を評価、サービスのボトル・ネックを見つけてエクスペリエンスを改善
- 競合製品との比較分析で、現在の成長率を評価し、今後の成長見込みを予測
低成長期：科学的な実験によるアップデート
「直感ドリブン」でのグロースは持続可能ではない。ユーザー数が増加するにつれて、成長はいずれ鈍化する。激烈な影響を与えられるアップデートはますます見つかりにくくなり、実装前後の記述統計だけでバージョンの評価ができなくなる。
この時期におけるデータアナリストのミッションは、開発や企画の部隊と協働し、科学的な実験ができるような効果測定システムを構築すること。「ABテスト」や「カナリアリリース」といった典型的な統計手法では、アップデートの小さいな成果を科学的に測定でき、バージョンの評価をサポートできる。同時に、科学的な「ABテスト」や「カナリアリリース」を導入することにより、複数のアップデート案を同時にテストすることが可能に、バージョンアップの行方を従来より素早く見つけることができる。
この時期においてデータアナリストの主な業務内容
- 実験設計及び分析、実験コンサルティング、統計指標の設計
- 企画、開発部隊と協働し、並行テストができるようなABテストのプラットフォームを構築。ABグループ分け、統計的有意差検定の業務を自動化。
- 実験結果のレポートをテンプレート化し、企画部隊を実験設計と分析ができるように育成する。
横ばい期：データドリブンによる新しい成長指標の発見
事業の横ばい期に入ると、直感で考えたアップデート案の成功率は大幅に下落する。統計的に有意ではない案と、負の相関関係になってしまう案も出てくるだろう。
この時期においてデータアナリストがやるべきことは、今ままでの統計コンサルタントのような役割から脱出し、データドリブンなプロダクトオーナーとして能動的に企画会議や経営会議に参加し、事業の全体像を俯瞰してOKRに関わる潜在な課題と新しい成長指標を見つけること。
グロースハックのAARRRモデルを用いて具体的に述べる。AARRRモデルでは、この時期において最も重要な成長指標は継続利用率である。ユーザーグロースの成果は、「新規ユーザー数＋リテンションユーザー数＋アクティブユーザー数×継続利用率」という式で描写できる。成熟した事業を持続的にグロースさせるために、最も経済的かつ効果的な手法は、アクティブユーザー数の継続利用率を向上させること。そこで、継続利用率と正しく相関する指標を発見し、そしてそれを新しい重要な成長指標として提示するのがデータアナリストのミッション。
さらに分かりやすく説明するために、コミュニティサイトの事例を挙げる。あるコミュニティサイトでは、今まではCTR、いいね数÷閲読数、ふぁぼ数÷閲読数などの指標でコンテンツの推薦アルゴリズムを構成した。しかしながら差分の差分分析（Difference-in-differences design）をしたところ、いいね数÷閲読数、ふぁぼ数÷閲読数は継続利用率と非常に弱い相関関係を示した。一方で、CTRと今まで考慮しなかった精読率は継続利用率と強い相関関係を示した。この分析結果に踏まえ、アルゴリズムエンジニアは推薦アルゴリズムを大きく改変し、CTRのウェイトを高めると同時に、精読可能性と平均閲読スピードなどの変数も採用し、Multi-Objective Optimizationモデルに基づいたアルゴリズムを設計した。この改変のおかげで、サービスの継続利用率が大幅に向上し、新規ユーザー獲得キャンペーンを実施していないにもかかわらず、継続利用率が高くなることにより、アクティブユーザーを増やすことに成功した。
この時期においてデータアナリストの主な業務内容
- 過去のOKR、アルゴリズムとデータを用いて模索型研究を行う。OKR、アルゴリズムで使用している指標・変数と、会社全体の経営目標との相関関係を明らかにする。企画部隊と協業し、新しい目標と成長指標を定義する。
- 模索型研究のツール化を推進し、企画部隊を指標とOKRの最適化ができるように育成する。
再成長期：データドリブンのもとでユーザーをセグメント化
横ばい期を経過したサービスは、衰退期に入らないための取り組みとして、新しい機能やスピンオフサービスを企画することが多い。この時期における経営の課題は、新しい機能やスピンオフサービスをリリースしたとき、指標の間にトレード・オフが見出されたことが多く、データを用いてリリースを評価することが難しい。
この課題を科学的に解決するためには、ユーザーをセグメント化する必要がある。ユーザー全体を一つのペルソナとして集約してユーザーエクスペリエンスを分析することは、ユーザー数が膨大なサービスには非常に相応しくない。ユーザー全体が示した「見掛けの影響」は、セグメントユーザーに与えた「本質的な影響」の合計であり、「本質的な影響」はセグメントによって大きく異なることがある。
したがって、この時期におけるデータアナリストのミッションは、セグメントごとに低成長期でやっていた「実験」と安定期でやっていた「模索型研究」を行い、データドリブンによる戦略策定・アルゴリズム設計のプロセス化を実現すること。
この時期においてデータアナリストの主な業務内容
- セグメント別で実験を行い、正の結果が示されたセグメントで実装し、負の結果が示されたセグメントで実装を見直す。
- プロダクトマネジャーと協働し、ユーザーインタビューと模索型研究を行い、満足度が低いセグメントユーザーを対象に新しい成長指標を見つける。
- セグメント別で異常検知・要因分析を行い、課題と成長点を素早く見つける。