よくスタートアップやSaaSの世界などでノーススター（北極星）指標が注目されます。自分たちのビジネスを成長させるために組織の全員が一丸となって追うべき1つの指標というものです。
例えば、アクティビティの指標であるDAU（Daily Activity Users）やMAU（Monthly Active Users）であったり、またはエンゲージメントを測るためのDAU/MAU、またはそれこそ売上やMRRであったりするかもしれません。
データや数値を元にビジネスを成長させようということで、こうした「ノーススター」指標を決め、ダッシュボードなどで毎週、毎月モニターし始めます。
ところが、ここから誰もが話したくないことが起き始めます。
たいていの組織や企業の中の人達はこの指標をだんだん見なくなる、または本気にしなくなります。
実際見ている人は経験あると思うのですが、こうした指標の数値は良くなったり悪くなったり、つまり上がったり下がったりするものです。ずっと上がり続けたり、下がり続けたり、といったことはあまりありません。
そしてここからがさらに悪い問題です。
この数値が良かったときはみんなウキウキし、褒め合ったり、成果を誇示したりし、逆に悪くなったときはみんなの（特に上司の）機嫌が悪くなり、どなったり、文句を言ったり、他の誰かを責めたり、といったことになります。
そうこうしてるうちにみんな指標に振り回されることに疲れてきて、半年も経てばみんなだんだん見るのも嫌になり、終いには誰もこのノーススター指標を見なくなるのです。
せっかく「データドリブンになるぞー！」といって勢いよく始めたプロジェクトは、こうして何かしっくりこないうちに終わっていきます。
もちろん現実はここまで極端ではないかもしれませんが、これに似たような経験のある方も多いのではないでしょうか？
ちなみに、私は直接こういう経験をしたことが過去に何度かありますし、お客様などからこういった話を寄せられることも多いです。
ではなぜ、こういったことが起こるのでしょうか？
そもそもデータを使って、または指標を使ってビジネスを改善するなんてことは無理なんでしょうか？
いえ、そんなことはありません。上のような状況になるのは実は当たり前で、というのもそれはノーススター指標の使い方を間違えているからなのです。
そもそもノーススター指標とは、みなさんのビジネスにおける様々な活動や施策の結果が最終的に数値として表されるものです。つまり「結果の指標」です。
結果なので、この指標が悪かったというとき、すでにゲームは終了しているのです。もちろん、次の月、四半期に向けて何か対策しようということになりますが、相変わらずこの結果の指標を見ているだけでは、何も変わりません。というのも、みなさんがいったい何をすればよいのか、何を軌道修正すればよいのか、この指標は何も教えてくれないからです。
ノーススター指標という結果の指標を宗教的に追い続けてしまい、その結果に影響を及ぼすためのどういったアクションを起こせばよいのか学ぶための指標を終えてないのが問題なのです。
これでは、「データを使ってビジネスをドライブ」するという意味でのデータドリブンではなく、「データにドライブされる」という意味でのデータドリブンになってしまいます。
そこで、ノーススター指標をモニターすることの問題点と、ビジネスを改善するために追うべき指標の決め方の話を、以下の記事の要約という形でみなさんと共有したいと思います。
- Don't Let Your North Star Metric Deceive You - リンク
以下、要訳。
1つのノーススター指標を追うことに関して4つの問題があります。
1. ノーススター指標はアウトプット指標
このノーススター指標というのはアウトプット指標です。
ビジネスでモニターする指標はアウトプット指標とインプット指標の２つに分けられます。アウトプット指標というのは結果の指標であり、インプット指標は結果に影響を及ぼすアクションに関するものです。
アウトプット指標はみなさんのビジネスが成長しているのかどうか確認するための指標であり、それは長期的にモニターしていくものです。例えば、収益であったり、月ごとのユーザー数であったり、MRRなど、こういったものはアウトプット指標となります。
それに対してインプット指標はアウトプット指標に影響を与えるもので、先行指標とも呼ばれるものです。例えば、ページの閲覧数、ユーザーのサインアップ数、アプリの立ち上げ回数、イベントへの参加人数、といったものです。
ビジネスがうまくいっているかどうかはアウトプット指標を見ていればわかります。しかしビジネスを成長させるためには、組織内、チームのメンバーは自分たちの活動が直接影響を与えることができるインプット指標に集中する必要があります。
Spotifyのケース
ここでSpotifyを例にアウトプット指標とインプット指標を見てみましょう。
Spotifyのユーザーはこのプラットフォーム上で音楽を聴くことによって最大の価値を得ることができます。そこで「音楽を聴いた時間」をアウトプット指標とするのは特に不思議でもないでしょう。
ここでよくあるのは、この指標のパフォーマンスを上げる、つまり「音楽を聴いた時間」を増やすためには何ができるかというアイデア出しの議論です。しかし、こういった議論はたいていの場合時間のムダに終わり、出てくるアイデアはどれもすでにトライしたものか、あまり実行性のない抽象的なものばかりです。
これでは、「音楽を聴いた時間」という指標をモニターしていても、何も効果的な行動を起こすことができません。
ここで問題なのは、「音楽を聴いた時間」というのはアウトプット指標で、自分たちが普段行っているいくつもの活動、アクションの結果であるからです。ここで必要なのは、そうした個別のアクションが何なのかを明らかにし、それらのアクションを測定できるいくつものインプット指標に分解することです。
ここで、質問です。
「ユーザーが音楽を聴くことにより多くの時間を費やすことにつながるであろうアクションとは何でしょう？」
例えば以下のような２つの答えがあるでしょう。
- ユーザーがSpotifyアプリを頻繁に開くよう誘導する。
- 一回のセッションでより多くの時間、音楽を聴きたくなるようにする。
１つ目の場合、ユーザーがSpotifyアプリを頻繁に開くよう誘導するために、ユーザーがアプリを開く回数や月あたりのオープン率がインプット指標となるでしょう。
さらにそれぞれのアクションを分解し、もっと細かいレベルのアクションとして定義することもできます。例えば、ユーザーがSpotifyアプリを頻繁に開くよう誘導するには、フォローしているアーティストの新しく追加された音楽やニュースの通知が役立つかもしれません。その場合は通知数、または通知が開かれる率などがインプット指標となるでしょう。
このようによりアクションに近いレベルの指標を定義していくと、それはプロダクトの機能やサービスに近くなっていき、改善するために何か具体的なアクションが起こせるようになります。ここでのポイントは、アクションに近いレベルのインプット指標を持つことで、自分たちのアクションを実験し、それらがうまくいっているのかどうか検証できるようになるということです。
2. ノーススター指標は遅行指標
次の問題は、ノーススター指標は遅行指標であって、先行指標ではないということです。
例えば、アフリカのサバンナにいるライオンの数を増やすために、ライオンの数をノーススター指標として毎月モニターしていたとしましょう。
するとある時、先月のライオンの数は急激に減ったと言ってマネージャーが飛び込んできました。
ここで、よく調べてみると実はライオンが主食にしていたシマウマの数が数か月前から減り始めていました。
もし、ライオンの主食がシマウマであり、シマウマが減ればライオンの数も減るという自然の原理を知っていれば、ライオンの数だけでなく、シマウマの数もモニターしていたことでしょう。なぜなら、このシマウマの数こそがライオンの数に先行する先行指標で、ライオンの数はその結果にしばらく時間が経ってから影響される遅行指標だからです。
遅行指標の数値が出てきたときには、もうすでに遅いのです。何もできることはありません。しかし先行指標の数値を見ていて、その結果が悪くなっているのであれば、遅行指標が悪くならないように何か対策を打つことができたでしょう。
3. １つのノーススター指標はビジネスの１つの側面しか捉えない
どんなビジネスでもそのビジネスが上手くいっているのかを判断するには、いくつかの点から見る必要があります。例えば、どんなプロダクトでもユーザーのリテンション、エンゲージメント（プロダクトをどれだけ熱心に使っているか）、そして収益化という少なくとも３つの視点が必要です。
以下は、元AtlassianでグロースチームのトップであったShaun Clowesによるコメントです。
「いつもそれこそ星空のようにたくさんのインプット指標があり、それらを絶えず実験していました。そして、アウトプット指標への影響という意味で役立つかどうかいう観点から絶えず新しいものを追加したり、古いものを捨てたりしていました。インプット指標は頻繁に変わるものなのです。」
ここでSlackとHubSpotCRMの事例を見てみましょう。
Slackの例
Slackにとって重要なアウトプット指標はDAUでした。しかし、これはリテンションとは関係がありますが、エンゲージメントや収益化とはあまり関係がありません。DAUは増えているのに、どのユーザーも有料ユーザーとしてコンバートしなかったら、よくありませんよね。また、DAUは増えてても、一回のセッションでの使用時間が短かったり、同じユーザーが何度も使うことがない場合は、エンゲージメントに問題があります。
HubSpot CRMの例
チームで使うことを売りにしているプロダクトであるHubSpot CRMは、週ごとのアクティブなチームの数をアウトプット指標として追っていました。ただこれもDAUと同じで、リテンションという点から現在うまくいってるかどうかはわかるのですが、エンゲージメントや収益化については何も示唆しません。
それらのチームはどれだけエンゲージメントが高いのでしょうか？そうしたチームは収益を生んでいるのでしょうか？こういったことは1つの指標を見ていてもわかりません。
4. ノーススター指標は指標間のトレードオフについて語らない
複数の指標間で起きるトレードオフ（片方が良くなれば、もう片方は悪くなる）はよく起きるもので、それに気づいたときには時すでに遅しということが多々あります。こうしたトレードオフの関係にある指標のうちの1つだけをモニターするのはありえないことです。
1つの指標が良くなるとき、他の指標にはどういった影響があるのか注意深く見ましょう。
LinkedInでのトレードオフ指標
もしあなたがLinkedInでグロースチームのメンバーで、ニュースフィードの収益化を良くするために仕事をしていたのであれば、「ユーザーあたりの広告収入」をノーススター指標として採用するかもしれません。
この数字を良くするにはニュースフィードにより多くの広告を差し込むことができます。しかしこれは同時に、ユーザー体験を悪くするものであり、それは長期的にはリテンションやエンゲージメントにおける問題となって現れるでしょう。
リテンションやエンゲージメントに注意を向けることなしに、チームが一丸となって広告収入のみにフォーカスしていれば、それはニュースフィードというサービス自体が死んでしまうことになり、最終的にはLinkedInの他のサービスに対してもネガティブな影響を与えることとなるでしょう。
モニターすべき指標をどうやって決めればよい？
それではここで最後に、ビジネスを改善していくためにはどの指標を見るべきなのでしょうか？
どの指標を見るかはそれぞれのビジネスによって違いますが、ここではそうした指標を決めるときに役立つガイドラインを3つほど提案します。
1. 複数のアウトプット指標を選ぶ
まずはアウトプット指標を決めることからですが、その際にあなたのビジネスの様々な側面をカバーするための複数のアウトプット指標を選ぶことです。それらは少なくともリテンション、エンゲージメント、収益化といったものをカバーできているべきです。
2. アウトプット指標をインプット指標に掘り下げる
いくつかの重要なアウトプット指標を決めたら、次にやらなくてはいけないのは、それらのアウトプット指標に影響を与えるであろうという仮説を元にしたたくさんのインプット指標を見つけ出して下さい。このときに注意しなくてはいけないのは、あなたが何かの行動を起こせるという意味で直接影響を与えることができる指標を選ぶことです。
これらの指標は完璧である必要はありません。しかし、決めたのであれば実験し始めるべきです。そうしたインプット指標の数値を良くするために活動し始め、データを集め始め、実験し始めるのです。
インプット指標はアウトプット指標に影響を与えるものである、というのがゴールですが、いつもそうとは限りません。そこで、実験を始め、データを取り始めたなら、それらのインプット指標とアウトプット指標の関係を注意して見ていく必要があります。もし、何も影響がないようなら、それらのインプット指標は捨てるべきです。
ここで重要なのはどのインプット指標がアウトプット指標に影響を与えるのか、つまり先行指標として使えるのかを見極めていくことです。
3. トレードオフとなる指標を理解しモニターする
最後に、全てのアウトプット指標を把握し、それらの間の関係を理解し、トレードオフとなる指標に注意を向けることです。多くの指標は互いに何らかの関係があるものです。
ある指標を改善した場合、その影響で悪くなる可能性のある別の指標は何なのか、他のどのビジネスやサービスに影響するのかをあらかじめ想定し、全体としてバランスが保たれるようモニターし続ける必要があります。
要訳、ここまで。
あとがき
本文でも述べられていたように、追うべき指標をアウトプット指標とインプット指標に分けるというのは大変重要な点です。アウトプット指標まではモニターできているのですが、意識してインプット指標を定義できている組織はあまりないというのが現状です。
しかし、このインプット指標の定義とそのモニターこそがデータを元にビジネスを改善するためには不可欠です。
もちろん、自分たちのビジネスにとって最適なインプット指標を見つけ出すのは簡単に行かないものですし、教科書のように答えがあるものでもありません。自分たちの答えを出すまでには様々な紆余曲折があるものですし、一度見つかったとしてもビジネスを取り巻く環境の変化に合わせて絶えず調整したり変えたりしていく必要があります。
しかしそれは、改善のプロセスが地道なもので、毎日の努力こそが改善につながるのと同じです。いくつもの実験と検証を通して自分たちに最適な指標を作り上げ、そしてさらに進化させていく、そうした努力こそがデータドリブンな組織には欠かせません。
一番良くないのは最初の一歩を踏み出さないことです。
ぜひ、インプット指標を実験し始めてみてはいかがでしょうか。
データサイエンス・ブートキャンプ・トレーニング
いつも好評のデータサイエンス・ブートキャンプへの参加申し込みを現在受付中です！
データサイエンス、統計の手法、データ分析を1から体系的に学び、ビジネスの現場で使える実践的なスキルを身につけていただくためのトレーニングです。
ビジネスの改善、そして「よりよい意思決定」のために必要となるデータを元にした科学的思考のフレームワークもいっしょに身につけていただけるトレーニングとなっています。
興味のある方は、ぜひこの機会にご参加検討ください！
- データサイエンス・ブートキャンプの詳細ページ - リンク