どうも！ExploratoryのIkuyaです。
顧客のエンゲージメントを測る指標の一つとして日本でも根付きつつあるNPS（ネット・プロモーター・スコア）について、Linkedinのプロダクト・マネージャーだったSachin Rekhiによる実践的なアドバイスがまとめられている記事が出ていたので、本日はそちらを紹介します。
- A Practitioner's Guide to Net Promoter Score (NPS) - Link
以下、要約。
はじめに
私はLinkedinでのキャリアを通じて顧客のロイヤリティを理解するためのKPI（Key Perforance Indicator / 重要業績評価指標）としてNPS（ネット・プロモーター・スコア）が有効であると確信しました。
さらにNPSはプロダクト体験の向上につながる、具体的なアクションに結びつく指標でもあると感じています。
この記事ではLinkedinで学んだNPSサーベイのベストプラクティスを紹介します。
語源
NPSは顧客のロイヤリティを測るために、ベイン・アンド・カンパニー（訳者注：ボストンを本拠とする米国のコンサルティング企業）のFred Reichheldが2003年に考案したものです。
彼は「伸ばすべきたった1つの指標」というハーバート・ビジネス・レビューでNPSを紹介し、NPSが企業の長期的な成長と密接に関わっていることを指摘しています。
計算方法
NPSは「私たちの会社やプロダクトを友人や同僚に推奨する可能性はどのくらいありますか？」というシンプルな質問の回答から計算されます。
回答は0〜10の間の数値で設定され、9〜10のスコアを付けた顧客を「プロモーター（推奨者）」、7〜8のスコアを付けた顧客を「パッシブ（中立者）」、それ以下を「デトラクター（批判者）」として定義します。
そして「プロモーター」の割合から「デトラクター」の割合を引くことで、NPSは算出されます。
従ってNPSのスコアは-100から100の間に収まり、一般的に0より大きいスコアは良いものとされ、+50を超えると、より優れているものとして捉えられます。
追加質問
NPSのサーベイでは上記の質問以外にも、「何でそのスコアを付けたのか」といった質問をすることも重要です。そうすることで、NPSは過去のパフォーマンスを測る指標から、将来のパフォーマンスを改善するための実用的な指標になります。
競合や代替プロダクトを推奨する可能性について質問することも有益です。なぜかと言うとプロダクト・カテゴリによってNPSのスコアは大きく変動するため、自分達のスコアが同業他社と比べてどうかが客観的に分かるからです。
なお、NPSで得られた回答は、見込み顧客や競合プロダクトを使っている人たちを含まず、基本的には自分達の顧客のみを対象としているので、結果にはバイアスがかかっているということを認識しておく必要があります。
また多くの人はNPSのスコアに何が影響しているかを知るために他にも様々な質問をしようとします。しかし、これはNPSの結果の理解に役立つかもしれませんが、逆に質問の量が増えたり複雑になってしまうことで、回答率が下がるという事態になってしまうことがあるので、注意が必要です。
回答の収集方法
一般的にオンライン・プロダクトのNPSスコアは、メールもしくはプロダクトを介して収集されます。
回答率を上げるためにパソコンおよび、モバイルでの調査を依頼することも望ましいです。
なおエンゲージメントが低い顧客はプロダクトを利用していなかったり、メールへの反応も弱いことが多いので、回答はエンゲージメントが高い顧客に偏る傾向があるということも認識しておくべきです。
これらの偏りへの対処について以下で補足していきます。
サンプル（回答者の集団）の選択
NPSサーベイで重要なことは顧客の代表的なサンプルを回答者として都度、選択するということです。簡単に聞こえるかもしれませんが、質問に対する回答率に偏りがあることを考慮すると、そこまで単純な話ではなく、サンプリングや分析でこれらの偏りを考慮、コントロールすることが重要です。
例えば、エンゲージメントとNPSには強い相関があることが分かっています。従って、サンプル（回答者の集団）が実際のユーザー全体のエンゲージメントレベルを等しく反映しているかどうかチェックすることが重要です。
同様に顧客のサービス継続期間とNPSの間にも相関があることが分かっています。従って、先のケースと同様にサンプルが実際のユーザー全体のサービス継続期間を反映していることが重要となります。
サーベイ頻度
NPSサーベイの頻度を検討する際、抑えておくべきポイントがいくつかあります。
1つ目はプロダクトの開発サイクルについてです。言ってしまえば、プロダクトの開発はNPSのスコアを良くするために行っているわけで、プロダクトがどのようなスピードでアップデートするかによってサーベイ頻度は決まるべきです。
2つ目はNPSは遅行指標であるということです。仮に顧客のプロダクト体験が向上するようなアップデートがあったとしても、ユーザーがそれを実感するには時間が必要なため、アップデートの影響がNPSのスコアに反映されるまでは時間がかかることを理解する必要があります。
ちなみにLinkedinでは四半期ごとの製品計画サイクルに合わせて、NPSのサーベイを実施してきました。これにより、四半期ごとのプロダクト・プランに入る前に最新のスコアを取得でき、サーベイから得たインサイトをプロダクト・ロードマップに反映できるようになりました。
サーベイ結果の分析
もしNPSを利用して、より良いプロダクト体験をもたらしたいのであれば、プロダクト開発に関わる主要なステークホルダー（訳者注：利害関係者）はNPSの分析に関わるべきです。
そうしないと、NPSサーベイがプロダクト開発に役立つことはほとんどありません。
具体的にLinkedinではプロダクト・マネージャー、プロダクト・マーケティング、市場リサーチ、ビジネス・オペレーションのメンバーがNPSの分析に携わっていました。またLinkedinではサーベイごとに発見できたことを開発チームにも共有してきました。
もちろん、今述べたことは、どのようにプロダクトが開発されるかに依存しますが、適切なステークホルダー（利害関係者）が最初から分析に関与することが重要です。
テキスト分析
NPSサーベイで最も実用的なパートは自由回答で得られた回答をプロモーター、デトラクターごとに分類して分析することです。
具体的にはプロモーターのコメントをプロモーターの主要な「ベネフィット・カテゴリー」に分類します。また一方でデトラクターのコメントは主要な「課題カテゴリー」に分類します。
最初は全ての回答結果を読んで、それぞれのカテゴリをつくります。そして我々はこれらの分析を四半期ごとに時系列のトレンドが分かるようにしました。
このカテゴリー分けで得られた結果から、ユーザーのプロダクト体験を向上させるためのロードマップの提案の基礎をつくっていきます。
全てのコメントに目を通すことは大変だと思うかもしれませんが、プロダクト・チームが顧客のプロダクト体験を直接理解する方法として、これ以上のものはありません。
プロモーター・ドライバー
多くの場合、NPSのサーベイではデトラクターのコメント分析に時間を費やします。一方でプロモーターに注目して、何が他の人と違うのかを分析することも役立つことが分かってきました。
具体的にはログイン、検索、プロフィールの閲覧などプロダクト内での特定のアクションとNPSの間に強い相関関係があることが分かりました。
そういった情報は、ユーザーが本当の意味でプロダクトの価値を感じた瞬間、言い換えれば「アハ・モーメント」が何によってもたらされるのかを推測することに役立ちます。
一度そういった強い相関関係が見つかれば、その指標の改善を目的にプロダクトを最適化し、プロダクト体験の向上につなげることできます。
これらの相関関係を見つける最良の方法はプロダクト内の主要なアクションを全て調べて、NPSスコアとの相関関係があるかどうかを調べることです。
調査の一貫性
NPSは質問の仕方で大きく結果が変わります。従って各サーベイの方法や質問の仕方が一貫していることが非常に重要です。そうすることで初めて、各サーベイの結果を比較することができるわけです。
例えば質問の順番一つとってもそうですし、競合や代替サービスの例にあげる企業の名前が変わっても結果は影響を受けます。その点において、質問の仕方を変えないことが望ましいです。
季節性
またNPSの結果は季節と相関があることも分かってきました。これはLinkedin以外のビジネスにも当てはまると思います。
そういった意味では季節の影響を最小限に抑えるために、四半期ごとの変化ではなく、前年比での変化をモニターすることが重要になります。
もちろん、前年と比べることが難しい場合もあるかと思います。重要なことは季節性がスコアに影響があるということを認識しておくことです。
NPSサーベイにおける注意事項
NPSは顧客のロイヤリティを理解したり、高めるための具体的なアクションを検討するために有効です。一方で下記のように注意が必要なこともあります。
- NPSのサーベイは頻繁に行われないので、日々のビジネスに役立つ指標にはなりにくいです。
- NPSの結果の許容誤差（信頼区間）はサンプルサイズによって変わってきます。そして、この許容誤差を小さくするために、より多くの回答を得ることは多くの場合、難しいです。こうしたことから、サーベイ結果のちょっとした上下に振り回されないことも重要です。
- NPSの分析がどれだけ有効であっても、それによってプロダクト戦略が作られるということはありません。NPSはプロダクト戦略が顧客にどのように受け入れられているのかを理解することに役立ったり、策定したプロダクト戦略を最適化するための方法を教えてくれるツールなのです。
以上、要約終わり。
あとがき
本日は顧客のエンゲージメントやロイヤリティを測る指標の一つであるNPS（ネット・プロモーター・スコア）についての記事を紹介しました。
最近、日本でもNPSサーベイの話は良く聞くようになりましたが、一方でエンゲージメントや顧客期間について考慮せず、選択バイアスがかかっている状態でNPSサーベイのデータを分析して、その結果を鵜呑みにしてしまうということはよくあります。
結果を分析する前に、そもそもNPSをサーベイをどうデザインするか、その前提となる条件をチームのみんなで共有できているかといったことが重要になってくるかと思います。
また、せっかくサーベイの結果が取れたのに、NPSスコアを出して終わりというのもよく見受けられます。高いNPSスコア、もしくは低いスコアと相関のあるプロダクトの機能や顧客のタイプといったものを探し出すことで、着実にプロダクトやサービスの改善につなげて行くことができる機会があるだけに、それではもったいないと思います。
もちろんこうした分析は、ただの数字の足し上げではなく、統計の手法などを使って変数同士の相関関係を探索していくことが必要になりますが、もし興味のある方は、下の方にリストしてある私達のセミナーやトレーニングに是非参加してみていただければと思います。
SaaSアナリティクス・セミナー
統計・機械学習のモデルを使って、サブスクリプション型ビジネスを成長させるための分析、 施策立案を実現する手法についての紹介セミナーを10月17日(木)に開催します！
興味のある方はぜひご参加ください！
- SaaS アナリティクス・セミナー - Link
さらにデータサイエンス・ブートキャンプ、11月開催！
データサイエンス、データ分析の手法を一から体系的に学び、現場で使える知識とスキルを身につけていただくためのトレーニング、データサイエンス・ブートキャンプを11月に開催します。
データを使ってビジネスを成長させたい、または問題を解決したいという方は、ぜひこの機会に参加をご検討ください！
- データサイエンス・ブートキャンプ - Link