この記事はモチベーションクラウドシリーズ Advent Calendar 2022の投稿です。
テックブログのお知らせ
弊社ではテックブログもやっております。宜しければこちらもどうぞ！
https://link-and-motivation.hatenablog.com/
はじめに
私達のチームではデータサイエンティスト・データエンジニアとして、自社のSaaSプロダクトのお客様の利用状況等のデータを用いて解約予測を行うモデルを作成し現場のコンサルタントに予測結果を公開、顧客価値向上のためのPDCAの材料にしてもらっています。
- このような取り組みはSaaSビジネスにおける顧客のカスタマーサクセスを目指す上で非常に重要で、一般に「ヘルススコア」と呼びます
- 国内だとSanSanさんが特にこの領域で先進的な取り組みを共有されており、僕たちもよく参考にさせていただきました(こちらを参照)
課題
しかし、それまでの文化や慣習をいきなり変え、これまで見てこなかった種類のデータを元にしたPDCAを行う様に組織や人の心理を変えることはなかなか難しいものです。
我々もせっかくヘルススコアを作ったはいいものの、組織に浸透させ、実際に現場のコンサルタントの皆さんに使って頂き価値につなげるまでには長い年月の中でたくさんの失敗を重ねてきました。
例えばこんな感じ
私:「精度高くお客さんの解約予測出来るモデル出来ました！ あなたの担当するお客さんが辞める確率XX%です！ なんとかしてください！」
現場のコンサルタント：「お、おう（最近担当者の方にお会いした時そんな素振りもなかったし、そんなはずないんだけどな、、）」
私:「ダッシュボード作りました！！ 使ってください！！」
現場のコンサルタント：「ありがとうございます！(とはいえ使うのMustではないよね。使わなくていいかー)」
やったこと
こういった状況に対して、打った打ち手は以下の3つです。
1. Quick Winを目指す
2. 徹底したホワイトボックス化
3. お互いの限界を認識し、役割の握り直し
1. Quick Winを目指す
DXを進める上でも重要と言われていてご存じの方も多いかもしれませんが、まずは小さな部署で初期に成功体験を出そう！ ということです。
導入当初は全社で導入しようとしてヘルススコア作ってはいたものの、スコア自体の信頼感を全体に波及させることが出来ず、活用しきれていませんでした。
なのでまずは部署を絞って、違和感が減るようにロジック/ダッシュボードを小さく改善するということを地道にやって、信頼を得る事が大事だと思います。
僕らの場合もある特定のエンタープライズ向けの部署で、顧客の状態をCSとCSMお客様の状況の認識をすり合わせるMTGに参加させてもらって、スコアの違和感だったりをヒアリングして地道に改善を進めました。
今回のヘルススコアで言えば、具体的には解約率に困ってるチームとか、データ活用とかに積極的なチームにターゲットを絞ることが重要でした。
2. 徹底したホワイトボックス化
「ただ単に予測精度を上げることのみ」 を目的においてモデリングを行うと、NN系やlightgbm等の木構造のモデルなどを採用し、アンサンブルさせ、、たくなりますが、ぐっと堪える事が大切な場面もあります。
なるべく精度も出るが、説明可能性の高いモデルを活用しましょう。
現場のコンサルタントが結果を見たときにひと目で「なぜこの予測結果になるのか」が説明できなくなる可能性が上がるためです(複雑なモデルにすることで予測精度の向上は見込めますが、解釈可能性とのトレードオフになります)
ここ数年limeやshap等、機械学習モデルを局所的に解釈する技術も発展しており我々もこれらを使うことで「精度と説明可能性のトレードオフが解決するのでは！？！?」と胸を躍らせ試してみることも行いましたが、毎日のPDCAを行う際にshapのグラフをいちいち見て、、というのは今回のケースでは現実的ではなかったため断念した過去がありました。
こういった背景を経て現在はnumpyroを用いた確率モデルを採用しています。詳しい背景・変遷は別記事(今後公開予定！多分！)で解説します！
3. お互いの限界を認識し、役割の握り直し
浸透が上手く行っていなかったときは、お互いの精度だけに目が行ってしまってしまいます。
我々：「ヘルススコアの方が正しい」
CSM(現場のコンサルタント)：「私の感覚の方が正しい」
とそれぞれが思っているって感じです。
ただその状態から、「ヘルススコアも、もちろんCSMの感覚も完璧じゃないし限界がある、互いに補完しあおう」 という共通認識が生まれたことが一番重要だったなと思っています。
ここまで行くのは大変でしたが、どちらかが検知出来たが、もう片方が検知出来なかった例を一緒に見ながら、精度を向上させるために取り組んで行ったことで少しづつ進んだ感があります。
最後に
いかがだったでしょうか。
今回はヘルススコアの活用に関するナレッジとしてご紹介しましたが、データ活用・データの民主化等、新しい文化を埋め込むことを推進する際には共通して重要になってくることだと考えています。
新しい文化を作るのは非常に難しいですが、そこに向き合ってこそ本当の意味で価値が出せるのかなと痛感したこれまででした。
これからも 「ただ良いモデルを作る人」 ではなく、 「データサイエンスで実際に価値が出るまでやりきる人」 を目指していきたいと思います。
では、みなさんも良いデータ活用ライフを！