データサイエンス界隈では「PoC貧乏」という言葉があるように、PoCの結果が実用化するまでには壁があるのが現状です。
弊社でもたくさんつまずいてきましたが、実用化に至った事例も出てきているので、どうつまずき、どう乗り越えたのかについて経験したことを書きたいと思います。
この記事はリンクアンドモチベーションアドベントカレンダー2022の17日目の記事です。
PoCしていたもの
弊社ではモチベーションクラウドというSaaSを開発していますが、月額課金サービスとなっていて、その継続率を向上・維持するために「ヘルススコア」という仕組みを社内実装しています。
顧客ごとの継続確率を機械学習を用いて予測しており、その実用化を目指していました。結果的には全社指標になっているものの、その過程についてお話ししましす。
（ヘルススコアの仕組みについては別記事にまとめます。）
実用化に向けたつまずきポイント
PoC〜実用化までにたくさんつまずいたのですが、今回は以下にまとめていきたいと思います。
- ユーザの初期反応に過度に一喜一憂してしまう
- 「ユーザの感覚vsデータ」の対立構造になってしまう
つまずき1. ユーザの初期反応に過度に一喜一憂してしまう
特に社内プロダクトや社内ツールなどにとっては「あるある」かなと思うのですが、「PoCの成果を共有した時の反応に一喜一憂してしまう」というのがあるかなと思います。
例えば、以下のような経験はないでしょうか？
こうした反応をいただけること自体は嬉しいことですが、これに慢心し、PoCの成果物（継続率予測モデル）のビジネス活用について思考を怠ると、実用化はすすみませんでした。
なぜかというと、ユーザ側にとっては、これまでの業務フローを変えるコストを支払う必要性があるためです。
解決策
価値を言語化し、UI・UXをデザインする
アプリケーション開発では当たり前のことではあるのですが、これがデータサイエンス系のPJTでは抜けがちだったり、タイミングがズレていたりします。
実際に私たちも、PoCをしてからユーザ体験を考え始める、という順番で進めてしまっていました。
そうではなく、最初から価値の言語化と、価値に一貫性のある形で「PoCの要件」と「最終的なUI案・UX案」を同時にプロトタイプとして作成してみたところ、より使ってもらいやすいものになったと思います。
メトリクスを用いて利活用度合いを検証する
こちらも当たり前のことではありますが、上記のステップで価値から逆算された機能を設計できたら、その機能の利用率を測定することが重要です。
ユーザが「活用します！」って言ってくれてたしなぁ、、、社内プロダクトだしなぁ、、、と思ってしまっていた時期がありました。
しかし、DAU・WAU・MAUなどを測定し、しっかり問題を解決するような社内ツールになっているか？を数字・データを元に検証することで、より具体的な改善行動をとることが出来ました。
つまずき2. 「ユーザの感覚vsデータ」の対立構造になってしまう
こちらは、作業自動化系のデータ活用プロダクトだと起きづらい事象かもしれません。例えば、単純な反復作業を代替する場合などは、人間の感覚とデータが示す示唆のズレがないことが多いと思います。
一方でヘルススコアの場合は、これまでCS（担当コンサルタント）が直接顧客とやり取りする中で得た感覚値と、モデルが示す継続確率の値が一致しない場合もあります。
そうした場合に、「このデータって正しいの？」という純粋な疑問が生じてしまうことがあり、結果として実用化に至らない、といったことがありました。
解決策
いきなりデータ上の示唆を押し付けるのではなく、一緒に改善する仲間になる
実際にモチベーションクラウドの顧客を最も知っているのはCSの皆さんです。なので、そもそもモデル自体も彼らと一緒に育てていくべきものです。
まずは、純粋に「皆さんの役に立つ良いものを作りたいので、どうしたら精度が上がりそうか、教えてください！」と共通の目的を設定しました。
その上で精度が高まったら、実用化に向けた業務フロー整備と、その業務フローの導入・浸透を行います。弊社では組織人事コンサルティングの知見があり、組織変革の際にはクルト・レヴィンの理論に基づき以下の3ステップで行ってみました。
最初の利用のハードルを徹底的に下げる
かっこいいBIツールを用意して使ってもらいたいなと思う気持ちもあるかもしれませんが、実際にユーザにとって使いやすいツールを選定することが重要です。最初はAmazon Quicksightの導入を試みましたが、プロトタイプ段階で利用状況が芳しくなく、結果的に最もシンプルなGoogleスプレッドシートに切り替えたところ、格段に利用率が上がりました。
まとめ
上記に書いた以外にもたくさんのつまずきがありましたが、なんとか解決して全社指標としての実用化までたどり着きました。
壁がある度に、多くの方々のご支援・お力添えがあっての今なので、本当に感謝しています。ありがとうございます。
業界全体として、まだまだPoCをビジネスに紐づけるのは課題が多いですが、ぜひ知見をシェアしながら、データドリブンな社会を目指していきましょう！