調べても情報があまり見つからず、活用事例もこれからという感じがある、Firebase Predictions
2018年12月現在ではまだβ版ですが、実際に触ってみたり、ドキュメントを読んで分かったことをまとめます。アプリが絡む開発をされている方は、ぜひご参考にしてみてください!
対象読者
- アプリのグロースに携わっている、PM/エンジニア
- 機械学習でユーザーの行動予測モデルを作成したいと思っているデータ分析担当者
※Firebase Prediction 公式ドキュメントを読んで理解できる方は、そちらを読んだ方が早いと思います！本記事はそちらの要点をまとめたものになります。
Firebase Predictionsとは?
Introducing Firebase Predictions
https://www.youtube.com/watch?v=ORrvrVEHJz4
↓実際のキャプチャ(黒塗りし過ぎて、よく分からなくなってますねw)
ものすごくザックリ言うと、__"アプリ利用者の次の7日間における、特定アクションの実行有無を予測するモデルを生成し、各Firebaseプロダクトで利用可能なセグメントを生成する"__機能です。現状、iOSアプリと、Anroidアプリ向けのプロダクトとなっているので、WEBサービスには利用できません。
これでもか！と言うほどに、更にザックリ言うと、__"機械学習の知識が全く無い人でもGoogleが自動でユーザーの未来7日間の行動を予測してくれて、しかもその結果を各種施策にも楽々活用する所まで面倒を見てくれる"__機能です。
予測した結果を用いて、例えばECサイトならば、【次の7日間で商品を購入すると予測されるユーザーに対してのみ、アプリ内メッセージでクーポン配布のキャンペーン"を実施する】 、
ソシャゲならば、【次の7日間で離脱(チャーン)すると予測されるユーザーに対してのみ、アプリ内通貨の割引セールを行う】などの施策が実施できるでしょう。
特にサービスのチャーン予測はプロダクト改善寄りのデータサイエンティストがバリューを出しやすい、メイントピックの1つですが、そこをGoogleが代わりにやってくれる機能ですね。凄い!仕事が無くなっちゃう!
Firebase Predictionでできること
もう少し具体的に出来る事を列挙すると以下になります。
- FirebaseAnaltyicsイベントの実行有無を予測するモデルを5件まで作成できる
- Analyticsで飛ばしているイベントの中から任意のものを予測対象として選択できます
- どの特徴量を元に、学習が実行されているかUI上で確認する事ができます
- リスク許容度に応じて、モデルの汎化性能を選択する事ができます
- 作成した予測セグメントはUI上から、Remote Config/Cloud Messagingなど別のプロダクトと連携して施策に活用できます
- Google BigQueryに予測結果をエクスポートする事で、外部ソリューションとも自由に結果を共有することができます
実際に使ってみる
STEP1:Firebase Predictionsをアクティベートする
- 設定方法自体は簡単で、Firebase管理画面のPredictionsから機能をアクティベートするだけです。数日経過すると、予測結果が表示され、以後は毎日自動で予測を実行してくれます。
STEP2:カスタムの予測モデルを作成する
-
初期状態では、"離脱の有無(charn or not_churn)" / "購入の有無"(spend or not_spend)を予測するモデルの結果が表示されます。不要なものは非表示にして、任意のAnalyticsイベントを追加しておくと良いでしょう。
-
予測するイベントは、カスタムコンバージョンに設定済みのものになるので、予測モデルで使用したいイベントは事前にコンバージョン設定しておきましょう。
STEP3:予測結果を施策に活用する
-
上記の設定を行いさえすれば、後は"アクションの選択"-->任意の施策を検討するだけです。
-
アクション部分はまだ触り切れていないのですが、Remote Configと連携可能なので、ABテスト/UI変更/プッシュ/アプリ内メッセージなどの施策と繋ぎ込みが可能です。夢が広がりますね。
応用:予測結果をFirebaseプロダクト以外で活用する
予測結果のBigQueryへのエクスポートにも対応しています。予測結果のモニタリングや、Firebase製品群以外での施策にも道がひらけています。詳しくは公式ドキュメントを参照
↓実際のエクスポートテーブル例
その他痒いところに手が届く便利機能たち
基本的には上の設定を行うだけで利用可能ですが、そのほかの便利機能を紹介します。
便利機能①:学習に利用されている特徴量を調べてみる
- "アクションの選択"-->"この予測を調べる"で、実際の学習に使用された特徴量の一覧を見る事ができます。
- (余談) 自力で予測モデルを作成するデータ分析者にとっても、どのログが特徴量として使われているか?は参考になりそう。各イベントのどのパラメータが学習に使われているのか?も閲覧できるので、見ているだけでも結構面白いです。
便利機能②:リスク許容度によってモデルの予測性能を選択する
-
単一のモデルを使用するのみではなく、利用シーンに応じて許容する不確実性を調整する機能があります。公式ドキュメント:リスク許容度とモデル パフォーマンスに分かりやすい説明があるので、気になる人は見てみてください。
-
__"予測結果を外したユーザーに届いても問題ない施策"につなげる場合は、モデルのリスク許容度を(高に)、"予測結果を外したユーザーに届くと問題のある施策"につなぐ場合は、モデルのリスク許容度を(小)にする__のが基本戦略になりそうです。
- (余談) 数値ベースで、リスクを把握できるUIは直感的に分かりやすくて、ちょっと感動しました。
[機械学習経験者向け]学習済みモデル作成の裏側
さて、UI上から確認できるのはインプットしている特徴量のみですが、Firebase Predictionsは内部的にはどのようにしてモデル作成を行なっているのでしょうか?学習プロセスの詳細についてはドキュメントで説明があったのでまとめてみました
使用している具体的なアルゴリズムについては、記載が見つけられませんでしが、以下の方法で学習と予測が行われています。
(余談) 実際に施策に適用する場合は、先ほど説明した利用する特徴量と合わせて、学習の仕組みを共有する事で、ブラックボックス化させる事なく、コミュニケーションが取れそうですね。
- 学習プロセスのポイント
①過去28日間にアプリにアクセスがあったユーザーを予測対象に含む
②モデル生成日から起算した直近の7日間の行動データを元に、各ユーザーのラベル付けを行う(1)
③モデル生成日から8日〜28日前の期間における行動ログを元に、(1)のラベルを予測する2値分類モデルを作成する
④学習と性能評価はホールドアウト法で行い、学習用データとテスト用データを8:2に分割する
⑤上記方式による予測性能が、UI上で確認できるモデルパフォーマンスとなる
- 図に落とすとこんな感じ
まとめ
単純に予測を行うツールではなく、実際の施策への繋ぎ込み/モデルパフォーマンスの見える化など、__実際に機械学習の結果を施策に活用する点__に工夫が凝らされており、完成度の高いプロダクトだなと思いました! 機会があれば、使ってみたいな〜！