Meet-upのご案内
2022年7月28日(木)＠渋谷で機械学習のブラックボックス問題をテーマとしたMeet-upを開催します。機械学習・AIのブラックボックス化に疑問や関心をお持ちの皆様、是非ご参加ください！
また、本Meet-upの後半では、TISインテックグループ 株式会社インテック様をお迎えし、同社におけるデータ利活用のための研究や人材育成を含む事業化のためのお取り組み、ユースケースなどについて、データ専門家の観点からお話しいただきます。
→ 詳細・お申し込みはこちら
異なるモデルを評価することは、開発段階でも実稼働段階でも重要なステップです。チャンピオン/チャレンジャーやA/Bテストを実行する場合はなおさらです。Dataikuのモデル評価・比較機能を使えば、現場のユーザーは、それらをより容易に実行することができるでしょう。
ここでは、Dataiku Product Daysというイベントで、DataikuのシニアソリューションエンジニアのDimitri Labouesseが説明した、モデルの比較・評価のセッションを要約します。
→ Dataiku Product Daysのセッションはこちら
それでは本題に入ります。なぜモデルの比較・評価が重要なのでしょうか？チャンピオン/チャレンジャーやA/Bテストなどの高度なMLOpsを展開する場合を考えてみます。新しいモデルと古いモデルを直接比較して、ビジネスの目標に対してどちらが良い結果をもたらすか検討したり、現在本番稼働中のモデルを置き換えることのメリットやデメリットを確認したりする方法が不可欠になります。
Dataikuでパフォーマンスとモデルを確認することで、新しいモデルを展開する適切な時期について意思決定しやすくなります。同時に、モデルのパフォーマンスが低下している理由も調べることもできます。Dataikuは、このようなプロセスを、全体的に効果的かつ容易にするために、さまざまな機能を用意しています。
ユースケース 1：モデルを比較し、最適なモデルを展開する
例えば、モデル作成時に、複数の学習済みモデルを比較して、モデルの設定の違いが最終的にモデルの性能にどのように影響するのかを理解したいとします。どのような手順になるのでしょうか？
Dataikuでは、1つ以上のモデルをトレーニングした後、クリックするだけで簡単にモデルを「比較」でき、異なる設定やハイパーパラメータでトレーニングした複数のモデルの違いを知ることができます。
比較機能は、すべてのモデルのパフォーマンスを並べて表示します。比較の方法として、デシジョンチャート、リフトチャート、キャリブレーション曲線、ROC曲線、密度チャートなどのパフォーマンスを、可視化して確認することができます。また、モデル情報から、あるモデルは他のモデルと比較して、どのような点で優れているかを素早く調べることができるのも興味深い点です。
ユースケース 2：入力データのドリフトを自動で検出する
モデルがデプロイされた後、DataikuのAPI監査ログから、モデルが本番でスコアする予定のすべてのデータをリアルタイムで受け取ることができます。ここでは、データの変更を追跡することができるのです。DataikuがもつEvaluationレシピを使用すると、簡単に、最新のデータとモデル訓練時のデータが同じかどうかを確認して、データのドリフトを識別し、ドリフトを判断する値を取得できます。
モデル評価ストアでは、評価したモデルにおける、データドリフトに関連するスコアを確認できます。データセット間にある潜在的な違いとその影響をより詳細に調べることができます。
グローバルなドリフトスコアは、二次分類モデルが、現在の評価データと元々モデルの検証に使用したデータとの間で、どの程度区別できるかを示すものです。言い換えれば、最新のデータと、基準となるデータに、顕著な違いがあるかどうかわかるということです。
また、データの中のどの変数がドリフトしているのか、さらに詳しく調べることもできます。さらに、ドリフトした特徴量が予測に重要かどうか、モデルの挙動が異なる可能性があるかどうかを評価するために、元のモデルの特徴量の重要度とドリフトモデルの特徴量の重要度を表示する散布図が表示されます。
特徴量のドリフトの重要性
Dataikuには、入力データのドリフトを調査・評価するだけでなく、予測ドリフトやパフォーマンスドリフトを調査するためのツールも用意されています。例えば、フガシティテーブルと密度チャートにより、予測値と観測値の値や分布を調査することができます。
インタラクティブにモデルを評価することも有用ですが、本番モデルのパフォーマンスを追跡するために、ある程度の自動化が必要です。Dataikuでは、新しく入ってくるデータを使ってモデルのパフォーマンスを監視し、モデルの監視を自動化することができます。これによって、長期間にわたって、モデルのパフォーマンスの安定性を追跡・検証することもできるようになります。途中で意思決定を行う際に役立ちますし、既存モデルが注意を必要とする時期を把握することも可能になります。
Dataikuの機能をもっと詳しく知りたい方は、ぜひProduct Daysのセッションをご覧ください。