More than 1 year has passed since last update.

CADSでMLOps #3モデル・モニタリング

Last updated at 2022-08-05Posted at 2022-08-05

SPSS Modelerで作ったモデルをCADSと組み合わせてMLOpsで管理していきます。

MLOpsを4つのパートに分けて説明します。
この記事ではモデルモニタリング・パイプライン作成について説明します。

全体イメージの中では、フィードバックデータをつかってモデルを監視するモデルモニタリング・パイプライン（CADSジョブ）を作成して、モニタリングを行うところまでの解説になります。

モニタリングジョブの作成

まず、スコアリングのジョブをコピーして貼り付け、名前を付けます。ここでは「キャンペーン予測モニタリング」としました。

コピーして作成したジョブを開きます。

ジョブステップ名は「キャンペーン予測モニタリング」を指定しました。
ここではスコアリングと異なりオブジェクトのバージョンは「LATEST」に指定しました。

タイプ：「評価」これがモニタリングを示しています。
メトリック：「精度」
パフォーマンスには閾値とそのラベルを設定します。
ここでは以下のように設定しました。
0%-50%：不良
50%-70%：注意
70%-100%：良好

「データファイル」タブに移り「${JobVariable.FILENAME}」としてジョブ変数が指定されていることを確認します。

「通知」のジョブステップを追加して、ジョブステップ名を「劣化通知」と設定します。

「条件付き」のリレーションシップで接続して、条件の式として「completion_code <= 200」を設定します。これで「注意」や「不良」と判定された場合に「劣化通知」のジョブステップが呼び出されるという定義ができました。

completion_codeの判定式はそれぞれ以下のようになります。

評価タイプ

「劣化通知」のジョブステップの「通知」タブを開き、「更新」ボタンをクリックします。

「...」をクリックします。

Eメールアドレスを入力します。この例では「dsuser1@ibm.com」を設定しました。

「件名」や「メッセージ」を適当に修正します。プレビューで届くメールのイメージを確認できます。

設定ができたので「保存」で保存をして、「オプションありでジョブを実行」してみます。

FILENAMEに「学習データ.csv」を指定します。これはモデル作成時と同じデータで評価していますので、80％程度の精度が期待されます。

「表示」「ビューの表示」「モデル管理」を選んで開きます。

インデックスという欄をみると「86」となっていて、緑丸のアイコンが表示されています。「学習データ.csv」で評価した場合にこのモデルは「良好」であることを意味しています。

次にフィードバックデータで評価してみます。「オプションありでジョブを実行」してみます。

FILENAMEに「フィードバックデータ.csv」を指定します。これはモデル作成移行にデータの傾向が変わっていればモデルのあたりが悪くなっている可能性があります。

「モデル管理」のビューを確認するとインデックスが「67」になり、黄色丸のアイコンが表示されています。「フィードバックデータ.csv」で評価した場合にこのモデルは「注意」であることを意味しています。

確かにメールでも劣化の通知が届いていました。

MLOpsのキホンと動向 | IBM ソリューションブログ
https://www.ibm.com/blogs/solutions/jp-ja/mlops-2021-data/