CADSでMLOps#4モデルリフレッシュ
SPSS Modelerで作ったモデルをCADSと組み合わせてMLOpsで管理していきます。
MLOpsを4つのパートに分けて説明します。
この記事ではモデルリフレッシュ・パイプライン作成について説明します。
1.モデル作成
2.スコアリング
3.モデルモニタリング
4.モデルリフレッシュ
全体イメージの中では、フィードバックデータからモデルリフレッシュ・パイプライン(CADSジョブ)でモデルを再作成して、CADSのレポジトリに保存するところまでの解説になります。
モデルリフレッシュジョブの作成
まず、スコアリングのジョブをコピーして貼り付け、名前を付けます。ここでは「キャンペーン予測モデルリフレッシュ」としました。
ジョブステップ名は「キャンペーン予測モデルリフレッシュ」を指定しました。
ここではスコアリングと異なりオブジェクトのバージョンは「LATEST」に指定しました。
「タイプ」を「更新」とし、二つのモデルナゲットを更新対象とするチェックを付けました。
これはストリーム内の二つのモデルナゲットを更新するという意味です。
「データファイル」タブに移り、
スコアリングデータ.csvノードには「スコアリングデータ.csv」
学習データ.csvノードには「${JobVariable.FILENAME}」としてジョブ変数を指定します。
つまりモデルを再学習するために使う学習データをジョブ変数で与えることを意図しています。
モデルリフレッシュジョブの実行
設定ができたので「保存」で保存をして、「オプションありでジョブを実行」してみます。
FILENAMEに「フィードバックデータ.csv」を指定します。これは「フィードバックデータ.csv」を使ってモデルを作り直すことを意図しています。
ジョブ実行が成功したら、モニタリングのパイプラインで精度を確認してみます。
インデックスが81に上昇し、緑丸のアイコンが表示されています。
更新されたモデルの確認
Modelerでモデルリフレッシュのパイプラインが更新した最新バージョンのストリームを取得してみます。
確かにフィードバックデータで学習して、精度が8割程度に上がっています。
モデルもSYSTEMによって更新されていることがわかります。
サンプルストリームやデータ、PES
- テスト環境
- Modeler 18.3
- CADS 8.3
- Windows 2019
参考情報
なぜMLOpsが必要なのか(vol97-0014-ai)
https://community.ibm.com/community/user/japan/blogs/provision-ibm1/2021/08/17/vol97-0014-ai
失敗しないMLOps (vol97-0017-ai)
https://community.ibm.com/community/user/japan/blogs/provision-ibm1/2021/10/31/vol97-0017-ai
MLOpsのキホンと動向 | IBM ソリューション ブログ
https://www.ibm.com/blogs/solutions/jp-ja/mlops-2021-data/