Cloud Pak for Data as a Service でモデルのトラッキングやメタデータ管理にModel Inventoryを使う #ibmcloud

本記事の目的

本記事では、IBM Cloud上で提供される Cloud Pak for Data as a Service を対象に、
Watson Studio, Machine learning, Watson Knowledge Catalog, Watson OpenScale サービスを使用した Model Inventory 機能の利用方法をご紹介します。

1. CP4DaaS の Model Inventory 概要

Model Inventoryは、モデルのガバナンスを実現するための下記機能を提供し、Watson Knowledge Catalogのカタログへモデル・エントリーとして記録します。

開発から展開まで、モデルのライフサイクルをトラッキング
開発したモデルのメタデータを管理

Model Inventoryの画面

① モデルのライフサイクルをトラッキング
開発、テスト、検証、オペレーション（実働環境）の4つの段階でトラッキングします。

引用元：AI Factsheets on Cloud Pak for Data as a Service: Automate collection of model facts across the AI Lifecycle

② モデルのメタデータを管理
１つのモデルに対し、以下の内容を記録することができます。

モデル情報（作成日、作成者、アルゴリズムなど）
トレーニング情報（使用データセットの場所など）
トレーニング・パラメーター（モデル学習時のパラメーター）
トレーニング・メトリック（テストデータにおける精度など）
トレーニング・タグ
入力スキーマ（特徴量）

＜入力スキーマの記録例＞

Model Inventoryのアーキテクチャ
モデル開発時とモデルの評価時のメタデータをModel Inventoryに記録します。
各サービスの用途は以下となります。

Watson Studio モデルの開発
Watson Machine Learning モデルのデプロイ
Watson OpenScale　モデルのモニター（検証）
Watson Knowledge Catalog モデルのトラッキング・メタデータ管理

2. CP4DaaS の Model Inventory を試す

製品資料のData fabric tutorialsに Model Inventoryを扱う MLOps and Trustworthy AI のチュートリアル・シナリオがあります。
本記事では、MLOps and Trustworthy AI のチュートリアル・シナリオに沿って Model Inventory を試します。

チュートリアルは2つのパートに分かれています。それぞれのパートに従って進めます。

モデルの開発とデプロイ
モデルのテストと評価

開始の前に

もし持っていない場合、IBM Cloudアカウントを作成します。

無料のIBM Cloudアカウントを作成
https://www.ibm.com/jp-ja/cloud/free
Model Inventory で使用するサービスを作成します。
サービス全て、無料で機能を試せるLiteプランに対応しています。
また、Watson~ の4サービスは、ダラス(us-south)リージョンへ作成したものを使用します。
- Watson Studio
- Watson Machine learning
- Watson Knowledge Catalog
- Watson OpneScale
- IBM Cloud Object Storage ※作成時のリージョン指定不要

2022年4月現在、Watson OpenScale はダラス(us-south) およびフランクフルト(eu-de) で提供されています。
CP4DaaSでは、リージョンごとに提供機能に制限があるため、最新の機能提供状況をご確認ください。

Regional limitations for Cloud Pak for Data as a Service
https://dataplatform.cloud.ibm.com/docs/content/wsj/getting-started/region-lims.html?locale=en

2-1.モデルの開発とデプロイ

下記リンク先の手順に沿って作業を実施します。
本記事では主要な手順を抜粋し、全体の流れを紹介します。詳細は、リンク先のチュートリアルをご確認ください。

MLOps and Trustworthy AI tutorial: Build and deploy a model

チュートリアル用のプロジェクトを、自分のWatson Studioへ取り込みます。
取り込んだプロジェクトの「管理」＞「サービスおよび統合」より、Watson Machine Learningサービスを関連付けを行います。

作成済みのWatson Machine Learningサービスを選択し、関連付けます。

作成済みのWatson Machine Learningサービスが関連付けられた状態です。
Model Inventory の記録先として使用するカタログを作成します。
- 既存のカタログがある場合、そちらを使用することも可能です。
プログラムからIBM Cloudのサービスを操作するため、IBM CloudのプラットフォームAPIキーを作成します。
- APIキーの作成方法は、@nishikyonさんの下記記事を参照ください。
  IBM Cloud APIKEYの作成(取得)方法
Model Inventory のエントリーを作成します。
- 作成したエントリーへ、トラッキング状況やメタデータを紐づけて管理します。
  Cp4DaaSのメニューより、「カタログ」＞「モデル・インベントリー」と進み、「新規モデル・エントリー」をクリックします。
  
  任意のモデル・エントリー名を指定の上、保存します。
  
  モデル・エントリーが、カタログ上に作成されました。
  
  「資産」タブを開くと、モデル・トラッキングの状況が表示されます。この時点では空です。
チュートリアル用のプロジェクトに含まれるJupyter Notebookファイル Notebook 1-model-training-with-factsheets を実行し、モデルの開発とプロジェクトへの保存を実施します。

もし、Read-Onlyモードで表示された場合、鉛筆アイコンをクリックして編集モードに入ります。

編集モードの状態で、以降はNoteobook内の指示に従って進めます。
Notebookでは、以下の処理を実施します。
- APIキーの設定（Set up Project Token and API Key）
- ライブラリのインポート（Import Libraries）
- Modelのメタデータ登録に使用するライブラリAI Factsheetsのセットアップ（Setup AI Factsheets）
- 学習用データの読込（Load training data）
- 特徴量と予測対象の設定（Specify User Inputs）
- データの前処理（Build Data Pipelines）
- モデルの構築（Build Machine Learning Models）
- テストデータによるモデル精度の確認（View Model Results）
- プロジェクトへモデルを資産として保存（Save the model）
プロジェクト上に保存されたモデルの詳細を表示します。

スクロールすると、以下の情報を確認できます。
- モデル情報
- トレーニング情報
- トレーニング・パラメーター（長いため、一部のみ掲載）
- トレーニング・メトリック
- 入力スキーマ
モデルをModel Inventoryへ登録します。

事前に作成済みのモデル・エントリーを選択し、追加します。

モデルが、Model Inventoryのエントリーへ関連付けられました。モデル・エントリー名をクリックし、Model InventoryのUIへ進みます。

開発段階として、WatsoｎStudioプロジェクトのモデルがトラッキングされています。表示されたモデル名をクリックします。

プロジェクトのモデル詳細と同様の情報が表示されます。モデルの開発に使用したプロジェクトへ進みます。
プロジェクトのモデル詳細ページより、モデルをデプロイメント・スペースへプロモートし、デプロイメントを作成します。

モデルをスコアリングに使用できるよう、デプロイメントを作成します。
Model Inventoryよりモデルの段階を確認します。
テスト段階として、デプロイメントスペースにプロモートしたモデルトラッキングされています。

2-2.モデルのテストと評価

下記リンク先の手順に沿って作業を実施します。
本記事では、主要な手順のみ抜粋して紹介します。詳細は、リンク先のチュートリアルをご確認ください。

MLOps and Trustworthy AI tutorial: Test and validate the model

チュートリアル用のプロジェクトに含まれるJupyter Notebookファイル Notebook 2-monitor-wml-model-with-watson-openscale を実行し、Watson OpenScaleによるデプロイメント・スペース上のデプロイメントのモニタリングを設定し、モデル検証の準備を行います。

もし、Read-Onlyモードで表示された場合、鉛筆アイコンをクリックして編集モードに入ります。

編集モードの状態で、以降はNoteobook内の指示に従って進めます。
Notebookでは、以下の処理を実施します。
- APIキーの設定（Set up Project Token and API Key）
- ライブラリのインポートや更新など（Setup）
- モデルおよびデプロイメントの定義の取得（Fetch Model and Deployments）
- Watson OpneScaleの構成（Configure OpenScale）
- Watson OpneScaleへ機械学習プロバイダの作成およびデプロイメントを登録（Create Service Provider and Subscription）
- 品質モニターの設定（Quality monitor）
- 公平性モニターの設定（Fairness monitor）
- 説明性機能の設定（Explanations）
プロジェクトのデータ資産より、Watson OpenScaleによるモデルの評価で使用するデータセットGoldenBank_HoldoutData.csvをダウンロードします。
Watson OpenScaleへアクセスします。
CP4DaaSのメニューより、「サービス・インスタンス」＞「Watson OpenScale」をクリックします。

アプリケーションを起動します。

Notebookで設定したモデルのモニタリング設定をクリックします。
モデルの評価を実施します。
「アクション」＞「今すぐ評価」と進みます。

モデルの評価用にダウンロードしたCSVファイルをアップロードし、評価を実行します。

評価の完了まで待機します。
モデルの品質モニターより、モデルの品質を検証します。
評価が完了すると、「公平性」「品質」へ評価結果が表示されます。「品質の構成」へ進みます。

「品質」のしきい値として、ROC曲線下の面積（Area under the curve，AUC）が0.7に設定されていることを確認します。これは、Notebookの品質モニターの設定で登録した内容です。前の画面に戻ります。

次に「品質」の→をクリックし、モニター結果を確認します。

「品質」のメトリクスを確認します。ROC曲線下の面積（Area under the curve，AUC）は 0.9で、しきい値 0.7を超えており、モデルの精度は期待する品質を満たしています。前の画面に戻ります。
モデルの公平性モニターより、モデルの公平性を検証します。
「公平性の構成」へ進みます。

「公平性」の確認項目として、「好ましい結果（=モデルによる予測値のうち、Positiveなクラス。ローン審査の場合、1（申請を承認））」と「好ましくない結果（=モデルによる予測値のうち、Negativeなクラス。ローン審査の場合、0（申請を拒否））」が設定されています。
また、監視対象とする特徴量として、Gender が設定されています。この特徴量を基準に、モデルの予測値のうち「好ましい結果」に偏りがないか監視します（チュートリアルシナリオでは、男性と女性を比較し、いずれかの性別でローン審査の承認状況に偏りがないか監視）。
これらは、Notebookの公平性モニターの設定で登録した内容です。前の画面に戻ります。

次に「公平性」の→をクリックし、モニター結果を確認します。

「公平性」のモニター結果より、男性と女性のローン審査の承認状況に偏りがないことを確認します。男性 44%、女性 45% と両者の承認状況は同程度となっており、偏りはありません。前の画面に戻ります。
※見やすさのため、下記の画面のショットは複数の画面キャプチャを合成しています。
モデルの説明性について確認します。
トランザクションの検索を開き、任意の1行（=スコアリング1件に対応）の「説明」へ進みます。

このスコアリングにおいて、モデルの各特徴量が予測結果にどれだけ強い影響力があるか、相対的な重み付けのパーセンテージが割り当てられます。負の相対重み付けパーセンテージは、その特徴量がモデルで異なる予測結果を出すようよう影響を与えたことを示しています。
Model Inventoryよりモデルの段階を確認します。
検証段階として、Watson OpenScaleのモニターを構成したデプロイメント・スペース上のモデルおよびデプロイメントがトラッキングされています。
モデル・エントリーのステータスを「ドラフト」から「実働前にプロモート」に変更します。
Watson OpenScaleに戻ります。検証の結果、モデルは品質および公平性の基準を満たしていました。そのため、モデルを実働のために承認します。

モデルの開発から検証までのステップが完了し、このモデルは実働環境で使用可能となりました。任意の環境へこのモデルを展開し、スコアリングを実行することができます。