#はじめに
この記事では、Watson OpenScaleのモニタリングの構成手順を解説していきます。
#Watson OpenScaleの構成ステップ
####データ概要
今回モニタリングするモデルは、以下の"Telco_Customer_Churn"のデータを対象としています。このデータセットをもとに特徴量を加工してモデルを作成しています。
####構成手順
大きく5つのステップに分けられます。
①システムのセットアップ
②モデルのモニタリング構成
③公平性の構成
④品質の構成
⑤ドリフトの構成
####①システムのセットアップ
- データベース・タイプの選択
-
サイドバーから「構成」を選択します。
-
「データベース」右にある編集マークを選択します。
-
データベース・タイプのドロップダウンメニューから『無料のライト・プラン・データベース』を選択します。
-
「保存」をクリックします。以上でデータベース・タイプの設定は完了です。
-
- 機械学習プロバイダーの構成
-
「機械学習プロバイダー」を選択します。
-
「機械学習プロバイダーの追加」をクリックします。
-
薄い字で書かれた「機械学習プロバイダー」右にある編集マークを選択します。
-
名前を変更し、「適用」をクリックします。機械学習プロバイダーの名前が変更されます。
-
「接続」の編集マークを選択します。
-
「サービス・プロバイダー」のドロップダウンメニューから「Watson Machine Learning(V2)」を選択します。
-
「デプロイメント・スペース」のドロップダウンメニューから、使用するデプロイメントスペースを選択します。
-
「環境タイプ」：実働を選択します。
-
「保存」をクリックします。以上で機械学習プロバイダーの構成は完了です。
-
作成した機械学習プロバイダーが追加されていることを確認します。
-
####②モデルのモニタリング構成
- ダッシュボードへの追加
-
サイドバーから「洞察ダッシュボード」を選択します。
-
「ダッシュボードに追加」をクリックします。
-
「機会学習プロバイダー」のドロップダウンメニューから、先ほど作成した機械学習プロバイダーを選択します。
-
「デプロイメント」で、モニター対象とするモデルを選択します。
-
「構成」をクリックします。
-
以上でダッシュボードへの追加は完了です。「モニタリングの構成」を選択します。
-
- モデル入力データの指定
- 「モデル入力データ」の編集マークをクリックします。
- 「モデル入力データ」の編集マークをクリックします。
今回のモデルは、顧客が解約したか否かを判別する二値分類モデルであることから、
- 「データ・タイプ」のドロップダウンメニューから「数値/分類」を選択します。
- 「アルゴリズムのタイプ」のドロップダウンメニューから「二項分類」を選択します。
- 「保存して続行」をクリックします。
- 訓練データの登録
-
「訓練データ」の編集マークをクリックします。
-
今回は訓練データをCloud Object Storage上に配置しているため、「ストレージ・タイプ」のドロップダウンメニューから「データベースまたはクラウド・ストレージ」を選択します。
-
「場所」のドロップダウンメニューから「Cloud Object Storage」を選択します。
-
「リソース・インスタンスID」「APIキー」にはIBM Cloud Object Storageの資格情報を貼り付けます。
-
「接続」をクリックします。
-
「バケット」のドロップダウンメニューから、使用するバケットを選択します。
-
「データ・セット」のドロップダウンメニューから、登録する訓練データを選択します。
-
「次へ」をクリックします。
-
- 訓練データ・ラベル
- 「ラベル列の選択」：目的変数を選択します（デフォルトで選択されています）。今回はCHURNを選択します。
- 「次へ」をクリックします。
- 訓練データの特徴量
- 「訓練の特徴量の選択」：全て選択します（デフォルトで選択されています）。
- 「次へ」をクリックします。
- モデル出力の検査
- 「評価方式」のドロップダウンメニューから「JSONペイロード」を選択します。
- デフォルトで表示されるサンプルを基に、枠内にJSON形式のテキストを入力します。
- 「今すぐ送信」をクリックします。
- 『評価要求が正常に終了しました』との表示が出たら「次へ」をクリックします。
- モデル出力の詳細を指定
-
予測確率列の選択："probability"を選択します。
-
予測列の選択："prediction"を選択します。
-
「保存」をクリックします。
-
以上でモデルのモニタリング構成は完了です。以下のような画面が表示されます。
-
####③公平性の構成
-
左から「公平性」を選択し、「好ましい結果」の編集マークをクリックします。
-
「好ましい結果の選択」：1=CHURN=「好ましくない」と設定し、「次へ」をクリックします。
-
「サンプル・サイズ」：1000（デフォルト）と設定し、「次へ」をクリックします。
-
「モニタリング対象のフィールドを選択」：GENDER_Male(OpenScaleが自動で選択)とPARTNER_Yesを設定し、「次へ」をクリックします。
-
「[GENDER_Male] のモニタリング対象グループを指定する」：0-0=Femaleをモニタリング、1-1=Maleを参照と設定し、「次へ」をクリックします。
-
「[PARTNER_Yes] のモニタリング対象グループを指定する」：0-0=Noをモニタリング、1-1=Yesを参照と設定し、「保存」をクリックします。
-
以上で「公平性」の構成は完了です。以下のような画面が表示されます。
####④品質の構成
-
左から「品質」を選択し、「品質のしきい値」の編集マークをクリックします。
-
「品質のしきい値」：0.8(デフォルト)と設定し、「次へ」をクリックします。
-
「サンプル・サイズ」：1000(デフォルト)と設定し、「保存」をクリックします。
-
以上で「品質」の構成は完了です。以下のような画面が表示されます。
####⑤ドリフトの構成
-
左から「ドリフト」を選択し、「ドリフト・モデル」の編集マークをクリックします。
-
「ドリフト・モデルを訓練する」：「Watson OpenScale で訓練する」を選択し、「次へ」をクリックします。
-
「ドリフトしきい値」：10％(デフォルト)と設定し、「次へ」をクリックします。
-
「サンプル・サイズ」：1000(デフォルト)と設定し、「保存」をクリックします。
-以上で「ドリフト」の構成は完了です。以下のような画面が表示されます。
Watson OpenScaleのモニタリングの構成手順は以上となります。