LoginSignup
2
0

More than 1 year has passed since last update.

@mkmr2021

Watson OpenScaleによる実践（構成のステップ）

Last updated at Posted at 2021-11-18
1 / 17

はじめに

この記事では、Watson OpenScaleのモニタリングの構成手順を解説していきます。

Watson OpenScaleの構成ステップ

データ概要

今回モニタリングするモデルは、以下の"Telco_Customer_Churn"のデータを対象としています。このデータセットをもとに特徴量を加工してモデルを作成しています。
image.png

構成手順

大きく5つのステップに分けられます。

①システムのセットアップ
②モデルのモニタリング構成
③公平性の構成
④品質の構成
⑤ドリフトの構成

①システムのセットアップ

  • データベース・タイプの選択

    • サイドバーから「構成」を選択します。
    • 「データベース」右にある編集マークを選択します。 image.png
    • データベース・タイプのドロップダウンメニューから『無料のライト・プラン・データベース』を選択します。 image.png
    • 「保存」をクリックします。以上でデータベース・タイプの設定は完了です。

  • 機械学習プロバイダーの構成

    • 「機械学習プロバイダー」を選択します。 image.png
    • 「機械学習プロバイダーの追加」をクリックします。 image.png
    • 薄い字で書かれた「機械学習プロバイダー」右にある編集マークを選択します。 image.png
    • 名前を変更し、「適用」をクリックします。機械学習プロバイダーの名前が変更されます。
    • 「接続」の編集マークを選択します。 image.png
    • 「サービス・プロバイダー」のドロップダウンメニューから「Watson Machine Learning(V2)」を選択します。
    • 「デプロイメント・スペース」のドロップダウンメニューから、使用するデプロイメントスペースを選択します。
    • 「環境タイプ」：実働を選択します。 image.png
    • 「保存」をクリックします。以上で機械学習プロバイダーの構成は完了です。
    • 作成した機械学習プロバイダーが追加されていることを確認します。 image.png

②モデルのモニタリング構成

  • ダッシュボードへの追加

    • サイドバーから「洞察ダッシュボード」を選択します。 image.png
    • 「ダッシュボードに追加」をクリックします。 image.png
    • 「機会学習プロバイダー」のドロップダウンメニューから、先ほど作成した機械学習プロバイダーを選択します。
    • 「デプロイメント」で、モニター対象とするモデルを選択します。
    • 「構成」をクリックします。 image.png
    • 以上でダッシュボードへの追加は完了です。「モニタリングの構成」を選択します。 image.png
  • モデル入力データの指定
    • 「モデル入力データ」の編集マークをクリックします。 image.png

今回のモデルは、顧客が解約したか否かを判別する二値分類モデルであることから、

  • 「データ・タイプ」のドロップダウンメニューから「数値/分類」を選択します。
  • 「アルゴリズムのタイプ」のドロップダウンメニューから「二項分類」を選択します。
  • 「保存して続行」をクリックします。 image.png

  • 訓練データの登録

    • 「訓練データ」の編集マークをクリックします。 image.png
    • 今回は訓練データをCloud Object Storage上に配置しているため、「ストレージ・タイプ」のドロップダウンメニューから「データベースまたはクラウド・ストレージ」を選択します。
    • 「場所」のドロップダウンメニューから「Cloud Object Storage」を選択します。
    • 「リソース・インスタンスID」「APIキー」にはIBM Cloud Object Storageの資格情報を貼り付けます。
    • 「接続」をクリックします。 image.png
    • 「バケット」のドロップダウンメニューから、使用するバケットを選択します。
    • 「データ・セット」のドロップダウンメニューから、登録する訓練データを選択します。
    • 「次へ」をクリックします。 image.png
  • 訓練データ・ラベル
    • 「ラベル列の選択」：目的変数を選択します（デフォルトで選択されています）。今回はCHURNを選択します。
    • 「次へ」をクリックします。 image.png
  • 訓練データの特徴量
    • 「訓練の特徴量の選択」：全て選択します（デフォルトで選択されています）。
    • 「次へ」をクリックします。 image.png
  • モデル出力の検査
    • 「評価方式」のドロップダウンメニューから「JSONペイロード」を選択します。
    • デフォルトで表示されるサンプルを基に、枠内にJSON形式のテキストを入力します。
    • 「今すぐ送信」をクリックします。
    • 『評価要求が正常に終了しました』との表示が出たら「次へ」をクリックします。 image.png

  • モデル出力の詳細を指定

    • 予測確率列の選択："probability"を選択します。
    • 予測列の選択："prediction"を選択します。
    • 「保存」をクリックします。 image.png
    • 以上でモデルのモニタリング構成は完了です。以下のような画面が表示されます。 image.png

③公平性の構成

  • 左から「公平性」を選択し、「好ましい結果」の編集マークをクリックします。
    image.png

  • 「好ましい結果の選択」：1=CHURN=「好ましくない」と設定し、「次へ」をクリックします。
    image.png

  • 「サンプル・サイズ」：1000（デフォルト）と設定し、「次へ」をクリックします。
    image.png

  • 「モニタリング対象のフィールドを選択」：GENDER_Male(OpenScaleが自動で選択)とPARTNER_Yesを設定し、「次へ」をクリックします。
    image.png

  • 「[GENDER_Male] のモニタリング対象グループを指定する」：0-0=Femaleをモニタリング、1-1=Maleを参照と設定し、「次へ」をクリックします。
    image.png

  • 「[PARTNER_Yes] のモニタリング対象グループを指定する」：0-0=Noをモニタリング、1-1=Yesを参照と設定し、「保存」をクリックします。
    image.png

  • 以上で「公平性」の構成は完了です。以下のような画面が表示されます。
    image.png

④品質の構成

  • 左から「品質」を選択し、「品質のしきい値」の編集マークをクリックします。
    image.png

  • 「品質のしきい値」：0.8(デフォルト)と設定し、「次へ」をクリックします。
    image.png

  • 「サンプル・サイズ」：1000(デフォルト)と設定し、「保存」をクリックします。
    image.png

  • 以上で「品質」の構成は完了です。以下のような画面が表示されます。
    image.png

⑤ドリフトの構成

  • 左から「ドリフト」を選択し、「ドリフト・モデル」の編集マークをクリックします。
    image.png

  • 「ドリフト・モデルを訓練する」：「Watson OpenScale で訓練する」を選択し、「次へ」をクリックします。
    image.png

  • 「ドリフトしきい値」：10％(デフォルト)と設定し、「次へ」をクリックします。
    image.png

  • 「サンプル・サイズ」：1000(デフォルト)と設定し、「保存」をクリックします。
    image.png

-以上で「ドリフト」の構成は完了です。以下のような画面が表示されます。
image.png

Watson OpenScaleのモニタリングの構成手順は以上となります。

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
0