はじめに
2019/6/14に公開されたMediumの記事 
「Model Behavioural Insights using IBM Watson OpenScale」の翻訳です。以下3本の記事に続く4本目の記事となります。(翻訳作業については著者了承済み)
- 翻訳記事: IBM Watson OpenScaleを使用したAIモデルの振る舞いの説明
- 翻訳記事: IBM Watson OpenScaleにおけるバイアス検知
- 翻訳記事: IBM Watson OpenScaleにおけるバイアス軽減
IBM Watson OpenScaleを使用したモデルの振舞いの洞察
Jun 14, 2019 by Manish Bhide
従業員へのフィードバックは、自分の長所と短所を理解して向上する助けになる非常に強力なツールです。従業員はフィードバックを得ることで自分の専門性を向上できるので、フィードバックは従業員から歓迎されています。 実は、AIモデルにも似たような特徴があります。 AIモデルの長所と短所を特定し、改善するためにはフィードバックが必要なのです。 IBM Watson OpenScaleは「ペイロード分析」を使って企業がAIモデルの動作を理解し、隠れた洞察を得るのを支援します。OpenScaleによって当該AIモデルの適切な点と問題点を認識でき、結果としてモデルの改善に活用できます。このブログ記事ではOpenScaleのこのような機能の概要をご説明します。細かい点に入る前に、まずはいくつかの基本的な事柄から始めましょう。
モデル・ペイロードとは？
OpenScaleが特定のAIモデルを監視するように構成されると、即座にそのモデルが受け取った入力（データ）とその予測（結果）の収集を開始します。この情報は「ペイロード・データ」と呼ばれ、一定期間にわたるモデルの動作の履歴を表現しています。たとえば、銀行で融資申込みの詳細（融資の期間、融資履歴、融資目的、融資額、既存の貯蓄など）を入力として受け取り、その申込みにリスクがあるかどうかを判定する予測モデルを考えてみましょう。 この場合のペイロード・データには、モデルが受け取ったすべての融資申込の情報と、各申込みに対するモデルの判定結果が含まれます。各々のモデルの判定結果は、通常、その予測におけるモデルの確信度(Confidence)と関連があります。ぺイロードにはこの情報も格納されています。
このペイロード・データは所定の期間のモデルの振舞いの完全な記録を提供してくれるので、ビジネスにとって非常に貴重なものです。たとえば、半年前に融資を申し込んだ顧客が銀行に来店し、その融資が拒否された理由を尋ねてきた場合、銀行はOpenScaleを使用してペイロード・データから履歴レコードを調べ、モデル説明機能(Model Explanability Feature)を使って、モデルが融資を拒否した理由の説明を生成することができます。
ペイロード分析
IBM Watson OpenScaleは、ペイロードデータを分析することによって、モデルの振舞いに関する洞察を導き出す機能もご提供します。洞察を得るためにさまざまな種類のチャートを作成できるチャート・ビルダーも含まれています。チャートビルダーを使用して生成できるチャート群の1つでは、図1に示すようにモデル予測の分布をプロットできます。
図1：モデル予測の分布
ある銀行で従来、融資申込みの約40％をリスクが大きいとして拒否してきたしましょう。そのような銀行が上のチャートを見たならば、モデルがリスクがあると判定している割合が（過去の実績である40%より）はるかに低くなっていることに気付くはずです。彼らは直ちにこの状況を是正するためのアクションを求めることでしょう。正しいアクションを行うために、どんな場合にモデルが誤った予測をする可能性が高いのかを特定したいと考えるはずです。
前述のように、一般的に個々の予測はモデルの確信度(Confidence)と関係があります。モデルの確信度が低ければ、それだけ誤った予測をする可能性が高まります。図2に示すように、OpenScaleはモデルの確信度とその予測値の間の相関関係を示すチャートをご提供します。
図2：確信度 vs モデルの予測
上の図は、モデルの確信度が45〜59％の間（下側）にある融資の申込みが数多くあることを示しています。銀行はこのデータを分析し、なぜモデルの確信度が低いのか、その理由を理解したいと強く望むことでしょう。 OpenScaleは、図3に示すように、確信度と特徴量(Feature)1をプロットすることでこの問題の解決に役立ちます。
図3：特徴量と確信度
特徴量と確信度を比較することで、銀行はその特徴量がどのように確信度に影響を及ぼしているかについての洞察を得ることができます。図3は、特徴量「CheckingStatus」と確信度の相関関係を示しています。ここではCheckingStatusの値が"no_checking"の時に、このモデルの確信度は低下していることが読み取れます。この点が判明すれば、銀行はペイロード・テーブルからCheckingStatusが"no_checking"であるすべてのレコードを抽出して、人手でのラベル付けのために送信し、この追加のラベル付きデータでモデルを再トレーニングすることにより、モデルを改善することができます。あるいは「no_checking」という値がデータ品質面での問題を意味する場合もありますが、その場合はデータ管理者によって修正される必要があります。
上記の例からおわかりのように、OpenScaleのペイロード分析機能はモデルの問題を発見し、問題の根本原因を突き止め、改善し、それによって問題を解決するお役に立ちます。要約すると、ペイロード分析はモデルの動作を理解し、必要に応じて修正措置を講じることを可能にするOpenScaleの非常に便利な機能です。
-
訳者注：「特徴量」という用語は耳慣れない方もおられるかもしれませんが、要は予測の入力となるデータ・フィールド群のことです。 ↩