Watson Open Scaleを使ってみた

Watson Open Scaleとは

• 用途：AIの監視ツール
• 特徴：信頼性・透明性・説明可能性の可視化
• 説明：AIの判定がどのように行われているかを説明する。また、バイアスを自動的に検出して軽減し、公正で信頼できる結果を生み出す。
• 仕組み：モデルに対する実際の入力と出力からシミュレーションでモデルを再構築し分析する

機能確認

1. 正確性、公平性の確認
2. 時系列の本番環境での与信判断確認

• Age 19 -25と Sex femaleへのレスポンスの状況を確認できるように設定しています。若年層はno riskと判断しているようです。

3. 年齢別与信判断確認

• 各年齢に対して、モデルの判断状況が一目でわかります。

4. 性別ごとの与信判断確認

• これで性別ごとに差があれば、バイアスがかかっているということになるのでしょう。

5. 特徴量の寄与度の確認

• 50歳だと、リスクが高いということですね。