SageMaker Clarifyとは
SageMaker Clarify は、以下のような目的で特化したツールです：
モデルの公平性評価：
- トレーニングデータやモデルの予測結果におけるバイアスを検出します。
説明可能性の提供：
- モデルがどのように予測を行ったかを解釈可能な形式で提供します。
SageMaker Clarify は、モデルの予測における各特徴量の影響度（特徴量属性）を評価し、時間の経過とともにその影響度が変化していないかをモニタリングする機能を提供します。
これにより、モデルが予測を行う際の判断基準が一貫しているかを確認し、特徴量属性のドリフトを検出することが可能です。
モデルバイアスの検出
SageMaker Clarify では、モデルバイアスをモニタリングするために、特定の属性（「性別」「人種」...）に関する分析 を行います。
分析したい属性やグループを Clarify の設定で指定し、それをもとにモデルの予測結果に偏りが存在するかどうかを検出します。
このプロセスでは、評価する属性や条件が重要な要素となります。
特に医療のようなセンシティブな分野で重要です。例えば、患者の年齢、性別、地域などの属性に基づいてモデルが異なる予測を行い、意図しない差別が発生する可能性を検出できます。
部分依存プロット (PDP)
PDPは、特定の特徴量がモデルの予測に与える影響を可視化 する手法です。
具体的には、選択した特徴量の値が変化したときに、他の特徴量の影響を一定に保ったまま予測結果がどのように変動するかを示します。
これにより、特徴量と予測結果の関係性を視覚的に理解でき、モデルの解釈可能性を高めることができます。
したがって、SageMaker Clarifyで特徴量の影響を可視化したい場合、PDPが適しています。
SHAP
SHAPは、各特徴量がモデルの予測に与える影響を定量化 する手法であり、モデルがどの特徴量に基づいて予測を行っているかを可視化します。
特徴量の影響度が時間とともに変化した場合、それは 「特徴量属性ドリフト」 として検知されます。
このようにSHAPを活用することで、どの特徴量の影響が変化しているかを詳細に理解し、必要に応じてモデルの再訓練や特徴量の再検討を行うことができます。
SageMaker Model Monitorとの統合
SageMaker Model Monitor と統合することで、時間の経過に伴うデータや予測の分布の変化（バイアスドリフト）を監視することが可能です。
監視効果：
- モデルのバイアスドリフト
SageMaker Studio内でのビジュアル化
SageMaker Clarifyでは、バイアスや解釈可能性に関するレポートを生成し、SageMaker Studio内でビジュアル化された形で確認することができます。
これにより、モデルの予測結果におけるバイアスの有無や影響度の高い特徴量を直感的に把握することができ、モデルの公平性や解釈可能性の向上に役立てることが可能です。
Studioを使うことで、データサイエンティストは 視覚的 にレポートを分析しやすくなります。