1. 概要
本ドキュメントは、機械学習モデルの新規構築時およびスコア更新時における評価検証の観点と手法を統一的に記録・報告するためのフォーマットである。
2. 実施タイミング
- 新規モデル構築時
- スコア更新時（再スコアリング）
- 定期検証（例：月次、四半期ごと）
3. 検証観点
＜新規モデル構築時＞
- モデル精度の検証（ROC-AUC, F1スコアなど）
- 過学習の有無（交差検証）
- 特徴量重要度の確認
- モデルの安定性（fold間ばらつき）
＜スコア更新時＞
- データドリフト（入力特徴量の分布変化）
- スコア分布の変化（平均・分散・外れ値）
- スコアの再現性・一貫性
4. 評価指標と基準値
- ROC-AUC：0.75以上を合格基準とする
- F1スコア：0.6以上が望ましい
- PSI：0.1未満を許容範囲とする
5. 検証方法
- データ分割方法：k-fold（例：5-fold）、Hold-out法
- モデル評価は訓練データ・検証データを分離して実施
- データドリフトは前回スコアリング結果との比較により確認
6. 結果と考察（記載例）
- ROC-AUCは5-foldの平均で0.78を記録し、基準値を満たしている。
- スコア分布の分散が大きくなっており、入力データの一部に変化が見られる。
- データドリフトの可能性があるため、データ前処理を見直す。
7. 今後の改善・アクション（記載例）
- 外れ値除去ロジックの見直し
- 一部特徴量のスケーリング方法を変更予定
- モデルのキャリブレーション検討（Platt Scalingなど）
8. 補足資料・付録
- 使用したハイパーパラメータの一覧
- 特徴量一覧
- 評価スクリプトへのリンク
- 検証に使用したデータの概要