価値損失と方策損失の変動による影響

損失関数	増加（上がる）場合	減少（下がる）場合
価値損失	• 価値関数の予測精度が低下している • 環境が変化し、以前の価値推定が現状に合わない • 学習率が高すぎて振動している • 特定サンプルへの過学習が発生している • 💡アクション: 学習率の調整、バッチサイズの増加、正則化の強化を検討	• 価値関数の予測精度が向上している（良い兆候） • モデルが環境のダイナミクスを正しく学習している • パラメータが最適点に向かって収束している • ⚠️ 過度に減少する場合は、価値関数が単純すぎる可能性 • 💡アクション: 方策の改善も伴っているか確認
方策損失	• 方策が退化している • 探索-活用のバランスが崩れている • 重点サンプリング比が不安定化している • 報酬信号にノイズがある • 💡アクション: 学習率の低減、エントロピー係数の調整、クリッピングパラメータの見直し	• 方策が改善している（良い兆候） • 方策と価値関数の整合性が向上している • 適切な探索-活用バランスが実現できている • ⚠️ 急激に減少する場合は、局所解への収束や過度な活用の懸念 • 💡アクション: 探索の度合いが十分か確認

学習終了の判断基準

判断基準	具体的な指標	判断方法
報酬の安定化	• 平均報酬 • 累積報酬	• 一定期間（例：100エピソード）の移動平均が横ばいか微増 • 報酬の分散が小さくなっている
損失値の変化率	• 価値損失の変化率 • 方策損失の変化率	• 変化率が十分小さい（例：前回比0.1%未満） • 両方の損失関数が安定していることが重要
バリデーションパフォーマンス	• 別環境での評価スコア • 未見の初期条件での性能	• 要求性能レベルに達している • バリデーションスコアの低下が始まると過学習の兆候
計算効率と実用性	• 計算時間 • リソース消費 • タスク要件	• 利用可能な計算リソースを考慮 • 実用的な要件を満たせば十分と判断可能

アーリーストッピングのための統合的判断

学習を終了する条件:
1. 報酬の安定: 過去N回の平均報酬の変化が閾値以下
   AND
2. 損失の安定: 価値損失と方策損失の変化率が十分小さい
   AND
3. 以下のいずれか:
   - バリデーションスコアが目標値に到達
   - バリデーションスコアが連続M回低下
   - 計算時間/エピソード数が上限に到達