逆強化学習(IRL)の評価指標に何があるか調べた（雑な）メモ。問題特化型の指標は扱わない。随時追加。
Reward Loss
- Ramachandran, D. and Amir, E. [2007]. Bayesian Inverse Reinforcement Learning.
真の報酬$R$と推定した報酬$\tilde{R}$の差のノルム。
L(\pi) = \|R - \tilde{R} \|_{n}
IRLは不良設定(ill-posed)問題なので、このような指標は(多くの場合)意味がない。報酬を正確に推定したいときに。
時折出てくる「重み$w$の差」とか「特徴量の差」とかも同類の気がする。
エキスパートと学習者の距離
エキスパート軌跡と学習者の方策の距離，となりそうなもの．
Expected Value Difference (EVD)
「期待価値差」。Value（価値）とは状態価値のことか。
- Levine, S., Popovic, Z., and Koltun, V. [2011] Nonlinear Inverse Reinforcement Learning with Gaussian Processes.
- Abbeel, P., and Ng, A. Y. [2004] Apprenticeship learning via inverse reinforcement learning.
後者ではEVDとは呼ばれていないが、同じ定式化が見られる。論文式(6)-式(9)を参照。
IRLではよく出てくる指標。非負（0でエキスパートと一致）であり，小さいほどエキスパートに近い。
\operatorname{EVD}(\pi) = {V^{*}}_{R} - {V^{\pi}}_{R} \\
= \mathbb{E} \Bigl [ \sum_{t=0}^{\infty} \gamma^{t} R(s_t) | {\pi^{*}} \Bigr ] - \mathbb{E} \Bigl [ \sum_{t=0}^{\infty} \gamma^{t} R(s_t) | \pi \Bigr ]
ここで，
- $R$ : 真の報酬
- $\pi^{*}$ : 真の報酬$R$に従って学習した最適方策
- $\pi$ : 推定報酬$\tilde{R}$に従って学習した最適方策
注意されたいのは、「真の報酬$R$のもとで，最適方策$\pi^{*}$と調べたい方策$π$との状態価値（＝割引累積報酬の期待値）の差」である。真の報酬が未知の場合は使えない。正確に計算する場合は、方策反復(Policy Iteration)の方策評価(Policy Evaluation)を使って求める方法がある。
Policy Loss
- Ramachandran, D. and Amir, E. [2007]. Bayesian Inverse Reinforcement Learning.
EVDよりもうちょい一般的な形。
L(\pi) = \|{V^{*}}_{R} - {V^{\pi}}_{R}\|_{p}
Negative Log Likelihood (NLL)
「負の対数尤度」。「交差エントロピー」（cross entropy）とも言う。
Kitani版
- Kitani, K. M., Ziebart, B. D., Bagnell, J. A., and Hebert, M. [2012] Activity Forecasting.
推定した報酬に従って学習した方策$\pi$のもとでの軌跡の（？）NLL。
\operatorname{NLL}(\pi) = \mathbb{E}_{\pi} \Bigl [ - \ln \prod_t \pi (a_t|s_t) \Bigr ]
Kitani先生が関わっている論文で使われている。
Uchibe版
- Uchibe, E., and Doya, K. [2014] Inverse Reinforcement Learning Using Dynamic Policy Programming.
真の報酬$R$のもとでの最適方策からサンプリングした状態行動対$(s,a)$のデータセットを$\mathcal{D}^{*}$とするとき、推定した報酬$\tilde{R}$のもとで学習した方策$\pi$のNLL。
\operatorname{NLL}(\pi) = - \frac{1}{\mathcal{D}^{*}} \sum_{(s,a) \in \mathcal{D}^{*}} \ln \pi(a|s)
Wasserstein距離
- Dadashi, R., Hussenot, L., Geist, M., and Pietquin, O. [2020]. Primal Wasserstein Imitation Learning.
- OpenReview版
- 参考: Imitation Learning in the Low-Data Regime
詳細は目下確認中．真の報酬にアクセスできない場合の，逆強化学習にも使えそうな尺度だと思います．
累積報酬の期待値
推定した報酬$\tilde{R}$のもとで学習した方策$\pi$ が1エピソードで獲得する真の報酬$R$の合計の平均．
R_{\pi} = \mathbb{E}_{\pi} \Bigl [\sum_{t=0}^{\infty} R(s_{t}) \Bigr ]
MujocoタスクなどでEVDを計算するのは難しいので，最近はこれが多い．