❓ 私の疑問
Q-learningで鬼ごっこAIを作っているとき、ずっと疑問でした。
- 行動は連続なのに、生存コストって意味ある?
- Q-learningに時間パラメータはないのに時間罰は効く?
- 行動単体が悪いわけじゃないのに、毎ステップ罰して正しく学習できる?
- 最初に更新された行動が最善手になって固定されない?
正直、最初は
なんとなく効きそうだから入れてる
状態でした。
でもちゃんと整理すると、
生存コストはかなり理にかなっていることが分かります。
🧩 まず:なぜそもそも生存コストを入れたくなるのか?
想像してください。
報酬がこうだったら?
捕獲 +100
それ以外 0
このとき鬼は:
- 3手で捕まえても +100
- 30手で捕まえても +100
- 300手で捕まえても +100
全部同じ。
🔥 Q値は「速さ」を区別できない。
つまり、
ゆっくり追い詰める戦略も
ほぼ止まってから偶然捕まえる戦略も
同じ価値
になってしまう。
鬼ごっこなのに
「できるだけ早く捕まえる」が学習目標に入っていない。
そこで生存コストを入れる。
-1, -1, -1, ..., +100
すると:
- 3手 → 97
- 30手 → 70
- 300手 → -200
🔥 速いほど累積報酬が高い。
ここで初めて
最短経路が有利になる。
🧠 Q(s,a) は何を評価しているのか?
ここでよく誤解する。
Q(s,a) は
その瞬間の行動の点数
ではない。
正しくは:
その状態 s で行動 a を選んだとき、
その後ずっと最適に動いた未来全体の価値
式で書くと:
$$
G = r_0 + \gamma r_1 + \gamma^2 r_2 + \dots
$$
🔥 未来の報酬が逆流して、今の行動の価値になる。
🔁 未来はどうやって逆流するのか?
例:
s1 → s2 → s3 → 捕獲(+100)
(\gamma = 0.9) とする。
ステップ3
$$
Q(s3) = 100
$$
ステップ2
$$
Q(s2) = 0 + 0.9 \times 100 = 90
$$
ステップ1
$$
Q(s1) = 0 + 0.9 \times 90 = 81
$$
つまり:
$$
Q(s1) = \gamma^2 \times 100
$$
未来の +100 が、2ステップ前の行動の価値になる。
これが
「行動単体ではなく未来全体を評価している」
の意味。
3️⃣ 生存コストを入れると何が起きる?
報酬が
-c, -c, -c, ..., +100
になる。
2ステップで捕獲:
$$
-2c + \gamma^2 \times 100
$$
9ステップで捕獲:
$$
-9c + \gamma^9 \times 100
$$
🔥 遅い経路ほど累積が小さくなる。
時間そのものを入れているわけではなく、
経路の長さに罰を与えている。
⏱ 「時間」が状態に入っていなくても効く理由
よくある疑問。
状態に時間入ってないのに時間罰って効くの?
時間は直接評価していない。
評価しているのは:
経路の長さ
行動が未来の長さを決める。
- 長い経路 → 生存コストが積み重なる
- 短い経路 → 積み重ならない
時間は変数ではなく、
累積報酬の中に自然に埋め込まれている。
🤔 行動単体が悪いわけではない問題
疑問:
行動単体が悪いわけじゃないのに罰して大丈夫?
Qは行動単体を評価していない。
評価しているのは:
この状態でその行動を選ぶと未来がどうなるか
例:
- 左に行く → 遠回り
- 右に行く → 近道
左が悪いのではない。
この状態で左を選ぶと未来が長くなるからQが低くなる。
🧠 さらに出てくる疑問
ここで、もう一段深い疑問が出る。
でもそのときたまたま鬼が逆方向に逃げて
左に行ったら報酬が低くなっただけかもしれない。
それって正しく評価できていないのでは?
確かに1回だけ見ればそう見える。
🔄 答え:1回の結果では決まらない
更新式は:
$$
Q \leftarrow Q + \alpha (target - Q)
$$
🔥 1回で確定しない。
例えば:
- 左を選ぶ
- たまたま状況が悪く報酬が低い
- Qが少し下がる
でも次に:
- 同じ状態で左を選ぶ
- 今度は有利に働く
- Qが上がる
こうして
左という行動の「平均的な価値」
に近づいていく。
📊 試行回数が増えるとどうなるか?
ε-greedy探索がある限り、
- 左も
- 右も
- 他の行動も
何度も試される。
その結果、
たまたま悪かったケース
たまたま良かったケース
が平均化される。
最終的にQは:
その状態で左を選んだときの期待値
に近づいていく。
6️⃣ 生存コストが強すぎると何が起きる?
例えば:
- 捕獲 +100
- 生存コスト -5/step
- 最大600step
なら
-3000 + 100 = -2900
捕まえても大きなマイナス。
このとき学習は
捕獲を目指すゲーム
から
マイナスを最小化するゲーム
に変わる。
🔥 目的が変わるのが問題。
7️⃣ 「最初の行動が最善手にならない?」
最初は偏る。
でも
- εによる探索
- αによる平均化
- 十分な試行回数
があれば修正される。
Q-learningは最終的に期待値を学習している。
🏁 結論
生存コストは
「時間」を直接入れているのではない。
「未来の長さ」に罰を与えている。
Q-learningは行動単体ではなく、
未来全体を評価している。
だから生存コストは意味がある。
そして、
報酬設計を間違えると、学習する目的そのものが変わる。