1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Q-Learningにおいて生存コストはなぜ意味があるのか?

1
Posted at

❓ 私の疑問

Q-learningで鬼ごっこAIを作っているとき、ずっと疑問でした。

  1. 行動は連続なのに、生存コストって意味ある?
  2. Q-learningに時間パラメータはないのに時間罰は効く?
  3. 行動単体が悪いわけじゃないのに、毎ステップ罰して正しく学習できる?
  4. 最初に更新された行動が最善手になって固定されない?

正直、最初は

なんとなく効きそうだから入れてる

状態でした。

でもちゃんと整理すると、
生存コストはかなり理にかなっていることが分かります。


🧩 まず:なぜそもそも生存コストを入れたくなるのか?

想像してください。

報酬がこうだったら?

捕獲 +100
それ以外 0

このとき鬼は:

  • 3手で捕まえても +100
  • 30手で捕まえても +100
  • 300手で捕まえても +100

全部同じ。

🔥 Q値は「速さ」を区別できない。

つまり、

ゆっくり追い詰める戦略も
ほぼ止まってから偶然捕まえる戦略も
同じ価値

になってしまう。

鬼ごっこなのに
「できるだけ早く捕まえる」が学習目標に入っていない。

そこで生存コストを入れる。

-1, -1, -1, ..., +100

すると:

  • 3手 → 97
  • 30手 → 70
  • 300手 → -200

🔥 速いほど累積報酬が高い。

ここで初めて

最短経路が有利になる。


🧠 Q(s,a) は何を評価しているのか?

ここでよく誤解する。

Q(s,a) は

その瞬間の行動の点数

ではない。

正しくは:

その状態 s で行動 a を選んだとき、
その後ずっと最適に動いた未来全体の価値

式で書くと:

$$
G = r_0 + \gamma r_1 + \gamma^2 r_2 + \dots
$$

🔥 未来の報酬が逆流して、今の行動の価値になる。


🔁 未来はどうやって逆流するのか?

例:

s1 → s2 → s3 → 捕獲(+100)

(\gamma = 0.9) とする。

ステップ3

$$
Q(s3) = 100
$$

ステップ2

$$
Q(s2) = 0 + 0.9 \times 100 = 90
$$

ステップ1

$$
Q(s1) = 0 + 0.9 \times 90 = 81
$$

つまり:

$$
Q(s1) = \gamma^2 \times 100
$$

未来の +100 が、2ステップ前の行動の価値になる。

これが

「行動単体ではなく未来全体を評価している」

の意味。


3️⃣ 生存コストを入れると何が起きる?

報酬が

-c, -c, -c, ..., +100

になる。

2ステップで捕獲:

$$
-2c + \gamma^2 \times 100
$$

9ステップで捕獲:

$$
-9c + \gamma^9 \times 100
$$

🔥 遅い経路ほど累積が小さくなる。

時間そのものを入れているわけではなく、
経路の長さに罰を与えている。


⏱ 「時間」が状態に入っていなくても効く理由

よくある疑問。

状態に時間入ってないのに時間罰って効くの?

時間は直接評価していない。

評価しているのは:

経路の長さ

行動が未来の長さを決める。

  • 長い経路 → 生存コストが積み重なる
  • 短い経路 → 積み重ならない

時間は変数ではなく、
累積報酬の中に自然に埋め込まれている。


🤔 行動単体が悪いわけではない問題

疑問:

行動単体が悪いわけじゃないのに罰して大丈夫?

Qは行動単体を評価していない。

評価しているのは:

この状態でその行動を選ぶと未来がどうなるか

例:

  • 左に行く → 遠回り
  • 右に行く → 近道

左が悪いのではない。

この状態で左を選ぶと未来が長くなるからQが低くなる。


🧠 さらに出てくる疑問

ここで、もう一段深い疑問が出る。

でもそのときたまたま鬼が逆方向に逃げて
左に行ったら報酬が低くなっただけかもしれない。
それって正しく評価できていないのでは?

確かに1回だけ見ればそう見える。


🔄 答え:1回の結果では決まらない

更新式は:

$$
Q \leftarrow Q + \alpha (target - Q)
$$

🔥 1回で確定しない。

例えば:

  • 左を選ぶ
  • たまたま状況が悪く報酬が低い
  • Qが少し下がる

でも次に:

  • 同じ状態で左を選ぶ
  • 今度は有利に働く
  • Qが上がる

こうして

左という行動の「平均的な価値」

に近づいていく。


📊 試行回数が増えるとどうなるか?

ε-greedy探索がある限り、

  • 左も
  • 右も
  • 他の行動も

何度も試される。

その結果、

たまたま悪かったケース
たまたま良かったケース

が平均化される。

最終的にQは:

その状態で左を選んだときの期待値

に近づいていく。


6️⃣ 生存コストが強すぎると何が起きる?

例えば:

  • 捕獲 +100
  • 生存コスト -5/step
  • 最大600step

なら

-3000 + 100 = -2900

捕まえても大きなマイナス。

このとき学習は

捕獲を目指すゲーム
から
マイナスを最小化するゲーム

に変わる。

🔥 目的が変わるのが問題。


7️⃣ 「最初の行動が最善手にならない?」

最初は偏る。

でも

  • εによる探索
  • αによる平均化
  • 十分な試行回数

があれば修正される。

Q-learningは最終的に期待値を学習している。


🏁 結論

生存コストは

「時間」を直接入れているのではない。

「未来の長さ」に罰を与えている。

Q-learningは行動単体ではなく、
未来全体を評価している。

だから生存コストは意味がある。

そして、

報酬設計を間違えると、学習する目的そのものが変わる。

1
0
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?