この記事はfusicアドベントカレンダーその２ 23日目の記事です。
fusicではつい先日までPythonで学ぶ強化学習の緑本の輪読会をしていました。
そんな中、「なーーんかJuliaで強化学習のパッケージねーかなー」とおもいつつ、調べても何がいいかわからない状態が続きました。
そもそもJuliaを触っているのが弊社で自分だけなんで、聞いてもいい返事は返ってきません。
めんどくせー、Juliaのslackのworkspaceできいたれ。
そうおもって、ききました。
Q: 「強化学習を今勉強してんだけど、なーんかいいパッケージないと？」
A:「ReinforcementLearning.jlとかいいと思うよ！夏にQ-Learningの開発したやで」
心優しく教えてもらいました。
せっかく教えてもらったんで、こいつを今回ちょっとだけ触ってみました。
入門編ということで！
CartPole
たぶん、一番有名なはず。
台車に立てられた棒を倒さないように左右に動かすゲームです。
この環境について、すでにこのパッケージに梱包されている深層強化学習を使って、実践してみましょう！
packageのインポート
using ReinforcementLearning, ReinforcementLearningEnvironments, Flux
上で書いてる通り、Fluxを使います。上のパッケージを追加しておいてください。
環境について
env = CartPoleEnv(;T=Float32)
ns, na = length(observation_space(env)), length(action_space(env)) # (4, 2)
device = :cpu
- 状態空間
- 位置
- 速度
- 角度
- 角速度 の４つがあります。
で、行動に関して言えば、右か左かしかないので2が設定されています。
layerの定義
layer1 = Dense(ns, 128, relu)
layer2 = Dense(128, 128, relu)
layer3 = Dense(128, na)
neural_network_q = NeuralNetworkQ(model = Chain(layer1, layer2, layer3),
optimizer = ADAM(),
device = device)
３層のネットワークに128このノードを連結させてます。
４つの行動から、左か右かの判断をさせるため、4:128:2 の順でつなげます。
戦略と報酬
ϵ_selector = EpsilonGreedySelector{:exp}(ϵ_stable = 0.01, decay_steps = 500)
q_base_policy = QBasedPolicy(learner = BasicDQNLearner(approximator = neural_network_q,
batch_size = 32,
min_replay_history = 100,
loss_fun = huber_loss),
selector = ϵ_selector)
ε-greedy法を選択します。
Agentの定義
circular_risa_buffer = circular_RTSA_buffer(capacity = 1000,
state_eltype = Float32,
state_size = (ns,))
agent = Agent(
π = q_base_policy,
buffer = circular_risa_buffer
)
bufferについてはなんだかよくわかっていませんが、Policyを改善するために、Agentと環境とを行き来しているものみたいです。
こんな感じらしいです。
学習してみます
hook = ComposedHook(
TotalRewardPerEpisode(),
TimePerStep()
)
run(agent, env, StopAfterStep(10000; is_show_progress=true); hook = hook)
Progress: 100%|███████████████████████████████████████████████████████████████| Time: 0:00:11
hookへ報酬と学習時間を保存していきます。
自分の環境だと、ざっと11秒程度で終わりました。早いですね。
遷移を可視化するとこんな感じです。
using Plots
plot(hook[1].rewards, xlabel="Episode", ylabel="Reward", label="")
50エピソード超えたあたりくらいで、満点を取っています。
ふむ、なんか過学習してる気がするんですが。
Note
ReinforcementLearning.jlを普通にインストールしても出来ませんでした。
masterブランチから落としてきましょう。
using Pkg; Pkg.add(PackageSpec(name="ReinforcementLearning", rev="master"))
で出来ます。
感想
自分の強化学習に対する理解が浅いため、いまいち理解出来ない部分も多かったです。
ドキュメントが豊富、、、とは言い難いですが、サンプルもあるし、開発途中っぽいので、ウォッチして行こうかなと思います。
ありがとう。教えてくれたJuliaの人よ。
結果
んん？ww
多分良くないのかな。わかんねえ
学ばなければ。