COMAレビュー

前回の投稿では、各エージェントのポリシーを評価するための中央制御、すなわち集中型学習（centralized learning）と、チーム報酬を通じて各エージェントの行動に対する報酬評価を行うための報酬整形（reward shaping）を導入したCOMA（Counterfactual Multi-Agent Policy Gradients）について紹介しました。この手法はアクター・クリティック方式であり、各エージェントはそれぞれアクター（Actor）を持ち、中央にはそれらを統括するクリティック（Critic）が存在していました。

QMIX

今回の投稿では、Q学習の手法を用いて集中型学習（centralized learning）および報酬整形（reward shaping）にアプローチしたQMIXについて紹介したいと思います。 QMIXは、前回取り上げたCOMAと比べてよりシンプルな手法なので、あまり構える必要はないでしょう。該当論文は以下のリンクから確認できます。

今回も同様に、次のような制約条件があります。

1.すべてのエージェントは**部分観測（partial observation）**の情報を用いる。
2.各エージェントの部分観測情報は互いに共有されない。
3.報酬も個々のエージェントに対してではなく、チーム全体への報酬として与えられる。

このような条件下で、最もシンプルにアプローチしたQ学習手法が、**IQL（Independent Q-Learning, Ming Tan 1993）です。この手法は、以前の投稿でも述べたように、各エージェントが自身の観測情報のみに基づいて学習します。そのため、常に安定した性能を発揮できるわけではありませんでした。今回取り上げるQMIXは、このIQLに集中型学習（centralized learning）**を取り入れた手法です。以下にQMIXのアーキテクチャを示し、それを通じて説明を続けたいと思います。

$Q_a$ ：エージェント $a$ のQ値

$\mathbf{O}_t^a$ ：時刻$t$におけるエージェント $a$ の観測（observation）

$\mathbf{u}_t^a$ ：時刻$t$におけるエージェント $a$ の行動（joint action）

$Q_{\text{tot}}$ ：各エージェントのQ値を統合したもの（全体のQ関数）

まず、図（c）を見ると、各エージェントのアーキテクチャが示されています。これはCOMAにおける各エージェントのアクターと同じ構造であり、それぞれの部分観測（observation）とjoint-actionを入力としてQ値を出力しています。このようにして得られたQ値は、図（b）のようにMixing Networkに入力されます。ここで、このMixing Networkが**集中型学習（centralized learning）**の役割を果たしています。つまり、各エージェントのQ値とグローバルな状態（state）情報を受け取り、最終的な出力を生成する構造です。このアルゴリズムがQMIXと呼ばれる理由は、複数のQ値をMixing（混合）しているからです。こうして得られた$Q_{\text{tot}}$を用いて、次のようなターゲット更新（target update）を行います。これにより、各エージェントのQ値が評価され、それがReward Shapingの役割を担うことになります。

図（c）は、集中型学習（Centralized Learning）を担うMixing Networkの構造を示しています。各エージェントのQ値と状態（state）を非線形ニューラルネットワークに適用し、$Q_{\text{tot}}$を最適化します。ただし、このとき次のような制約条件があります。それは、Q関数が単調性（Monotonicity）を持っていなければならないということです。この制約を適用する方法は、単純に絶対値を取って計算するだけで実現できます。これを数式で表すと、以下のようになります。

上の数式を見ると、$Q_{\text{tot}}$が各エージェントのQ値に関する偏微分であることが分かります。つまり、これを利用してReward Shapingが行われ、各エージェントのQ値が評価されるのです。

まとめ

QMIXは、従来のIQL手法に集中型学習（centralized learning）とReward Shapingを導入したアルゴリズムです。集中型学習は、Mixing Network（各エージェントのQ値と状態情報を入力）によって実現され、そこから$Q_{\text{tot}}$が算出されます。ただし、各エージェントのQ値は単調性（monotonicity）を満たしている必要があります。最後に、得られた$Q_{\text{tot}}$を用いてReward Shaping、つまり各エージェントのQ値の評価が行われます。一言で言えば、各エージェントのQ値をニューラルネットワークで統合し、その値を通じて各エージェントを評価する手法です。そのため、COMAと比べてよりシンプルな方法だと言えるでしょう。

以下のリンクは、QMIXで学習させた結果の映像です。
最初の動画は、他の方がアップロードしたものです。

2つ目は筆者が学習させた結果です。