はじめに
こんにちは。2026年1月のG検定に合格した、文系出身のエンジニアです。
G検定の勉強をしていて、「強化学習」の分野で頭がパンクしそうになった経験はありませんか？Q学習、DQN、方策勾配法、AlphaGo……。似た用語が次々と出てきて、「結局どれがどれ？」と混乱する方も多いと思います。
私も最初はまったく同じ状態でした。でも、強化学習はストーリーとして流れを掴むと一気に理解が進みます。この記事では、G検定に出る強化学習の重要トピックを「つながり」を意識しながら整理していきます。
そもそも強化学習とは？
強化学習を一言でいうと、**「試行錯誤しながら、もらえるご褒美が最大になる行動を学ぶ仕組み」**です。
教師あり学習が「正解を教えてもらって学ぶ」のに対し、強化学習は「とりあえずやってみて、結果が良ければその行動を繰り返す」という学び方をします。ゲームのプレイヤーが、何度もやり直しながら上手くなっていくイメージです。
G検定で押さえるべき基本用語はこちらです。
| 用語 | 意味 | イメージ |
|---|---|---|
| エージェント | 行動する主体 | ゲームのプレイヤー |
| 環境 | エージェントが行動する世界 | ゲームのステージ |
| 状態（State） | 今どんな状況か | プレイヤーの現在位置 |
| 行動（Action） | エージェントが取る選択 | 上下左右に動く |
| 報酬（Reward） | 行動の結果もらえるスコア | コインを拾う＝+1点 |
| 方策（Policy） | どの状態でどう行動するかのルール | 攻略法・戦略 |
Q学習：強化学習の基本
Q学習は、「この状態でこの行動をとったら、将来どれくらい報酬がもらえそうか」をQ値という数値で表にまとめる手法です。
たとえば迷路ゲームなら、各マスで「右に行ったときのQ値」「左に行ったときのQ値」をテーブルに記録し、Q値が一番高い行動を選べばゴールに辿り着ける、というわけです。
G検定での出題ポイント
- Q学習は価値ベースの手法（行動の価値を数値化して判断する）
- ε-greedy法: 基本はQ値が高い行動を選ぶが、一定確率でランダムな行動を試す。探索（新しい行動を試す）と活用（良い行動を繰り返す）のバランスをとる仕組み
DQN：ディープラーニング×強化学習
Q学習には弱点があります。状態の数が増えると、テーブルが巨大になりすぎて管理しきれなくなるのです。囲碁の盤面パターンは約10の170乗通り。テーブルに書き切るのは不可能ですよね。
そこで登場したのがDQN（Deep Q-Network）です。Q値のテーブルの代わりにニューラルネットワークを使ってQ値を近似（予測）します。
DQNの画期的な点は、2015年にDeepMindが発表した論文で、Atariの49種類のゲームをプレイさせ、人間のスコアを上回る成績を達成したことです。ゲーム画面の画像（ピクセル情報）を入力として、最適な操作を学習しました。
DQNの重要テクニック（G検定頻出）
| テクニック | 内容 | 何が嬉しいか |
|---|---|---|
| Experience Replay | 過去の経験をメモリに溜めてランダムに学習 | データの偏りを防いで安定した学習ができる |
| Target Network | Q値の更新に使うネットワークを一定期間固定 | 学習が振動するのを防いで安定させる |
方策勾配法：もう一つのアプローチ
DQNは「行動の価値」を学ぶ方法でしたが、方策勾配法は「行動の選び方（方策）そのもの」を直接学びます。
イメージでいうと、DQNが「各行動に点数をつけて、一番高い点数の行動を選ぶ」のに対し、方策勾配法は「良い結果が出た行動の選択確率を上げる」という考え方です。
G検定での出題ポイント
- REINFORCE: 方策勾配法の基本アルゴリズム。報酬が高かった行動の確率を上げるシンプルな仕組み
- Actor-Critic: 方策（Actor）と価値関数（Critic）の2つのネットワークを組み合わせた手法。REINFORCEより安定した学習が可能
- PPO（Proximal Policy Optimization）: 方策の更新幅を制限して安定性を高めた手法。ChatGPTなどのLLMのファインチューニング（RLHF）でも使われている
価値ベース vs 方策勾配：ざっくり比較
| 価値ベース（Q学習・DQN） | 方策勾配法 | |
|---|---|---|
| 学ぶもの | 行動の価値（Q値） | 行動の選び方（方策） |
| 代表手法 | Q学習、DQN | REINFORCE、PPO |
| 得意な場面 | 行動の選択肢が少ない | 行動が連続的・複雑 |
| 弱点 | 連続行動空間に弱い | 学習が不安定になりやすい |
AlphaGo → AlphaGo Zero → AlphaZero
G検定で強化学習といえば、AlphaGoの系譜は避けて通れません。ここは進化の流れをストーリーで掴みましょう。
AlphaGo（2016年）
- DeepMindが開発し、プロ棋士イ・セドルに4勝1敗で勝利
- 教師あり学習（人間のプロ棋士の棋譜で学習）＋強化学習（自己対戦で強化）＋モンテカルロ木探索を組み合わせた
- CNNで盤面を評価するネットワークと、次の手を予測するネットワークを使用
AlphaGo Zero（2017年）
- 人間の棋譜を一切使わず、自己対戦のみで学習
- AlphaGoを100戦100勝で上回った
- 人間の知識に頼らなくても、AIが超人的な能力を獲得できることを示した画期的な成果
AlphaZero（2017年）
- AlphaGo Zeroの仕組みを囲碁以外のゲーム（チェス・将棋）にも汎化
- 各ゲームで既存の最強AIを上回る性能を達成
- 「1つのアルゴリズムで複数のゲームに対応できる」汎用性を示した
試験での頻出ポイント: 「AlphaGoは人間のデータを使った」「AlphaGo Zeroは人間のデータを使わなかった」この違いは非常によく出題されます。
マルチエージェント強化学習
新シラバスで注目度が上がっているのがマルチエージェント強化学習です。1つのエージェントではなく、複数のエージェントが同時に学習する仕組みです。
G検定で押さえるべき応用例
- OpenAI Five: Dota 2というチーム対戦ゲームで、5体のAIエージェントが協調プレイ。PPOベースで学習
- AlphaStar: StarCraft IIでグランドマスターレベルを達成
協調型（チームで同じ報酬を共有）と対戦型（相手に勝つことが報酬）の2パターンがあることを覚えておきましょう。
文系の私がやった強化学習の勉強法
正直に言うと、強化学習は数式を追い始めるとドツボにハマります。文系の方におすすめの勉強法は以下の通りです。
- まずストーリーで全体像を掴む: Q学習→DQN→方策勾配法→AlphaGoという「進化の流れ」を理解する
- 各手法の「何が新しいか」を押さえる: DQNは「テーブルの代わりにニューラルネット」、AlphaGo Zeroは「人間のデータ不要」など
- 比較表を作る: 似た手法の違いを表にまとめると記憶に定着しやすい
- 数式は深追いしない: G検定では数式そのものは出ません。仕組みと特徴を理解していればOK
まとめ
強化学習のG検定対策で押さえるべきポイントを振り返ります。
- 強化学習の基本構造（エージェント・環境・状態・行動・報酬・方策）
- Q学習の仕組みとε-greedy法
- DQNの2大テクニック（Experience Replay、Target Network）
- 価値ベースと方策勾配法の違い
- AlphaGo → AlphaGo Zero → AlphaZeroの進化の流れ
- マルチエージェント強化学習の代表例（OpenAI Five、AlphaStar）
強化学習は範囲が広くて大変ですが、ストーリーの流れを意識すると格段に理解しやすくなります。この記事が皆さんの勉強の助けになれば嬉しいです。
おすすめの学習リソース
強化学習を含むG検定の各分野を体系的に学ぶなら、G検定対策サイト（AI検定ナビ） が分野別の解説や模擬問題が充実していておすすめです。
※この記事はJDLA非公式の個人的な体験記です。試験の最新情報はJDLA公式サイトでご確認ください。