env = gym.make(env_name)  # 環境構築（読込）
env.reset()               # 初期化 状態を取得
env.render()              # 可視化
env.step(action)          # 行動を行う 状態・報酬などを取得
env.close()               # 終了

$ git clone https://github.com/mlnagoya/MLN_201806

$ python3 handson_dqn.py --train-episodes=20 --outdir=_output20

$ python3 handson_dqn.py -h
usage: handson_dqn.py [-h] [--outdir OUTDIR] [--gamma GAMMA]
                      [--final-exploration-steps FINAL_EXPLORATION_STEPS]
                      [--start-epsilon START_EPSILON]
                      [--end-epsilon END_EPSILON]
                      [--replay-buffer REPLAY_BUFFER]
                      [--replay-start-size REPLAY_START_SIZE]
                      [--target-update-interval TARGET_UPDATE_INTERVAL]
                      [--update-interval UPDATE_INTERVAL]
                      [--train-episodes TRAIN_EPISODES]
                      [--max-episode-len MAX_EPISODE_LEN]
                      [--test-episodes TEST_EPISODES]

optional arguments:
  -h, --help            show this help message and exit
  --outdir OUTDIR       出力ファイル保存先ディレクトリ。 存在しなければ自動生成されます。 (default: _output)
  --gamma GAMMA         割引率 (default: 0.95)
  --final-exploration-steps FINAL_EXPLORATION_STEPS
                        探索ステップ数 (default: 10000)
  --start-epsilon START_EPSILON
                        ε-greedy法 の開始ε値 (default: 1.0)
  --end-epsilon END_EPSILON
                        ε-greedy法 の終了ε値 (default: 0.1)
  --replay-buffer REPLAY_BUFFER
                        Experience Replay のバッファサイズ (default: 1000000)
  --replay-start-size REPLAY_START_SIZE
                        replay-start-size (default: 500)
  --target-update-interval TARGET_UPDATE_INTERVAL
                        target-update-interval (default: 100)
  --update-interval UPDATE_INTERVAL
                        update-interval (default: 1)
  --train-episodes TRAIN_EPISODES
                        訓練エピソード数 (default: 200)
  --max-episode-len MAX_EPISODE_LEN
                        1回のエピソードの最大ステップ数 (default: 2000)
  --test-episodes TEST_EPISODES
                        検証エピソード数 (default: 10)

# :

class MyQFunction(chainer.Chain):
    """
    Q^*をDNNを使って近似する（別実装）
    """
    def __init__(self, obs_size, n_actions):
        # TODO: 必要なら引数を追加して、QFunction3LP の実装を参考にネットワークを構築する
        raise NotImplementedError

    def __call__(self, obs, test=False):
        # TODO: QFunction3LP の実装を参考にネットワーク適用を実装する
        raise NotImplementedError

# :

class ConstantEpsilonGreedy(explorer.Explorer):
    """ε-greedy 法（ε固定）"""

    def __init__(self, epsilon, random_action_func):
        assert epsilon >= 0 and epsilon <= 1
        self.epsilon = epsilon
        self.random_action_func = random_action_func

    def select_action(self, t, greedy_action_func, action_value=None):
        return select_action_epsilon_greedily(
            self.epsilon, self.random_action_func, greedy_action_func)

    def __repr__(self):
        return 'ConstantEpsilonGreedy(epsilon={})'.format(self.epsilon)

# :

class BestReplayBuffer(SimpleReplayBuffer):
    """報酬の高いものを優先的に記憶する ReplayBuffer"""

    def __init__(self, capacity=1000):
        super().__init__(capacity)

    # TODO: より報酬の高いものを優先的に残すような実装をする
    # def append(self, state, action, reward, next_state=None, next_action=None, is_state_terminal=False):
    #     pass

from util.qfunctions import QFunction3LP as QFunction
# from util.qfunctions import MyQFunction as QFunction
# ↑ココ

# : 《中略》

def get_agent(env, args):
    # : 《中略》

    # Use epsilon-greedy for exploration
    # explorer = ConstantEpsilonGreedy(
    #     epsilon=args.start_epsilon,
    #     random_action_func=env.action_space.sample)
    explorer = LinearDecayEpsilonGreedy(
        args.start_epsilon, args.end_epsilon, args.final_exploration_steps,
        random_action_func=action_space.sample)
    # ↑ココ

    # Experience Replayの設定
    replay_buffer = SimpleReplayBuffer(capacity=args.replay_buffer)
    # replay_buffer = BestReplayBuffer(capacity=args.replay_buffer)
    # ↑ココ

# : 《後略》