はじめに

OpenAI gymでオセロを強化学習するための環境を作ってみました。
今後、強化学習の環境を作ってみたい人向けに参考になればと思います。
学習アルゴリズムは未実装です。これから勉強してみます。
コードはこちら
https://github.com/pigooosuke/gym_reversi

gym/envsには、デフォルトで様々な学習環境が入っています。
ちなみに、ボードゲーム系では、囲碁とhexがあります。
今回は、これらのコードを参考にして作成しました。

作成手順

gym/envs/ 以下にオリジナルの学習環境を作成する
gym/envs/__init__.py に作成した環境をデフォルト値と一緒に登録する
といった流れになります。

作成したEnvは、以下のように呼び出せるようになります。

import gym
env = gym.make('Reversi8x8-v0')

Envファイル

クラス説明

class ReversiEnv を作成しました
基本的にEnvには、５つのmethodを中心にコードを記述していく必要があります。
_step
ステップ数を１回分進める
(playerの差し手とopponentの差し手を出力し、ゲームが終わっていないかを確認)

_reset
Envの初期設定を読み込み
(ボードの読み込み、先行後攻など)

_render
EnvのStatusを図示する（画像、RGB、テキストがセットされている）
(ボードの石の状況を表示）

_close
Envの情報をすべて破棄する
（今回は未使用）

_seed
random seedによりactionを決定するのに利用
（設定）

classのinit

初期値には、
player_color: プレイヤーの石の色（黒が先）
opponent: opponentの戦略（今回はランダム）
observation_type: State encoding　(不要な設定？消してもいいかも。numpy3cでstatusを管理していますという宣言。一応残している)
illegal_place_mode: ミスプレイをしたときの罰則（負けなど）
board_size: ボードのサイズ(今回は8)

を設定しています。

action

actionはEnvに対して、どの行動をとるかを決めます。
8x8のボードなので、0-63が打ち手の位置、64が投了、65がpassを設定しました。
actionの部分に強化学習の出力を導入するイメージです

done

step処理の後半にこのstepの結果、ゲームが終了しているか確認する必要があります。

石を置く場所がない。
どちらかのプレイヤーの石一色になってしまった。
という条件に合致した場合、
ゲーム終了とともに、rewardを返します。

reward

評価方法は勝ち負けの1,-1を設定しています。

ゲーム終了確認

def game_finished(board):
    # Returns 1 if player 1 wins, -1 if player 2 wins and 0 otherwise
    d = board.shape[-1]

    player_score_x, player_score_y = np.where(board[0, :, :] == 1)
    player_score = len(player_score_x)
    opponent_score_x, opponent_score_y = np.where(board[1, :, :] == 1)
    opponent_score = len(opponent_score_x)
    if player_score == 0:
        return -1
    elif opponent_score == 0:
        return 1
    else:
        free_x, free_y = np.where(board[2, :, :] == 1)
        if free_x.size == 0:
            if player_score > (d**2)/2:
                return 1
            elif player_score == (d**2)/2:
                return 1
            else:
                return -1
        else:
            return 0
    return 0

失敗ネタ

最初ルールを全く設定せず、どのステータスでもactionで0-63を取れる（どこにでも石を置ける）という設定をし、ルール自体を学習させようとしましたが、開始1,2手の学習で収束してしまい上手く学習できず、actionの値に制限を付けています。

石を置ける候補を確認する

def get_enable_to_actions(board, player_color):
    actions=[]
    d = board.shape[-1]
    opponent_color = 1 - player_color
    for pos_x in range(d):
        for pos_y in range(d):
            if (board[2, pos_x, pos_y]==0):
                continue
            for dx in [-1, 0, 1]:
                for dy in [-1, 0, 1]:
                    if(dx == 0 and dy == 0):
                        continue
                    nx = pos_x + dx
                    ny = pos_y + dy
                    n = 0
                    if (nx not in range(d) or ny not in range(d)):
                        continue
                    while(board[opponent_color, nx, ny] == 1):
                        tmp_nx = nx + dx
                        tmp_ny = ny + dy
                        if (tmp_nx not in range(d) or tmp_ny not in range(d)):
                            break
                        n += 1
                        nx += dx
                        ny += dy
                    if(n > 0 and board[player_color, nx, ny] == 1):
                        actions.append(pos_x*8+pos_y)
    if len(actions)==0:
        actions = [d**2 + 1]
    return actions