はじめに
この記事は「Pylearn2で三目並べのAIをつくってみる」の続編です。
使用しているMLPモデルや棋譜のフォーマットなどの情報が書いてあるので、前の記事をお読みいただいてから、この記事を読むことをお勧めいたします。
前の記事で
今後は一度のトレーニング結果を元に、任意の入力に対する次の一手を簡単に得られるようにして、三目並べのゲームに実装してみようと思います。まずは三目並べのゲームプログラムを作らねば。
と結んでいましたので、こちらを実現します。
そのために、トレーニング済みのモデルの保存と読み込みをする必要がありました。
その方法を紹介して、実際にwxPythonで三目並べを作成します。
ソースコードなどの必要なファイルはGitHubに上げていますので、そちらから取得してください。
Pylearn2でのモデルの保存と読み込み方法
分かってみれば、簡単でした。
from pylearn2.utils import serial
...
...
ann = mlp.MLP([h0,out], nvis=9)
path = "./hoge.pkl"
# save model
serial.save(path, ann, on_overwrite='backup')
# load model
ann = serial.load(path)
'on_overwrite'は'ignore', 'backup' が選択できます。
- ignore : 無視して上書き
- backup : save前に .bak としてバックアップをし、saveが成功したら .bakファイルを削除します。saveが失敗したとき、復旧できます。
特に理由がない限り、'backup'でよいのではないかと思います。
wxPythonによる三目並べ
動作確認環境
- LinuxMint 17.3 (python2.7.6 + wxpython3.0.3)
wxPythonは2.8でも動作すると思います。
wxPythonのインストール手順はこちらなどをご覧ください。
WindowsではPylearn2のインストールが至難の業なので、Linuxで実行してください。Macでは...すいません、分かりません...
使い方
１. モデルのパラメータを設定し、学習したモデルをSaveする
右半分のパネルでモデルのパラメータを設定します。
- h0 : Sigmoid
- irange : 初期の重みの範囲。±irangeの範囲からランダムで設定されます。
- init bias : 初期バイアス値
- out : Softmax
- irange : 初期の重みの範囲。±irangeの範囲からランダムで設定されます。
- open .csv
- 読み込む棋譜ファイルの指定。tic_tac_toe.pyと同一フォルダから読み込まれます。
- save .pkl
- Saveするモデルファイル名。tic_tac_toe.pyと同一フォルダに作成されます。
- term criterion
- termination_criterion. 学習終了するEpochCounter値を設定します。
２. Game Modeの選択
- Man vs Comp : 人が先攻、Computerが後攻
- Comp vs Man : Computerが先攻、人が後攻
３．読み込むモデルファイルの指定してGame Start
４．マウスの左クリックで〇×を置きます。Computerは学習結果から自動で置きます。
一度モデルを保存すれば、それを指定するだけでそのモデルでゲームできます。
楽しむポイント
- 読み込む棋譜ファイルを先攻が勝ったもの(records_1st_win.csv)、先攻が負けたもの(records_1st_lose.csv)、全部まとめたもの(records.csv)で変更すると挙動が変わります。先攻が勝った棋譜で学習させたモデルで、Computerに後攻で打たせる意地悪をすると...
- termination_criterionを非常に小さい値にすると...
- 自分で最善手を打っている棋譜を元にすると...
などパラメータを変えて、AIの挙動を見て楽しんでください。
また、以下のようなコンソール出力されるComputerが打つ手の自信の具合(と私は呼んでいます)を見ながらゲームするのもおススメです。
[ 0.1223754 0.07839377 0.1005455 0.09967972 0.0958171 0.05355689
0.13877278 0.08772236 0.22313648]
[ 1.69255291e-01 1.79474672e-01 6.59611187e-02 8.35728072e-02
1.76704145e-01 5.69182580e-05 1.74977445e-01 1.48576416e-01
1.42118607e-03]
[ 3.94020768e-02 3.56583963e-03 9.39233627e-05 1.20089713e-01
4.85647829e-01 2.05857441e-04 2.00150417e-01 1.50013023e-01
8.31320404e-04]
[ 3.55036488e-01 8.74969597e-03 2.24572898e-04 7.35919590e-04
1.89100732e-02 3.48102279e-04 2.63566398e-01 3.48737495e-01
3.69125555e-03]
[ ]で囲まれた９つの数字は合計で1になります。９つの数字は９つのマスに対応します。
この中で最大の値を取っているマスにAIは打ちます。
この数字を確率のように考えると、
- どの数字もあまり大差がない場合 → あまり自信なし。
- ひとつだけ圧倒的に値が大きい場合 → 自信満々
自信満々に変なマスに打つと、ちょっと愛らしい。
ぜひ、いろいろと試して遊んでみてください。
参考
https://github.com/lisa-lab/pylearn2/blob/master/pylearn2/train.py
http://fastml.com/how-to-get-predictions-from-pylearn2/
http://deeplearning.net/software/pylearn2/library/utils.html