優れた囲碁AIやアプリがすでに多数あることは承知しています。今回は学習目的で、AlphaGo Zeroで使われている強化学習とモンテカルロ木探索(MCTS)を実際に自分で実装し、9路盤でどのような振る舞いになるのかを試してみました。
その成果をAndroidアプリ「iGo Coach」として公開しています。アプリ内のニューラルネットワークはすべてこのプロジェクトで学習したもので、家庭用PC1台で学習しました。
構成
| 項目 | 内容 |
|---|---|
| 学習 | Python / PyTorch |
| 学習方式 | KataGoを教師にした模倣学習で初期化 → 自己対局 + PUCT MCTS による強化学習 |
| ネットワーク | 残差ネットワーク(6ブロック × 96チャネル)、KataGo由来のグローバルプーリングと所有権ヘッド |
| アプリ | Kotlin / Jetpack Compose |
| 推論 | TensorFlow Lite(端末上でオフライン実行、1手200シミュレーション) |
アプリの機能
- 対局相手「Coach-zeroGo」: 初心者レベル + 11段階。各レベルは学習の各世代のネットワークそのものです
- AIヒント: 最新世代のネットワークで有力な手をヒートマップ表示し、勝率も推定します
- 日本ルール(地計算) にデフォルトで対応
やってみて分かったこと
- 自己対局では小さな偏りが増幅される:パスの確率がわずかに高いだけで、世代を追うごとに「序盤で両者パスして終局」する対局が急増しました。出力をフィルタするのではなく、データ生成側(ディリクレノイズ、シミュレーション数100→400、序盤20手のパス禁止)を直すことで解決しました。
- 論文のハイパーパラメータはそのまま使えない:AlphaZeroのα=0.03は19路盤向けで、9路盤では逆効果でした。合法手の数に合わせてα=0.1に変更しました。
- 損失が下がっても強くなるとは限らない:少ないデータで長く学習したモデルは暗記しただけで、実際の対局では弱いままでした。評価は勝率で行うべきだと学びました。
- 「40局」が実は2局だった:評価対局が決定的で、同じ棋譜が20回ずつ繰り返されていました。序盤16手に確率的なサンプリングを入れて修正しました。
- 盤面の対称性を使わないと、AIが特定の隅に固執する:8方向のデータ拡張を導入して構成を見直した結果、第6世代から天元の初手が自然に現れました。
- 学習を長くするより、新しい対局データを増やす:1世代あたりの対局数を100→300→500に増やすたびに、停滞していた強化が再開しました。
- 親世代に勝っても、本当に強くなったとは限らない:新しい候補が直前の世代だけに勝てる「相性」を学ぶことがあるため、過去の全世代との対戦で評価するようにしました。
- インフラも実験の一部:PyTorchのデフォルトのスレッド設定では1局面の推論に247msかかっていましたが、1スレッドにすると3msになり、85倍速くなりました。
お願い
まだ改善の余地が多いアプリです。変な手や弱点、使いにくい点など、フィードバックをいただけると嬉しいです。
また、最強レベルに勝てた方がいましたら、ぜひ棋譜やスクリーンショットを教えてください!
ダウンロード
Google Play: iGo Coach