0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AlphaZero方式で9路盤の囲碁AIを自作し、Androidアプリにしてみた【個人開発】

0
Posted at

優れた囲碁AIやアプリがすでに多数あることは承知しています。今回は学習目的で、AlphaGo Zeroで使われている強化学習とモンテカルロ木探索(MCTS)を実際に自分で実装し、9路盤でどのような振る舞いになるのかを試してみました。

その成果をAndroidアプリ「iGo Coach」として公開しています。アプリ内のニューラルネットワークはすべてこのプロジェクトで学習したもので、家庭用PC1台で学習しました。

構成

項目 内容
学習 Python / PyTorch
学習方式 KataGoを教師にした模倣学習で初期化 → 自己対局 + PUCT MCTS による強化学習
ネットワーク 残差ネットワーク(6ブロック × 96チャネル)、KataGo由来のグローバルプーリングと所有権ヘッド
アプリ Kotlin / Jetpack Compose
推論 TensorFlow Lite(端末上でオフライン実行、1手200シミュレーション)

アプリの機能

  • 対局相手「Coach-zeroGo」: 初心者レベル + 11段階。各レベルは学習の各世代のネットワークそのものです
  • AIヒント: 最新世代のネットワークで有力な手をヒートマップ表示し、勝率も推定します
  • 日本ルール(地計算) にデフォルトで対応

やってみて分かったこと

  • 自己対局では小さな偏りが増幅される:パスの確率がわずかに高いだけで、世代を追うごとに「序盤で両者パスして終局」する対局が急増しました。出力をフィルタするのではなく、データ生成側(ディリクレノイズ、シミュレーション数100→400、序盤20手のパス禁止)を直すことで解決しました。
  • 論文のハイパーパラメータはそのまま使えない:AlphaZeroのα=0.03は19路盤向けで、9路盤では逆効果でした。合法手の数に合わせてα=0.1に変更しました。
  • 損失が下がっても強くなるとは限らない:少ないデータで長く学習したモデルは暗記しただけで、実際の対局では弱いままでした。評価は勝率で行うべきだと学びました。
  • 「40局」が実は2局だった:評価対局が決定的で、同じ棋譜が20回ずつ繰り返されていました。序盤16手に確率的なサンプリングを入れて修正しました。
  • 盤面の対称性を使わないと、AIが特定の隅に固執する:8方向のデータ拡張を導入して構成を見直した結果、第6世代から天元の初手が自然に現れました。
  • 学習を長くするより、新しい対局データを増やす:1世代あたりの対局数を100→300→500に増やすたびに、停滞していた強化が再開しました。
  • 親世代に勝っても、本当に強くなったとは限らない:新しい候補が直前の世代だけに勝てる「相性」を学ぶことがあるため、過去の全世代との対戦で評価するようにしました。
  • インフラも実験の一部:PyTorchのデフォルトのスレッド設定では1局面の推論に247msかかっていましたが、1スレッドにすると3msになり、85倍速くなりました。

お願い

まだ改善の余地が多いアプリです。変な手や弱点、使いにくい点など、フィードバックをいただけると嬉しいです。

また、最強レベルに勝てた方がいましたら、ぜひ棋譜やスクリーンショットを教えてください!

ダウンロード

Google Play: iGo Coach

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?