検証環境：8年前のMacBook Air

この記事はGoogle Colabでカードゲームを攻略するAIを作るシリーズのPart 3です。

Part 1：Google Colabの基礎 + RustバイナリをColabで動かす
https://qiita.com/hiyokoko/items/e24061c12d1cf3ff4f00
Part 2：強化学習 + 20万エピソードの結果
https://qiita.com/hiyokoko/items/e1160172b370ad7ebac0

Part 2で強化学習側はうまく動いた。次の課題は「実際のゲーム画面からカード情報を自動取得すること」。スクショからカードを認識させようと2週間格闘した。結果は完全に失敗。何がダメだったか正直に書く。

目指していたパイプライン

カード画像（JPG）
  ↓ OpenCV
カード名を認識
  ↓ TOMLと紐付け
効果・コストを取得
  ↓ RL環境
盤面を評価（良い手 / 悪い手）

理屈の上ではシンプル。実際はボロボロだった。

OpenCVでやろうとしたこと

GitHubから取得したマスター画像（約300種類）と、スマホのスクショから切り抜いたカード画像をテンプレートマッチングで照合する方法を試みた。

img = cv2.imread("card.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(...)
result = cv2.matchTemplate(input_card, template, cv2.TM_CCOEFF_NORMED)

一見シンプルだが、ことごとく失敗した。

やらかした3つのミス

6時間以上デバッグして見えてきた問題点。

ミス1：画像サイズを統一していなかった
マスター画像とスクショ切り抜きのサイズが微妙に違った。数ピクセルのズレでもテンプレートマッチングの精度は大きく落ちる。

ミス2：閾値が厳しすぎた

if score > 0.99:  # これほぼ通らない

人間の目には同一に見える画像でも、レンダリングの違いで0.95を下回ることがある。3pxのズレが致命的だった。

ミス3：カラー画像のまま比較していた
マスターJPGとスクショの色味が微妙に違うだけで精度が落ちる。グレースケールに変換してから比較するのが正解。

全部試した

✅ テンプレートマッチング → 精度悪い
✅ ORB特徴量マッチング → 装飾フォントに弱くて失敗
✅ Gemini Visionに画像を投げる → 「このカードはわかりません」
✅ Claude Opusに投げる → 同じ回答
✅ Colabで2日間実験 → 解決せず

根本的な問題は、このゲームのカードがオリジナルで、どのAIモデルも学習していないこと。マスターデータとスクショの間にある「目には見えない微差」が、全てのアプローチを壊した。

結局わかったこと

諦めたのは正解だったが、得たものはある。

性能の良いPCが使えるなら、この問題はわりと簡単に解決できる。画面を常時キャプチャしてリアルタイム処理すればいい。テンプレートマッチングすら不要になる。

今回うまくいかなかった理由はアプローチが悪かったのではなく、8年前のMacBook Airでどこまでできるか限界まで削った結果だった。ハードウェアに起因する限界というのも、立派な知見だと思う。

まとめ

2週間・複数アプローチ・カード認識ゼロ。でも「なぜ失敗したか」は完全に理解できた。

同じことを試す人へ：画像サイズを統一する、グレースケール変換を先にやる、閾値は0.95以下にする。そしてオリジナルカードにVision AIは期待しないこと

英語版の記事と並行して書いているので次回余裕があれば、Rust側のゲームエンジン実装についても書くかもしれません。