続編：プレイ動画から自動でタップ位置を推定する AI を作る（tap‑teacher 〜 推論CLIまで）

この記事はhttps://qiita.com/y4o4/items/a68163ca6c7f5cfe2596 の続きです。

前編では、scrcpy + mouse capture による tap teacher パイプライン（画面録画＋タップログ取得）までを構築しました。
本稿ではその後の

• タップ位置ラベルの自動生成（diff + tap prior）
• 学習用 manifest の構築
• 位置分類モデルの学習
• 推論 CLI の実装と評価

までを一気通貫で解説します。

---

1. tap‑teacher を安定稼働させる

1.1 画面録画とタップログ取得

PowerShell から以下を実行します。

.\tools\run_tap_teacher_mouse.ps1 `
  -Seconds 120 `
  -OutDir runs `
  -Scrcpy "C:\path\to\scrcpy.exe"

• scrcpy で画面を表示・録画
• マウス左クリックを frame 座標で記録
• 録画後に ROI（盤面領域）を手動選択

出力例：

runs\run_YYYYmmdd_HHMMSS\
  video.mp4
  actions_tap.jsonl
  taps.csv
  meta.json
  debug_pos/

---

2. タップ位置ラベル付け（diff + prior）

動画と tap ログから、spawn 位置（cell_id） を推定します。

python tools\label_position_from_diff.py `
  --video runs\run_xxx\video.mp4 `
  --actions runs\run_xxx\actions_tap.jsonl `
  --out runs\run_xxx\actions_tap_pos.jsonl `
  --grid-w 18 --grid-h 11 --dt-ms 900 `
  --tap-prior --tap-sigma-frac 0.20 `
  --debug-dir runs\run_xxx\debug_pos

ポイント

• diff 強度ベースで候補セルを列挙
• tap 座標がある場合のみ距離 prior を適用
• 動画末尾など frame が取れない tap は 安全に skip（落ちない）

---

3. 学習用 manifest.jsonl の生成

学習では diff 画像パスと cell_id をまとめた manifest 形式を使います。

python tools\build_pos_dataset.py `
  --input runs\run_xxx\actions_tap_pos.jsonl `
  --debug-dir runs\run_xxx\debug_pos `
  --out runs\run_xxx\manifest.jsonl `
  --min-conf 0.7

複数 run を結合して大規模データセットにできます。

---

4. 位置分類モデルの学習

4.1 train / val split

python tools\build_pos_dataset.py `
  --input all_manifest.jsonl `
  --out-train train.jsonl `
  --out-val val.jsonl `
  --val-ratio 0.2 --seed 42

少量データで val=0 になる場合も、runner 側で安全に fallback します。

4.2 学習

python train_pos_model.py `
  --train-manifest train.jsonl `
  --val-manifest val.jsonl `
  --grid-w 18 --grid-h 11 `
  --img-size 224 `
  --batch-size 32 `
  --epochs 15 `
  --lr 1e-3 `
  --seed 42 `
  --out runs\pos_train\exp_001

出力メトリクス

• top1 / top3
• mean_manhattan
• within1 / within2 / within3（実用指標）

---

5. 推論 CLI（infer_pos_model.py）

学習済みモデルで manifest → pred 付き JSONL を生成します。

python infer_pos_model.py `
  --model runs\pos_train\exp_001\model.pt `
  --manifest val.jsonl `
  --grid-w 18 --grid-h 11 `
  --img-size 224 `
  --out pred_val.jsonl `
  --topk 5

標準出力に集計結果が表示されます：

within1=0.23
within2=0.31
within3=0.35

→ 「正解セル±1〜2セル以内」にかなり寄っていることが分かります。

---

6. 評価の考え方

• top1 正解率だけを見ると低く見える
• 実運用では 近傍に当てることが重要
• withinK 指標が実用性を示す

---

7. 次のステップ（YouTube 転移）

この位置モデルは diff 画像入力なので、YouTube 動画にも適用可能です。

• YouTube 動画から frame 差分を切り出す
• infer_pos_model で cell_id を推定
• 自動ラベル → 再学習

これで 教師なしに近い大量データ生成ループが完成します。

---

おわりに

本記事では tap teacher から始まり、
ラベル生成 → 学習 → 推論までを一気通貫で構築しました。

ここまで来れば、精度改善（3ch入力、モデル拡張）はすべて“上積み”です。

---

次回は：
YouTube 動画から自動で位置ラベルを生成する推論パイプライン を解説予定です。