行動提案モデルをゼロから作る：batch1 → class-weight までの実験ログ
この記事は、以下のQiita記事の続編です。
- 前編：動画からアクション候補UIを構造化する前処理パイプライン
https://qiita.com/y4o4/items/54322210927721cb98c5
本稿では、そこから先の
- state → action（行動）を提案するモデル を
- ゼロから作り
- batch1 → batch3 までデータを増やしながら
- 偏り・リーク・評価設計の問題にぶつかり
- class-weight まで導入して改善する
という一連の 実験ログ をまとめます。
目的の再整理
最終的にやりたいことはシンプルです。
ゲームのプレイ動画を入力すると、
「今この状態なら、次に出す行動候補はこれ」という
行動提案（Top-k） を返したい
そのために、以下の2段階モデルを採用しています。
-
state 抽出モデル
- 動画 → 入力状態状態（one-hot）
-
行動提案モデル（本記事の主役）
- state → action（クラス分類）
この記事では ②のみ を扱います。
データ定義（最初はこれだけ）
v1: 最小構成
{
"in_hand_state": [0,1,0,1,1,0,0,0],
"role": 4
}
-
in_hand_state: 入力状態8枚の one-hot -
role: 実際に出した行動（0–7のクラス）
まずは「入力状態だけ見て、何を出したか当てる 」という
一番単純な問題設定から始めました。
batch1：とにかく動かす
データ
- batch1 = 数試合分の動画
- 数十サンプル規模
結果
- 学習は動く
- ただし
全部、同じ行動を出すモデル
原因
- データ数が少ない
- クラス分布が極端
👉 まずはデータを増やす必要がある
batch2：データを増やすと見える問題
データ
- batch2 = 約5試合
- 約200サンプル
評価
- Top-1 accuracy: 約0.33
- Top-3 accuracy: 約0.65
一見それっぽいが、
confusion matrix を見ると…
- 特定クラスに極端に偏る
👉 「当てに行っているというより、逃げている」
prev_action を入れる（v2）
発想
人間は、
- 直前に何を出したか
を前提に次の行動を決めます。
v2 feature
{
"in_hand_state": [...],
"prev_action_onehot": [...],
"role": 4
}
結果
- Top-1: 微増
- Top-3: 改善
👉 文脈は効くが、まだ弱い
batch3：新規動画で汎化を確認
方針
- batch1,2 とは完全に別の試合を録画
- 18試合 / 513サンプル
評価（batch2学習モデル）
- Top-1: 0.25
- Top-3: 0.55
baseline 比較
| モデル | Top-1 | Top-3 |
|---|---|---|
| mostfreq | 0.19 | 0.39 |
| random | 0.10 | 0.33 |
| 提案モデル | 0.25 | 0.55 |
👉 学習はしているが、まだ弱い
問題の正体：クラス不均衡
実際の分布（例）
[98, 55, 51, 89, 31, 74, 48, 67]
- よく使う行動
- ほとんど使わない行動
が混在。
👉 通常の CrossEntropy では
「当たりやすい行動だけ出す」
モデルになる。
class-weight の導入
方針
- train split の分布から重みを算出
- rare class を重く、frequent class を軽く
python -m scripts.train_proposal_model \
--class-weight balanced
効果
- Top-1: 0.45
- Top-3: 0.70
- macro F1 が大きく改善
confusion matrix を見ると
- 以前は出なかったクラスも
- きちんと予測されるようになった
👉 「それっぽい提案」になった
学んだこと
- 精度より先に 評価設計 が重要
- データリーク・分布偏りはすぐ起きる
- Top-k 評価は「提案」には必須
- class-weight は最後の一押しとして効く
次にやること
- group split + holdout（動画単位評価）
- batch4 を完全テストとして固定
- state の表現をもう一段リッチにする
まとめ
このプロジェクトは
強いモデルを作る話
というより
どうやって「ちゃんとした実験」に育てるか
の記録です。
同じように
- 行動ログを学習したい人
- ゲームAIを作りたい人
の参考になれば幸いです。