Gemma 4のマルチモーダル推論能力を検証：テキストと画像で複雑なタスクはどこまで解けるか？

はじめに

私は機械知能研究室に所属し，CV分野の研究に取り組んでいます．機械知能研究室では，ロボットの視覚機能や，自律的に行動するための知能システムに関する研究が行われています．
研究室の詳細は以下をご覧ください．

HPはこちら

近年，GPT-4VやGemini 1.5 Pro，Claude 3，そしてGemma 4などのモデルが発展し，テキストだけでなく画像も同時に処理できるマルチモーダルモデルが当たり前になりつつあります．日常生活においても，「冷蔵庫の食材写真を送ってレシピを提案してもらう」「手書きのメモを撮影してWebサイトのコードを生成する」といった使い方がすでに広く普及しています．

しかし，AIをより高度な実務に適用しようとした場合，単なる「画像の説明」や「OCR」では不十分です．現在期待されているのは，**「未知の複雑な業務マニュアル（テキスト）を読み込み，現場のカメラ画像（視覚情報）と組み合わせることで，専門家のように自律的かつ論理的な意思決定を行うシステム」**の実現です．

そこで本記事では，この「現実世界の複雑な課題」を検証可能な形に落とし込むための題材として，あえてマイナーな不完全情報カードゲーム（バドゥーギ および セブンカードスタッド）を採用しました．
これらのゲームを採用した理由は， AIの事前学習データに大量の戦譜が含まれているメジャーなゲームとは異なり，「初見のルールブック（未知のマニュアル）」と「現在の盤面状況（現場の画像）」をその場で正確に統合・解釈する能力を純粋に測ることができるからです．
また，筆者がこれらのゲームに対する理解が深く，推論能力を試すための適切な問題作成が可能である点も採用の理由です．
なお，スクリプトからの実行が容易であり筆者の使用経験が豊富であるという点から，本検証ではGemma 4を使用しました．

本検証において，マルチモーダルモデルにおける「真の推論能力」を以下のように抽象化して定義します．

厳格なルールの把持と例外適用：テキストで記述された細かい制約や例外条件を，目の前の視覚的な状況に正しく適用できるか．
視覚的な文脈の認知と空間把握：画像から，対象の配置や有利不利といった空間的コンテキストを直感的に読み取れるか．
論理的な根拠を伴う意思決定：単に結果を推測するだけでなく，「なぜその行動が最適なのか」を理論的な根拠に基づいて言語化できるか．

単なる「文脈からの勘」を排除し，これら3つの要素を総合しなければ正答できないドメインを用いることで，単一モダリティ（テキストのみ・画像のみ）の限界と，マルチモーダル化によって初めて可能になる推論の深さを明らかにします．

1. テキストのみ (text_only) : 従来のルール文章・局面テキストのみを入力
2. 画像のみ (image_only) : PDFの図解ルールブックおよび局面図のみを入力
3. テキスト＋画像 (text_and_image) : 双方が結合したマルチモーダル統合入力

対象ゲームとベンチマーク設問構成

今回の実験では，性質の異なる2つのスタッド / ドローポーカーを検証対象として設計しました．

1. バドゥーギ（Badugi）

ゲーム特性 : 4枚の手札で「スート（絵柄）と数字が重複しない状態」を目指すローボール・ドローポーカー．A（1）を最も強いカード（最強）とし，ストレート・フラッシュは存在せず，重複カードは弱い方が自動除外される独特のルール体系です．
評価設問 :
- ルール理解タスク 10問 (R01〜R10) : 役の判定基準，重複カードの除外ルール，ドローフェイズの進行順，ドロー枚数制約等
- 戦略構築タスク 20問 (S01〜S20) : スタンドパットの判断，ポジションに応じたブラフ，ローカードのブロッカー効果，相手のドロー枚数からの推測等
視覚ドキュメント : Badugi_Fundamentals.pdf

2. セブンカードスタッド（Seven Card Stud Hi）

ゲーム特性 : コミュニティカードがなく，各プレイヤーに配られる裏向き3枚・表向き4枚の計7枚から役を作るリミットポーカー．ブリングイン（スート強度順：♣ < ♦ < ♥ < ♠）や，他人のアップカードからアウツを数えるデッドカード・カウンティングが必須です．
評価設問 :
- ルール理解タスク 10問 (R01〜R10) : ブリングインスート優先順位，カード公開内訳，コンプリート，4th Street順序，ビッグベット等
- 戦略構築タスク 20問 (S01〜S20) : ロールドアップ・スリーエース，トラッシュハンド即フォールド，デッドアウツ計算，ドアカードAでのピュアスチールとブロッカー効果，Ante構造別スチール等
視覚ドキュメント : 7_Card_Stud_Decoded.pdf

評価パイプラインとメトリクス

実験用に run_experiment.py および自動レポート生成ジェネレータを構築し，各タスクに対して以下の指標を用いて定量評価を実施しました．後述する実験結果の表には，以下の5つの数値が記載されています．

正答率 (Accuracy) : ルールに関する設問に対し，正しい結論を導けているかの割合．
最善手一致率 (Best Action Match Rate) : 戦略タスクにおいて，次に取るべき最善のアクション（例：RAISE, FOLD など）を正確に選択できているかの割合．
解説キーワード網羅率 (Rationale Keyword Coverage) : 単に正解を選ぶだけでなく，「なぜその選択をしたのか」という推論プロセスの深さを測る指標です．回答の理由説明内に，ポーカー戦術の理論的根拠（例：「ブロッカー効果」「マルチウェイポットの役基準上昇」等）が正しく含まれている割合を示します．
ルール理解力スコア : (正答率 × 0.7) + (解説キーワード網羅率 × 0.3) で算出される総合スコア．
戦略構築能力スコア : (最善手一致率 × 0.6) + (解説キーワード網羅率 × 0.4) で算出される総合スコア．
このスコアに関しては, 正解の上で解説を聞く必要があるためこの比率にしています
また, 戦略構築に関しては少し解説の比率を重くしています

このように，表面的な「正解の暗記」や「勘」によるまぐれ当たりを排除し，**「意思決定のプロセスが専門家レベルで妥当か（解説キーワード網羅率）」**を総合スコアに大きく加味することで，真の推論能力を評価しています．

実験結果と定量スコア

1. バドゥーギ（Badugi）の実験スコア

実験条件 (Modality)	正答率 (Accuracy)	最善手一致率	解説キーワード網羅率	ルール理解力スコア	戦略構築能力スコア
1. テキストのみ (`text_only`)	70.0%	90.0%	75.9%	71.8	84.4
2. 画像のみ (`image_only`)	70.0%	80.0%	50.6%	64.2	68.2
3. テキスト＋画像 (`text_and_image`)	90.0%	95.0%	94.9%	91.5	95.0

ルール理解力向上幅: 単一モダリティ最高値と比較して +19.7 pts
戦略構築能力向上幅: 単一モダリティ最高値と比較して +10.6 pts

2. セブンカードスタッド（Seven Card Stud Hi）の実験スコア

実験条件 (Modality)	正答率 (Accuracy)	最善手一致率	解説キーワード網羅率	ルール理解力スコア	戦略構築能力スコア
1. テキストのみ (`text_only`)	100.0%	90.0%	75.0%	92.5	84.0
2. 画像のみ (`image_only`)	40.0%	75.0%	50.0%	43.0	65.0
3. テキスト＋画像 (`text_and_image`)	100.0%	100.0%	96.2%	98.9	98.5

ルール理解力向上幅: 単一モダリティ最高値と比較して +6.4 pts
戦略構築能力向上幅: 単一モダリティ最高値と比較して +14.5 pts

考察と知見

1. 単一モダリティの限界と，推論プロセスにおける盲点

実験結果から，text_only（テキストのみ）や image_only（画像のみ）の単一モダリティでは，「最善手（RAISEやFOLDなど）を選ぶ」という表面的なタスクにおいても 75%〜90% 程度に精度が落ち込むことが分かります．さらに，その意思決定の裏側にある**「なぜその選択を行うのか」という推論プロセス（解説キーワード網羅率）に着目すると，より深刻な限界**がありました．

テキストのみ (text_only) の限界: 例外規定（ストレート・フラッシュなし等の否定ルール）の正確な把持には優れますが，盤面の空間配置から相手の脅威を直感的に認知する部分で抽象度が残り，微細なオッズ計算などの根拠（網羅率 75.0〜75.9%）を欠くことで，時に誤ったアクション（一致率90%）を選択してしまいます．
画像のみ (image_only) の限界: 視覚的な配置から状況の有利・不利を大まかに推測することはできますが，「ルール理解力スコア」が40〜60点台に低迷していることや，理由説明における「解説キーワード網羅率」が 50% 前後に留まっていることから，画像から視覚的なキーワードは拾えているものの，文字で表現されたタイブレークの細則やベット規定などの細かい例外事項を完全に取りこぼしていることがわかります．その結果，最善手の一致率も75〜80%に留まり，「視覚情報だけでは詳細な根拠が伴わず，複雑な例外処理でミスを誘発する」という危うさが数値から明確に裏付けられています．

2. マルチモーダル統合（`text_and_image`）で初めて専門家レベルの深い推論が可能に

PDF図解ルールブックなどの視覚情報とテキストを結合させた場合，視覚的な空間配置（ライブ/デッドカードの把握など）と厳密なテキストルールが互いに補完し合います．その結果，エキスパート設問においても 94.9%〜96.2% という高い理論キーワード網羅 が達成され，アクションの精度も劇的に向上しました．
両者を組み合わせることで，単なる勘や表面的な暗記ではなく，専門家レベルの深い推論と論理的な根拠を伴った意思決定が初めて可能になることが分かります．

おわりに

本検証を通して，テキストの「厳格なルールの把持」と画像の「直感的な文脈の認知」を組み合わせることで，複雑なタスクに対しても専門家レベルの論理的な根拠を伴った意思決定が可能になることが実証されました．

この「モダリティの掛け合わせによる推論プロセスの深化」は，単なるゲームの枠を超え，現実世界の複雑な業務フロー設計において非常に強力な武器となります．
例えば，「分厚い機械の保守マニュアル（テキスト）」と「エラーランプが点滅する現場の機械の写真（画像）」を同時にAIに読み込ませることで，経験の浅い作業員に対して専門エンジニアのように的確な復旧手順を指示するシステムが構築できます．他にも，医療現場における「過去のカルテ記述と最新のエコー画像の統合判断」や，法務における「契約書の規定と現場状況の照合」など，これまで人間が高度な知識と視覚を総動員して行っていたタスクが，マルチモーダルAIによって自律的に代替・支援される未来が見えてきます．

検証条件

モデル : Gemma 4 Multimodal (textvsimage 実験パイプライン)
フレームワーク : Python 3, PyTorch, Custom Benchmark Loader
検証ゲーム : Badugi (badugi), Seven Card Stud Hi (seven_card_stud_hi)