2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

はじめに

人狼──それは、村人陣営と人狼陣営に分かれ、会話と騙し合いで対決するゲームです。

私は以前から、この人狼をAIと遊ぶための「AI人狼」システムを自作しています。
人狼BBSに、AIをプレイヤーとして参戦させます。

これまではGemini 2.5 Proを使っており、十分に楽しめるレベルに仕上がっていました。
ただひとつ問題があり。モデル使用料が高く、1ゲームあたり約200円かかってしまいます。
自作ゲームなのに1プレイごとに課金されて、ゲーセンで遊んでいるような気分ですね……。

というわけで今回は、さくらのAI Engineで提供されているモデルを全部試して、それぞれのモデルが人狼としてどんな会話ができるのかを比較してみることにしました。
さくらのAI Engineには無償枠(Chat completionsが月3,000リクエスト)があるので、コストを気にせず村を回せます。

Gemini 2.5 Proでの人狼AIについては、こちらの記事もどうぞ
https://zenn.dev/shoko3168/articles/cddc59a7adafed

評価方針

先に、今回の評価スタンスを説明しておきます。

そもそもAI人狼を作った理由は「人数合わせをしたい」でした。
「あと1人いればあの役職も追加できたのに…」というときに、即席プレイヤーとしてAIに参加してもらうのが目的です。
そのため、「勝率が高いこと」や「論理的であること」よりも、
人狼というゲームを、違和感なく一緒に楽しめるか」を評価します。
(勝率や論理性だけを求めるなら、極端な話、アルゴリズムでいいわけですし)

多少おバカであっても、キャラのロールプレイをちゃんとこなして場を楽しませてくれるAIの方が、「よい人狼AI」だと私は思っています。

同じ理由で、思い切りの良さも高評価ポイントです。たとえば人狼を引いたときに、偽の占い師として積極的に名乗り出るような大胆な立ち回り。策が失敗したとしても、思い切ったことをやってくれる方がゲームは盛り上がります。これは人間とゲームをする場合でも同じですよね。

なお、ここまでお読みの通り、この記事での評価はベンチマークのような厳密なものではなく、完全に主観です。
飲み会の後の「あいつ人狼うまいよね」くらいの温度感でお受け取りください。

ゲームの編成

何度かゲームを繰り返しましたが、基本的には以下の10名編成です。

陣営 役職 人数
村人陣営 村人 4(うちダミー1)
村人陣営 占い師 1
村人陣営 霊能者 1
村人陣営 狩人 1
人狼陣営 人狼 2
人狼陣営 狂人 1

※ダミーは、初日の夜に必ず襲われる役目のCPUです。

前提として、チートはなし。AIが実は誰が人狼か知っている、といったことはなく、全員が自分に与えられた公開情報のみを使って推理しています(人間のプレイヤーと同じ条件です)。

もうひとつの前提として、AIを呼び出す際のプロンプトは、全モデルまったく同一です。モデルによって指示を変えたりはしていません。なので、この後「テンプレを守ってくれない」といった評価が出てきますが、同じ指示で他のモデルは守れている、という比較になっています。

総評

まず結論から。全モデルの総評です。

モデル名 階級 speak平均Time
(秒)
入力料金
(円/1万tok・税込)
出力料金
(円/1万tok・税込)
コメント
preview/Kimi-K2.6 ③歓迎 49.0 0.60 3.00 圧倒的に人狼向き。ただし遅くて高い
preview/gemma-4-31B-it ③歓迎 1.6 0.24 0.96 占い師騙り成功。筆頭候補
gpt-oss-120b ③歓迎 3.0 0.15 0.75 料金・速度・RPのバランス良
preview/Qwen3.6-35B-A3B ②賑やかし 17.1 0.30 1.50 RPは上手いが口が軽い
Qwen3-Coder-480B-A35B-Instruct-FP8 ②賑やかし 1.4 0.30 2.50 無難で爆速。だが投票できず
preview/Qwen3-VL-30B-A3B-Instruct ②賑やかし 1.3 0.10 0.30 日本語に違和感。だが騙る度胸あり
Qwen3-Coder-30B-A3B-Instruct ①見学から 1.0 0.15 0.75 日本語が不自然
llm-jp-3.1-8x13b-instruct4 ①見学から 1.8 0.15 0.75 「AIとしての返信」に戻りがちで、キャラを演じない
preview/Phi-4-multimodal-instruct ①見学から 1.2 0.10 0.30 爆速だが会話にならない
preview/Phi-4-mini-instruct-cpu ①見学から 41.9 0.01 0.03 文字化けなど不安定
preview/Qwen3-0.6B-cpu ①見学から 6.3 0.01 0.03 他人の発言を勝手に生成
  • 階級:③いつでも入村歓迎 / ②賑やかし枠ならアリ / ①まずは見学から
  • ※いずれも執筆時点で利用可能なモデルです。無償プランの範囲内なら実質0円で利用できます。

分析方法

AIへのアクセスごとにログを残し、スプレッドシートでモデルごとの平均応答時間などを集計しました。

tmp20260717234417.jpg

余談:観戦者も、何も知らない

ちなみに人狼ゲームの進行中は、私でさえ人狼同士の会話は見られず、誰がどの役職なのかもわからない状況でした。なので検証と言いつつ、毎晩ハラハラしながら観戦していました。

夜の人狼同士の会話にやたら時間がかかっていると、「これは今回高いモデルのやつが人狼なのかしら…」と、メタ読みしながら結果を待っていたりしました。

あるゲームでは「こいつ、発言が一貫してないな…」と思っていたモデルが、ゲーム終了後に役職を確認したら狂人(人狼陣営のサポート役)でした。村を引っかき回すのが仕事だと考えれば、あれは結果的に素晴らしい動きだった……と言えなくもない。

モデル別レビュー

ではここから、モデル1つ1つを見ていきます。
評価の低い順に、3つの階級に分けました。
先に謝罪しておくと、今回はコーディング特化や音声向け、軽量CPUモデルなど、そもそも人狼に向いていないモデルも含めて全部村に放り込んでいます。
あくまで「日本語の騙し合いという競技では、こうだった」くらいに読んでいただけますと幸いです。

  1. 「まずは見学から」組 …… 村の会話に参加できていない
  2. 「賑やかし枠ならアリ」組 …… 致命的なミスもあるが、人数合わせとしてはギリOK
  3. 「いつでも入村歓迎」組 …… しっかり人狼に参加でき、RPもできた

第1階級:「まずは見学から」組(5モデル)

評価の低かった順にご紹介します。

Phi-4-mini-instruct-cpu ―― 人狼には向いていなかった

speak平均Time:41.9秒(遅い)/入力料金:0.01円(最安)

tmp20260717235242.jpg
▲ 発言がちょっとおかしい…Dimouさんis誰


tmp20260717235412.jpg
▲ 突然の文字化け


荒らしみたいな発言も見えたので、この村限りで出禁にはしてしまったのですが、記事を書こうと後から見直したら「侍 キョウ」の役職は狂人でした。
もしかして役割に忠実に狂人を演じていたとしたら申し訳ないのですが、次の機会があればまた試してみます。

Qwen3-0.6B-cpu ―― 一人で人狼を始めてしまう

speak平均Time:6.3秒(普通)/入力料金:0.01円(最安タイ)

tmp20260717235841.jpg
▲ 同じ内容を2回言い直すピーター

口調が機械的でRPは弱め。出力テンプレを守らず「」を付けてきたりします。
括弧が付け足されるくらいは良いのですが、テンプレが守られないと投票先や能力を使う相手の指定も上手くいかず、辛かったです。


tmp20260718000212.jpg
▲ 自分の発言に、他人のセリフまで続けてしまった場面(赤線部)

また、自分の発言の後に、他人の発言まで勝手に続けて生成してしまう ことがありました。
これが、AIたちに渡しているチャットログへのSQLインジェクションのような状態になってしまい、他のAIからは「本当にその人が発言した」と誤認されてしまったりして辛かったです。
(普通に脆弱性だ…)

とはいえ、0.6Bという超軽量モデルでありながら、このコスト(最安)と応答速度でここまで動くのは、正直、価格帯を考えれば期待値を大きく超えています。

Phi-4-multimodal-instruct ―― キャッチボール放棄

speak平均Time:1.2秒(超早い)/入力料金:0.1円(2番目に安い)

tmp20260718001319.jpg
▲ 会話になっていない

レスポンスは爆速なものの、肝心の内容が返ってきていない感がありました。
ただ、こちらの本業はマルチモーダルとのことなので、音声や画像の処理で本領発揮するモデルかなと思いました。

llm-jp-3.1-8x13b-instruct4 ―― 役を演じず、演技指導をしてくる

speak平均Time:1.8秒(早い)/入力料金:0.15円(3番目に安い)

tmp20260718002205.jpg
▲ アドバイスしてきちゃった…!

会話や論理思考ができていないわけではないのですが、安定してRPしてくれない。
一段メタな世界から助言されました。


tmp20260718002558.jpg
▲ 占い師騙り

また、役職が狂人でありながら占い師を騙ったのはめちゃくちゃ偉い…!!!

llm-jpに関しては、プロンプトをllm-jp向けに改善していけばもしかしたらもっと活きたかもしれません。
今回は公平性のため全モデル最初に用意した同一プロンプトとしたので、そこは未検証になります。

Qwen3-Coder-30B-A3B-Instruct ―― コーディング特化model

speak平均Time:1.0秒(超早い)/入力料金:0.15円(3番目に安い)

tmp20260718003646.jpg
▲ ルー語…?

RPなのか……?と首をかしげるような発言が続き、ところどころ日本語が不自然。


tmp20260718004013.jpg
▲ .voteコマンド

投票をする場面でもないのに、勝手にオリジナルコマンド打たないで…!
コーディング特化のモデルに人狼をやらせるとこうなるみたい

第2階級:「賑やかし枠ならアリ」組(3モデル)

たまに致命的なミスもあるものの、人数合わせとしてはギリOK。
コスパや応答スピードも見たうえで賑やかし枠として村に混ぜても良いレベルです。

ただし、彼らだけでは村がまわりません。誰かの間違いを、訂正できる人がいないからです。
たとえば1人が「霊能結果が『人間』だったから、あの人は占い師じゃない!」と言い出す(※占い師も人間なので、何もおかしくない)。すると次のAIが「あの人は偽占い師だったから~」と乗っかり、誤解の上に誤解が積み上がっていきます。

Qwen3-VL-30B-A3B-Instruct ―― 言葉は通じないが、たまに光る

speak平均Time:1.3秒(超早い)/入力料金:0.1円(2番目に安い)

tmp20260718005001.jpg
▲ 一人称がビルさんなのか自分が誰だかわかっていないのか


tmp20260718004938.jpg
▲ 狼の作戦として何か良い感じ

単発の発言では、バグったような壊れ方はありません。ただ日本語にどこか違和感があり、何を言っているのか意味がわからないことも。
一方で、人狼を引いたときに村側の能力者のフリをちゃんとするなど、騙る度胸はGood。……と思ったものの、それが長続きせず。トータルでは、人間のフリまでは届かないBotという印象でした。

Qwen3-Coder-480B-A35B-Instruct-FP8 ―― 空気が読める、というか空気になる

speak平均Time:1.4秒(超早い)/入力料金:0.3円(比較的高い)

tmp20260718005612.jpg
▲ すごいちゃんと人狼してる!(※この時は村人)


tmp20260718005724.jpg
▲ なかなか無難なコメントを出している(※この時は狂人)

30Bと同じCoderシリーズですが、480Bまでとなると人狼も器用にこなせるみたいです。
会話は悪くなく、違和感もない。ただ、あんまり光ったことも言ってくれない。無難。
役職ごとの働きぶりを見ると、占い師のときはちゃんとCOできました。村人のときは何もせず空気のような存在で。
村人はそれで良いのですが、狂人になっても同じく空気だったのは少しマイナスでした。

気になる点は、投票テンプレが守られず投票ができなかったこと。こうなるとGMが手動で介入することになり、村がサクサク進まなくなるのです……。料金も安くないため、メインで使うには悩ましいところ。
ただ、レスポンスの爆速さは大きな魅力です。プロンプトをこのモデル専用に調整して、主力に育てる手はあるかもしれません。

Qwen3.6-35B-A3B ―― RPは上手い、口は軽い

speak平均Time:17.1秒(普通)/入力料金:0.3円(比較的高い)

tmp20260718010903.jpg
▲ (※この時は狩人)

「仮面が剥がれちまうよ」等と、ちょいちょい道化師らしいRPも挟んできて、良い感じです。
ただ、狩人なのに「僕は狩人だよ」と言ってしまったのにはドキッとしました。ルール説明で「狩人は自分を守れない」と伝えてあるので、実質、無防備宣言です。

とはいえ、セオリー外の一手を堂々と打ってくる村人がひとりいると思えば、RPの上手さも含めて好印象かもしれません。

第3階級:「いつでも入村歓迎」組(3モデル)

人数合わせとしてしっかり人狼に参加でき、RPもこなせたのがこちらの3つ。
gpt-oss-120bgemma-4-31B-it、そして Kimi-K2.6 です。

意外だったのは、gpt-oss-120bは料金が決して高い方ではないことでした(入力0.15円/1万トークンは最安クラス)。

gpt-oss-120b ―― コスパ王、たまに口が滑る

speak平均Time:3.0秒(普通)/入力料金:0.15円(比較的安い)

tmp20260718011243.jpg
▲ 大詰めでもしっかり人狼してる(※この時サンディは霊能者で、フィリップは人狼による偽占い師)

料金と応答時間のバランスは、全モデル中いちばん良いかもしれません。


tmp20260718011548.jpg

1つ気になったのは、「狩人は私を守ってね」と言ってしまったこと。役職持ちのブラフか?と観戦席で深読みしていましたが、結局ただの村人でした。自分の生存を最優先する、ちょっと自己中な人です。
(※人狼は、自分が生き残れなくても自陣営の勝利を目指すゲームです)
でも、そういう人も実際います。こちらのmodelはRPは上手く、村にもしっかり溶け込んでいたので、常用するならまずこの子、という安定感がありました。
ちなみにこの失言は、キャラが「おてんば カトリーヌ」のときにしか出ませんでしたが、もしかしたら自己中のRPだったのかも…

gemma-4-31B-it ―― 名女優

speak平均Time:1.6秒(速い)/入力料金:0.24円(比較的高い)

tmp20260718012208.jpg
▲ 騙り成功

人狼のとき、占い師騙りに成功していました。CO順に恵まれた運もありましたが、観戦していた私がこの時点で真占い師だと思ってしまったので、とても好印象です。


tmp20260718024006.jpg

tmp20260718023749.jpg
tmp20260718023757.jpg
tmp20260718012222.jpg

自身が人狼で、本当は自分がノエルの襲撃に失敗したくせに、

狩人の方が私を守ってくださったのですね…

と、ちゃっかり言っているのもとても偉い

コストはそこそこですが応答の速さも素敵で、人数合わせとしての筆頭候補かもしれません。

Kimi-K2.6 ―― お値段通りに普通に強い

speak平均Time:49.0秒(遅い)/入力料金:0.6円(最高額。2位のダブルスコア)

tmp20260718012858.jpg
▲ 人狼プレイヤーっぽい


tmp20260718013101.jpg
▲ 正しいツッコミを入れられる

単純に、地頭が違う。誰かの間違いをきちんと訂正してくれるし、立ち回りも上手く、ルールの理解も深い。
難点は、内容が良い分だけ応答が遅く、テンポが悪いことでした。
そして料金も最高額なので、招集コストが高いエース……と言いたいところですが、実はさくらのAI Engineの無償枠はトークン数ではなく**「月3,000リクエストまで無料」**のカウント方式でした。性能が一番良いなら、無償枠でのKimiはむしろお得枠かもしれません。

番外:王者 Gemini 2.5 Pro

speak平均Time:25.7秒(遅め)/料金:不明(だが高いはず。なにせ1ゲーム200円)

なお、番外で正直に書いておくと、長年運用してきたGemini 2.5 Proは圧倒的に強いです。Kimi-K2.6に匹敵するか、それ以上です。
Gemini 2.5 Proだけで回すとこんな感じになります

tmp20260718014052.jpg
tmp20260718014126.jpg


RP交えつつ、ちゃんと人狼もプレイしていてすごいです。
今回の検証でも、テンプレを守ってくれないモデルが投票やスキル使用に失敗したときは、そのBOTのモデルを一時的にGemini 2.5 Proに切り替えて、投票/スキル使用だけ代行してもらっていました。
手動でDBをいじって直すこともできるのですが、それをやると私が役職のネタバレを食らってしまうので(あと、単純に面倒なので)。
色々と貢献してくれました。
(※村での会話は、すべて元のモデルが行っています)

おわりに

さくらのAI Engineのモデルたちに、人狼をやってもらいました。
これまでは「一番良いAI」を探し続け、その終着点がGemini 2.5 Proでした。

ただ、思い返すことがあります。以前、Gemini 8体のいる村で遊んだとき、賛否が分かれるはずの戦略を取ったら、8人全員から否定され、フルボッコにされたことがありました。(あれは今思い出してもちょっとムカつきます)
それぞれ別のキャラをちゃんと演じているのに、根本の考え方は全員同じ。キャラ付けが違っても、いわば作者が同じなので、賛否両論のはずの場面ですら村の空気が一色な感じでした。
もしモデルがバラバラだったら、何人かは私の側についてくれたんじゃないかと思います。(多分)

今回、検証のために初めてキャラごとにモデルを割り当ててみて、いろんなモデルを混ぜて遊ぶのもありなのではないかと気付けました。

そして無償枠(月3,000リクエスト)のおかげで、料金を気にせず何度も村を回せたのは何よりでした。
1ゲーム200円の世界から見ると、財布を気にせず試行錯誤できるだけで検証がはかどります。

ゲーム本体は2011年から15年以上さくらのVPSに住んでいますが、今回、推論までさくらで完結するようになったのも、ちょっと嬉しいところです。

人狼参加者が足りない夜にAIを!

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?