0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claude Codeの3モデルになぞかけを10本ずつ作らせたら、実力差は「掛詞の深さ」に出た

0
Last updated at Posted at 2026-07-10

この記事の実験記録(2026年7月): Claude Code から Fable・Opus・Sonnet の3モデルに、同一プロンプト・同一お題「手紙」で「なぞかけを10本作って自己採点し、ベストを1本選べ」と指示した。3モデルで計30本のなぞかけが出力され、各モデルが自己棄却・自己減点したものも含めて全て記録に残っている。


なぜAIになぞかけを競わせようと思ったか

「謎かけもsonnetやopusよりfableの方が得意なの?」

Claude Code で /nazo というなぞかけ即興スキルを使っていたとき、こんな質問が飛んできた。上位モデルほど賢い、というのは実装や設計の話ではよく聞く。では、笑いのセンスやことば遊びの巧拙にも、同じように「モデルの地力」は出るのだろうか。

「AIになぞかけを作らせて何が分かるんだ」と思われるかもしれない。だが実は結構実用的な問いでもある。Claude Code では Fable・Opus・Sonnet という3段階のモデルを使い分けられ、上位モデルほど利用コストは高い。創作的なタスクにどこまで上位モデルの単価を払う価値があるのか、というのは地味に日々の運用判断に関わってくる。なぞかけは「短い候補をたくさん出して、自分で選ぶ」という内省的な検索作業に近く、モデルの地力差が出やすいのではないか、という仮説から実験してみることにした。

実験設計:お題「手紙」で10本→自己棄却→ベスト自選

「10本も出せば、まぐれで1本くらい当たるのでは」と思う人もいるだろう。それを防ぐため、今回はただ量産させたのではなく、モデル自身に選抜させる工程を組み込んだ。

実験の手順はこうだ。

  1. お題は「手紙」に固定
  2. Fable・Opus・Sonnet の3モデルに、まったく同じプロンプトで「なぞかけを10本作り、それぞれの掛詞(同音異義語)の質を自己評価し、自分でベストを1本選べ」と指示
  3. 各モデルは10本の出力に対し、納得のいかないものには「自己棄却」(この本は掛詞として弱い、と自ら切る)や「自己減点」(採用はするが弱点を自己申告する)を付けられる
  4. 最後にモデルごとの自己採点ベストを1本ずつ提示させる

つまり、10本のうち何本かは各モデル自身がボツにしている。実際、Sonnet は10本中3本、Opus は10本中3本(自己棄却1本+自己減点2本)、Fable は10本中1本を自ら弱いと申告した。「量を出して偶然当てる」方式ではなく、モデルにも品質管理をさせた上での比較になっている。

3モデルのベストがこれ

まず、各モデルが「これが一番」と自己採点した1本を見てみよう。

Fable 「手紙」とかけまして、「バーベル」と解く。その心は、どちらも「おもい(想い/重い)」ほど効くでしょう。——想いは重いほど効く、という組み立てで、「効く」自体にも心に効く・筋肉に効くの二重の意味を仕込んだ二段掛けになっている。

Opus 「手紙」とかけまして、「記念写真」と解く。その心は、どちらも「ハイケイ(拝啓/背景)」が大切でございます。——手紙の書き出し「拝啓」と写真の「背景」、二字熟語まるごとを同音でぶつける掛詞で、30本の中でも技巧点は最高クラスだった。自己棄却の判断も的確で、「送る/贈る」は同じ訓読みで意味が近すぎる(同訓同義)という理由で自ら不採用にしている。

Sonnet 「手紙」とかけまして、「お年寄りの杖」と解く。その心は、どちらも「たより(便り/頼り)」になるでしょう。——音の一致自体は10本すべてで正確に検算されていたが、他の9本は「かく(書く/掻く)」「まつ(待つ/門松)」のような短い動詞の掛詞に集中しており、駄洒落寄りの手数勝負になっていた。ベスト選抜も、3モデルの中で最も定番の組み合わせに落ち着いている。

「便り/頼り」に3モデル全員がたどり着いた——掛詞の探索空間は狭い

3モデルの出力を並べて驚いたのは、掛詞の「かぶり」の多さだ。

  • **たより(便り/頼り)**は Fable・Opus・Sonnet の全員が10本のどこかで使っていた
  • **あて(宛て/当て)**の「宝くじ」ネタは Fable・Opus が独立に一致
  • **おもい(想い/重い)**は Fable のベストと Opus の1本が一致
  • **きって(切手/切って)**も Fable・Opus の双方に登場

「手紙」というお題に対して、日本語の同音異義語で自然に組み合わせられる語はそう多くない。3モデルとも同じ語彙にたどり着いてしまうということは、モデルの地力があってもなくても「最初に見つかる掛詞」はほぼ共通しているということだ。ここだけ見ると、モデルによる差はなさそうに思える。

地力の差はどこに出るか——短い動詞から二字熟語まで、潜れる深さ

「たった1つのお題、1回の実験でモデルの実力なんて語れるのか」という疑問は当然ある。これは今回の実験の限界として先に断っておきたい。1回の試行、1つのお題だけの結果であり、別のお題でも同じ傾向が出るかどうかは検証していない。

その上で、今回の30本を見比べる限りでは、差は「探索空間の広さ」ではなく「同じ狭い空間をどこまで深く潜れるか」に出ていた。

Sonnet の10本は「かく」「まつ」「しめる」「あてる」「のり」「とく」「つく」「かえす」「しる」など、動詞1語の同音異義語がほとんどを占めていた。対して Opus は「拝啓/背景」「便り/頼り」のように二字熟語や名詞まるごとを掛ける本が多く、Fable も「返信/変身」「気付(きつけ)」のような名詞レベルの掛詞を複数出している。短い動詞の掛詞は見つけやすい分、駄洒落感が強く出やすい。名詞・二字熟語レベルの掛詞は見つけにくい分、決まったときの「効いた感」が強い。

この観察は、「地力の差は"キレ"に効くが、Opusでも十分戦える」という仮説と大きくは矛盾しない。ただし、Fable の API 料金は Opus のちょうど2倍だ(100万トークンあたり入力 $10/出力 $50 に対し、Opus は $5/$25。2026年7月時点の公式料金)。1回のなぞかけ生成のコスト自体は微々たるもので何度でも作り直せることを踏まえると、この程度の差のために毎回上位モデルを使う必然性は薄い、というのが今のところの実務上の結論だ。

AIの自己採点と、人間の好みが割れた

「オチが面白いかどうかなんて結局主観では」という指摘はそのとおりで、ここがこの実験で一番おもしろかった点でもある。

Fable が自己採点で選んだベストは「バーベル×想い/重い」だった。技巧的には二段掛けで悪くない。だが筆者が実際に選んだのは、Fable が自己棄却も自己減点もしていない、10本中の4番目——「手紙」とかけて「ヒーローショーの子どもたち」と解く、「へんしん(返信/変身)」を心待ちにするという一本だった。

技巧点で言えば「拝啓/背景」の方が上だろう。だが「返信/変身」は絵が浮かぶ。手紙の返事を待つ気持ちと、ヒーローショーで変身を待つ子どもの気持ちが、実際に同じ「待ち方」をしている感じがする。AIの自己採点は掛詞としての正確さ・珍しさを評価軸にしていたが、人間が実際に「うまい」と感じる基準はそれだけではなかった。技巧が高いから面白いとは限らない、というごく当たり前のことを、AI自身の採点とのズレという形で確認できたのは収穫だった。

ねづっち vs AI——「打率勝負」なら通用するが「一本勝負」はまだ人間の領分

「プロの芸人と比べるのはズルくないか」という声もあるだろう。公平のために、比較の軸をはっきりさせておきたい。

なぞかけの第一人者といえば、「整いました」でおなじみのねづっちだ。彼のなぞかけ本ではお題ごとの発想の広げ方が丁寧に解説されていて、今回の実験で見た「掛詞の探索空間」の話とも重なる部分が多い。

ねづっちの持ち味は、客前で振られたお題に対して、その場で1本、失敗すら「もう一つ」の演目として成立させてしまう瞬間芸だ。これは今回の実験のような「10本出して、ダメなものは自分で消して、一番いいものを選ぶ」という打率勝負とは全く別のルールで戦っている。

打率勝負であれば、AIは今回の実験くらいには射程圏に入る。10本出して1本選べば、それなりに聞ける掛詞は用意できる。だが客前3秒の一本勝負、しかも外したことすら笑いに変えるという条件になると、話は変わる。少なくとも今回の実験で見る限り、LLMは日本語の「音」の照合に危うさを残していて、字面は似ているのに声に出すと掛かっていない駄作を、30本の中にもいくつか混ぜていた(Sonnetの自己棄却「独り占めしたい恋×しめる」のように、モデル自身が「こじつけ」「唐突」と気づいて弾いたケースがまさにそれだ)。量を出して選べる状況では弱点が隠れるが、一発勝負ではその弱点がそのまま失敗として出る。ここは今のところ、まだ人間の領分だと思う。

全30本、掛詞ひと目リスト

実際にどんな掛詞が出たか、3モデル×10本、全30本を一覧にした。★は各モデルの自己採点ベスト、◎は筆者が実際に選んだ一本。

# モデル お題(かけた相手) 掛詞 備考
1 Fable 頼れる親友 たより(便り/頼り)
2 Fable 話題の新作映画 ふうきり(封を切る/封切り) 自己棄却: 語源が同じで同義反復ぎみ
3 Fable 気を失ったお殿様 きつけ(気付=◯◯様方/気付け薬)
4 Fable ヒーローショーの子どもたち へんしん(返信/変身) ◎筆者選抜
5 Fable 出世レース ポスト(郵便ポスト/役職)
6 Fable 宝くじ あて(宛て/当て)
7 Fable トランプの名手 きって(切手/切って)
8 Fable 畑の枝豆 まめ(筆まめ/豆)
9 Fable バーベル おもい(想い/重い) ★Fable自己採点ベスト。「効く」も二段掛け
10 Fable 登山 ふみ(文/踏み)
11 Opus 記念写真 ハイケイ(拝啓/背景) ★Opus自己採点ベスト
12 Opus ひとり暮らしの夜 タヨリ(便り/頼り)
13 Opus 台所の下ごしらえ キッテ(切手/切って)
14 Opus 金庫の中身 オモイ(想い/重い)
15 Opus 朝の身支度 キル(封を切る/服を着る)
16 Opus 宝くじ アテ(宛て/当て)
17 Opus 百人一首 ヨム(読む/詠む)
18 Opus うららかな陽気 ハル(貼る/春) 自己減点: 季語頼み
19 Opus 門限のある家 カエス(返す/帰す) 自己減点: 説明的
20 Opus お誕生日のプレゼント オクル(送る/贈る) 自己棄却: 同訓同義
21 Sonnet 背中のかゆいところ かく(書く/掻く)
22 Sonnet 正月の玄関 まつ(待つ/門松)
23 Sonnet 独り占めしたい恋 しめる(閉める/占める) 自己棄却: B側が唐突
24 Sonnet クイズ番組の解答者 あてる(宛てる/当てる)
25 Sonnet 巻き寿司 のり(糊/海苔)
26 Sonnet 名僧の説法 とく(解く/説く)
27 Sonnet 新入社員の初出勤 つく(着く/就く)
28 Sonnet 鶏小屋の卵 かえす(返す/孵す) 自己棄却: こじつけ感
29 Sonnet みそ汁 しる(知る/汁) 自己棄却: 当たり前感
30 Sonnet お年寄りの杖 たより(便り/頼り) ★Sonnet自己採点ベスト

まとめ:この実験がわかったこと、わからなかったこと

同一お題・同一プロンプトで3モデルに10本ずつなぞかけを作らせた結果、分かったのは次の3点だ。

  • 掛詞の「探索空間」自体は狭く、モデルが違っても同じ語彙(便り/頼り、宛て/当て、想い/重い)にたどり着きやすい
  • モデルの地力差は、探索空間の広さではなく「短い動詞→名詞→二字熟語」とどこまで深く潜れるかに出る
  • AIの自己採点(技巧点)と人間の好み(絵が浮かぶかどうか)は必ずしも一致しない。今回は筆者自身、AIが選ばなかった一本を選んだ

わからなかったこと、つまり今回の実験の限界も正直に書いておく。お題は「手紙」1つだけで、他のお題でも同じ傾向が出るかは確認していない。10本という本数が適切かどうかも検証していない。そして何より、「客前3秒の一本勝負」でモデルがどこまで通用するかは、そもそも今回の実験設計では測れていない。

次にやるなら、お題を変えて複数回試すか、逆に「1本勝負・やり直し不可」という制約を課してどこまで崩れるかを見てみたい。なぞかけという小さな遊びの中に、モデルの実力差と限界の両方がわりとくっきり出た、というのが今回の一番の発見だった。


この記事は はてなブログ からのクロスポストです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?