はじめに
以前から、たまにAIになぞかけをお願いしていたのですが、ちゃんとなぞかけになっていると感じるクオリティのものは出たことがありませんでした。
しかし、最近リリースされたClaude Opus 5.5で試してみたところ2つの意味でかかっていて、正しくなぞかけになっていました。
そこで改めて昔のモデルの結果も確認してみると、なぞかけのクオリティがモデル性能とおおむね比例していて、ベンチマークとして使えそうなことが分かりました。
お手軽に試せるので、ベンチマークスコアがぴんと来なかったり、中身のモデルが明かされていないAIサービスで性能をざっくり見たいときなどに便利です。
今回は、同じお題に対してのモデルごとの回答を紹介し、実際に性能順にうまくなっていることを確認したいと思います。
評価の段階
なぞかけは「〇〇とかけて××ととく、そのこころは△△」という言葉遊びです。
△△に同音異義語を入れて、〇〇と××の両方につなげます。
AIの回答は、おおよそ次の4段階で見分けることができました。
| 段階 | 状態 |
|---|---|
| 0. 不成立 | 日本語として意味が通らない、なぞかけのフォーマットに沿わないなど |
| 1. 同義語 | 「こころ」の言葉が、〇〇にも××にも同じ意味でかかっている |
| 2. こじつけ | お題から連想した言葉で掛詞を狙っているが、存在しない言葉になっている、音がずれているなど |
| 3. 解説不要 | お題から連想した言葉が、2つの意味で自然にかかる |
検証結果
各モデルに、「『ブログ』をお題に、なぞかけを1つ作って」と頼みました。
ChatGPT 無料版
ブログとかけまして、温泉と解きます。
その心は、どちらも**「書き（垢）を落とす」とスッキリするでしょう。**
段階：2
Grok 無料版（ファスト）
「ブログ」とかけて「丸太」と解く。
その心は？
「ログ」があるから。
段階：2
Claude Haiku 4.5
「ブログ」をお題にしたなぞかけです：
「ブログとかけて、毎日の日課と解く。その心は、続けることが大事なものである。」
別案もいかがですか：
「ブログとかけて、鏡と解く。その心は、自分の姿をありのままに映すものである。」
どちらかお好みでしたら、お知らせください！
段階：1
Claude Haiku 5.5
ブログとかけて、夏休みの絵日記と解く。そのこころは、最終日にまとめて書き溜めがちです。
段階：1
Claude Sonnet 5
ブログとかけまして、整理整頓が苦手な人と解く。その心は、どちらも「更新(こうしん)」が止まりがちでしょう。
段階：0
Claude Opus 4.8（effort: max）
「ブログ」とかけまして、
「マラソン選手」と解きます。その心は……
どちらも**こうしん（更新）**を目指してがんばっています。
（ブログは記事を更新、マラソン選手は記録を更新！）
段階：1
Claude Fable 5.1
「ブログ」とかけまして、「お寺の鐘」とときます。
その心は——
どちらも「こう(更/鐘)」しんが大事でしょう。
(更新 / 鐘心…「こうしん」つながりです。ブログは更新しないと誰にも読まれず、鐘は撞かないと音が響きませんからね。)
段階：2
Claude Opus 5.5（effort: low）
ブログとかけて、腕のいい仕立て屋とときます。
その心は、どちらも「きじ(記事/生地)」の良さで評判が決まります。
段階：3
Claude Opus 5.5（effort: max）
ブログとかけまして、パン屋さんと解きます。
その心は、どちらも「きじ」をしっかり練るのが肝心です。
（ブログは記事を練り、パン屋は生地を練る）
段階：3
結果から言えること
- やはりなぞかけはAIにとって苦手分野らしく、きれいにかかっていたのはOpus 5.5だけでした。
- モデルが明確なClaude系列で比べると、Sonnet 5が不調だったものの、なぞかけの出来はおおよそArtificial Analysisなどのベンチマークサイトのスコアの傾向どおりになっています。
まとめ
今回は、なぞかけがお手軽かつ直感的な簡易ベンチマークとして使えることを紹介しました。
なぞかけに限らず大喜利なども使えると思うので、新しいAIサービスに触れる機会があればぜひお試しください。
最後まで読んでいただきありがとうございます。