GPT-5のポンコツっぷり

(このタイトルを「GPT-5はポンコツだ」という意味にとる人が多く批判が多いのでコメントしておきます。あくまでGPT-5はたまにポンコツっぷりを露呈することがあるという意味であり、GPT-5が全般的にポンコツだという意図は無いことを明言しておきます)

GPT-5を使ってみた

昨日鳴り物入りでリリースされたGPT-５。世間では絶賛の声があいついでいますがChatGPTリリース時から欠点をあげつらってきた僕としてはさっそくダメなところを見つけたので報告します

「○○駅から1時間で行ける映画を教えてください」という質問

（ この原稿の最初の版では「映画」ではなく「映画館」と書いてありました。実際僕もそう入れたつもりでしたが後で「映画」になっていることを指摘されました。訂正しないことに批判が多いので文面を訂正します）

僕は一般向けに生成AIの啓蒙講演をやる機会がよくあり、そこで生成AIの限界を示す掴みとして生成AIはこんな意外なことがちゃんと考えられません！という例としてこの質問をしてみた結果を紹介することにしています。この質問を選んだ理由は

• ChatGPTやGeimini Proなどにこの質問をするとうまく答えられないことが多い
• 地元の人は地元の映画館の名前をさすがに把握していることが多いので間違いが解りやすい

最近の生成AIは性能が上がっているので生半可な質問では正解を答えてしまいますし、かといって、専門性が高い質問で馬脚を現させても、一般の聴衆にはフーンという感じでピンときません。その点この質問は（なぜか）LLMがちゃんと答えられないことが多くて重宝しています。GPT-5にもさっそく「富士駅から１時間で行ける映画を教えてください」と質問してみました。生成AIに詳しい人は以下を読まなくてもリンクを辿ってもらえば、どんなドジをしたのかすぐわかると思うのですが、そんな人ばかりじゃないと思うので以下に紹介します。

間違ったことは言わないが最後のまとめがおかしかった。

GPT-5はさすがに間違ったことは言いません。以下の３つの映画館を挙げてくれました

• イオンシネマ富士宮
• シネマサンシャイン沼津
• シネプラザサントムーン（三島）

この３つはいずれも「富士駅から１時間以内」を満たします。「なぜ富士駅なの？」と思うかもしれませんが、それは直近でやる講演会の場所が富士市で、そこでの講演準備のために「富士駅から１時間で行ける映画館を教えてください」を試したらGemini 2.5 Proがひどい間違いをしてくれて（8/12現在、Gemini Proの内容は訂正されて既に間違いは発生しなくなっています）講演会の格好の掴みネタになったからです。ですがGPT-5はさすがにGeimini Pro 2.5が犯したような間違いはしませんでした。
ここまでは良かったのですが最後のまとめが蛇足でした

バリエーションを見たいなら「沼津」や「三島」も候補に。

と書いてあったのです。「ん？」となりました。GPT-5は既に沼津や三島の映画館を候補に入れています。この言い方だと沼津や三島の映画館は最初の答えでは候補に入れなかったような口ぶりです。人間ならこんな不自然なやり取りはしなさそうです。
(この部分について僕の誤読であってGPT-5は悪くないのであり、この例をもってGPT-5がポンコツだと主張するのは問題があるというコメントがたくさん寄せられています。そのような意見の人は以下は「僕が誤読してあやまった反応をした結果GPT-5が正しく反応できなかった」という事例だと思って読んでいただければと思います)

ツッコミに対するやりとりもイマイチ

さっそく

あなたの答えには既に三島の映画館が含まれているのに「バリエーションを見たいなら「沼津」や「三島」も候補に。」と答えるのはおかしくないですか？

とツッコミを入れて見ました。動揺したのか突然、英語で返事し始めたのですが、これは困るので「日本語で」とお願いしたら

確かに、その表現は不自然でした。
すでに三島の映画館を挙げているのに、「バリエーションを見たいなら沼津や三島も候補に」と書くと、三島を二重に推している形になってしまいます。
より自然に書くなら、例えば
「富士宮以外でバリエーションを求めるなら、沼津も候補になります。」
のようにしたほうがすっきりします。

と答えました。しかし、これもまたイマイチですね。なぜなら、最初の答えで沼津の映画館も入れてしまっているからです。「富士宮以外でバリエーションを求めるなら、沼津も候補になります。」とまとめたのではやはり不自然な答えであることに変わりはないです

さらなるツッコミで改善されたが間違った理由が正直すぎた

さっそく

いや、沼津の映画館も最初からふくまれてますよ？

と再度のツッコミを入れて見ました。以下がそれに対する答え。

ああ、なるほど…完全に二重のミスですね。
最初から「富士宮・沼津・三島」の3か所を並べて紹介しておきながら、最後に「バリエーションを見たいなら沼津や三島も候補に」と書いてしまったので、同じ内容を繰り返すだけになってしまいました。
本来なら、あのまとめ部分は
「富士駅周辺には富士宮・沼津・三島の3つの映画館があり、いずれも1時間以内でアクセスできます。作品の選択肢を広げたい場合は、この3館の上映スケジュールを比較すると良いでしょう。」
のようにまとめるべきでした。

とやっと正しい訂正に。しかし、俗に「博士号取得者並み」と言われるGPT-5にしてはあまりにうろんなやりとりです。最後にこんな風に訊いてみました。

なんでこんなアホな間違いをするんですか？

そのお答えがこんな感じ。
(前略)

最初の列挙（富士宮・沼津・三島）と、最後のまとめを別々に書いて整合確認をせず、既出の場所を「も候補に」と二重に書いてしまいました。

いわゆる定型フレーズを流用してしまい、未出の場所だけに使うべき表現を誤用しました。

（後略）

うーん、なんか正直すぎますよね。確かにそうなんでしょうけど、ちまたではハルシネーションが大幅に減ったと喧伝されるGPT-5にしては典型的なハルシネーションパターンそのまんまです。

なぜこんなミスをするのか？

この「○○駅から１時間の映画を探せ」は上述のようにＬＬＭには苦手な話題のようです。１つにはＬＬＭは地図を思い浮かべて近いところから順番に挙げる、いわゆるマルチモーダルな能力を持っていない、あるいは十分ではないからかもしれません。もう一つは人間が現実の空間で公共交通機関を乗り継いで映画館に赴くということがイメージできていない（ワールドモデルの欠如）があるのではと思います。実際、富士駅と三島駅は３２ｋｍ離れており、これは東京だと立川ー新宿間の距離にあたり何かよほど見たい映画があって三島まで赴く意味があるならともかく、漠然と映画がみたいな、という時に赴く距離ではない気もします。

おわりに

巷では最高性能を謡われることも多いGPT-5ですが「深く考えず前後の脈絡なく定型文を返してしまう」というLLMのハルシネーションを絵で絵が描いたようなミスを払拭できていないことを自ら吐露してしまいました、努々AGIができたなんて頓珍漢な喧伝は控えてほしいものですね！

追記：

この記事を投稿した後「バリエーションを見たいなら「沼津」や「三島」も候補に。」という部分の全体を引用すると

• まとめと提案

  • 一番近くて便利なのは「イオンシネマ富士宮」。電車＋徒歩で1時間以内、最新作やファミリー向け映画が豊富にあります。

  • バリエーションを見たいなら「沼津」や「三島」も候補に。アクセス・上映作品は多彩で、選択肢が広がります。

  • ご希望があれば、特定の作品や字幕／吹替の有無などもお調べできますので、気軽にお知らせください！

のようになっているので特に問題はなく、僕の誤読であり、誤読した送ったコメントに反応してGPT-5が暴走しただけであるというコメントが寄せられました。詳しくはコメントをご覧ください！

追記２：

８／１４　２０：００現在、なんと地図連携が始まったようです。すごいタイミングです！これでもう絶対間違えないので講演会のネタには使えなくなりました
(これに関しては私の早とちりでした。取り消します)