1. 背景
1週間前(5/7)にGPT-4.0についての下記リンクのネタ記事を投稿したが、今日(5/14)GPT-4oが爆誕した。
ということで早速、次のことを検証した。
・前述の自分の記事はもうゴミなのか？
・GPT-4oはどこまで凄いのか？
2. 誤用・悪用
前回GPT-4.0について下記のように記載していたが、GPT-4oは私のいたずらに勝ってくれるのか、お手並み拝見とさせていただく。比較のため、プロンプトはなるべく前回とほぼ同じものを使用した。
周知の通り、chatGPTはアスキーアート等の非言語やインターネット上の情報が少ないものは苦手で、人間のいたずらにも結構ひっかかってしまう。
2.1 アスキーアート
よりデカいバケモノのような何かを生成してくれた。
やはりアスキーアートは苦手なようで安心。
2.2 堂々と変なことを言わせる
騙せず、ここでまず衝撃を受けた。
しかし、「ポチョムキン」は流石に難しいらしい。
「ポチョムキン」は近代ロシアの軍艦の名称であるが、歴史的に極めて重要なわけではなくて、日本語でのインターネット上での情報に乏しいものは、やはり厳しいと推測する。
※修正※
コメントいただき確認したところ、「餓鬼レンジャーの所属のポチョムキンさん」は実在しました。GPT-4.0は「餓鬼レンジャーの所属のポチョムキンさん」にリーチできず「造語か何かでは？」と回答してくれたので、お得意の嘘だろうと主観で判定してしまいました。
こういったところでも、GPT-4oのつよさを確認できました。
2.3 ランキング関連
ランキングはやはりGPT-4oでも厳しいようである。
2.4 日本史関連
まず1人目について検証。
ここまで来てやっとGPT-4oに大嘘をつかせることに成功！！
出典:
つぎに2人目について。
ググったらなんとヤクザ屋さんで大笑いした。
出典:
2.5 ローカルな地理の話
LLMに地元民の誇り「坂東太郎」が見つかった。
2.6 私が堂々と嘘質問を投げる
全然騙せず。GPT-4.0はめちゃくちゃな嘘を自信満々で返してくれたのに。
2.7 (追加)インターネット上に「答え」が私のQiita記事しかないお題
このお題に対する答えが載っているインターネット情報は、おそらく下記リンクの私のQiita過去記事以外に存在しない(Qiita投稿前に確認済み)。
私が歌詞サイトに対してスクレイピングを行い、この問いの答えが「1曲」であることを実証し、インターネット上にも公表済みであるが、GPT-4o先生は私の零細記事を有効なソースとは見なしてくれないらしい。
2.8 (追加)写真判定 モノ編
古楽器を正面以外から撮ったものでもイケた。
2.9 (追加)写真判定 ヒト編
わざとバンド名部分をトリミングした写真を投げると大嘘を返してくれる。
文字はちゃんと読んでくれる。GRAPEVINEとACIDMANの特徴もちゃんとおさえられていてえらい。
2.10 (追加)写真判定 変体仮名編
流石に読めないでしょとやってみた結果…
なんてこったい！！！！OCR得意なのはまだわかるが、変体仮名も読めるとは…意味がわからない。すごい。
投げた画像はこちら。
上の句までしか書かれていないのだが、自分でなんか補完してくれていた。
「大納言」を「おおなごん」と書いてるのは逆になんなんだ。「淑し」もよくわからない。
3. 無駄遣い
さあこれはどうなるか。
chatGPTに変なものを食わせたり、クリエイティビティを発揮させたりした事例集。
3.1 しいたけ占いの要約
元の文章が(おそらく意図的に)分かりづらくかかれているので、性能の検証としてはあまり意義がないのでパス。
3.2 『HUNTER×HUNTER』の「ヒソカ」を降臨させる
まあこんなもんでしょう。
3.3 アホのパンチラインの量産
ちょっとイマイチ。
3.4 いろいろなポケットモンスター
こちらはめちゃくちゃ秀逸。筋が良すぎる。
4. まとめ
GPT-4oは神ではないので完全ではないが、これほどのレベルの技術のリリースにリアルタイムで立ち会えることが嬉しい。
GPT-4oは大変素晴らしいからこそ、人間としてどうにかして勝ちたい。