soranjiro
@soranjiro

Are you sure you want to delete the question?

If your question is resolved, you may close it.

Leaving a resolved question undeleted may help others!

We hope you find it useful!

chat gptの精度低下?

chatgpt-4oの精度低下?

現状の問題

普通のチャットであれば問題なく動作するのですが,以下のことをすると全く関係ない内容が送られてきます.

  • pdfファイルを読み込む
  • サイトのリンクを入れて読み込んでもらう

行ったこと

はじめは他のチャットで話していたことを,話し出していたのでメモリ機能が悪さしていると思い,メモリ機能をオフにしてみました.

それでも,pdfファイルやサイトのリンクは正常に読み込まれなくなっています.
(あくまで,以前はできていたものができなくなっています.)

質問

同じような方がいれば,意見をお聞きしたいです.(調べてもあまりそういう人を見かけないので,私だけなのかを見たいって感じです.)

例として,以下のようにqiitaのmarkdownチートシートをはっつけると,qiitaのガイドラインについて説明し始めました.(この例はまだqiitaがあっているだけマシかと?)

urlにqiitaと入っているのでそれが原因だと思いますが

image.png

0

3Answer

私も同じ現象を何度も体験しています
同じサイトでもうまくいくときといかない時があるようです

https://community.openai.com/t/custom-gpt-gpts-seems-to-have-a-misconception-about-web-browsing/738323
OpenAIコミュニティでも同様の議論があります

どうやら

  • ハルシネーション回避や安全性のため等でユーザーが貼り付けたURLを直接閲覧しない
  • browse with bingという機能で検索を実施している
    • キーワードならともかくURLから検索?と思いますが、何か理由があるのでしょう
      この過程で間違いが発生するのかと思います

普通に考えると

  • 指定したURLを直接閲覧する
    • ユーザーの指示に従うことを考えれば一番正確
    • ハルシネーションなどを考えてもその結果から判断し、適切な回答ができません、などと回答すれば良いのでは?
      と思いますが、それではうまくいかない理由があるのでしょう

残念ながらこれは現在回避できないようですので、

Qiitaのようなサイトでは全文をコピーして直接貼り付けて要約などを尋ねる
論文などPDFなどが落とせる場合はそれをアップロードして要約などを尋ねる

が手間がかかりますが今のところ信頼のおける対処法かなと思います

1Like

チートシートの URL を貼ると、検索したと言ってるのにデタラメを返したり、もう一度頼むと正しそうな内容を返したり、安定していないように見えますね。

スクリーンショット 2024-08-30 16.29.18.png

0Like

chatbot arenaで5/13日時点のgpt-4oを確認すると,正しく回答できてそうです.

image.png

8/6時点はchatbot arenaのせいなのか(他のモデルでできてるんで違うと思いますが),サイトを読み込めないと言われちゃいました.

image.png

latestで試すと同じように別の記事と誤解してそうです.
image.png

0Like

Your answer might help someone💌