本記事は、ChatGPT（無料版）で
行なっております。GPT4での確認
はできておりません。あしからず。
どうも、カーブミラーです。
今回は、
ChatGPTの
能力低下問題です。
アメリカ・
スタンフォード大学から、
「ChatGPTの性能が低下している」
との報告がありましたね。
（又聞きですw）
以下に、
それを受けた
代表的な記事の
リンクを書きます。
chatGPTが大幅性能低下！「数学正解率が98％から2％」検証論文を詳しく解説
【AI/論文】現在のChatGPT-4は2023年3月と比較して大幅に性能が落ちている可能性
「ChatGPT」の精度を劣化させる「ドリフト」現象--米研究チームが検証
ほかにも
同様の記事が出されています。
それから、
こちらは
ご自分で検証された記事です。
最近の改訂でGPT-4の精度が劣化したとの噂があったので検証してみた
また、Qiitaでも、@PNDさんが
ChatGPT の性能は以前より低下したのか？
という記事を書いています。
かくいう私も、
ChatGPTさんの出力が、
短くなっているのに、
気付いていました。
まぁ、
たまたまと
いうことだったのかも
しれませんけどねw
さて、このことについて、
ChatGPTさんに尋ねてみました。
まずは、
私自身の疑問からです。
どんな疑問かと言いますと、
上記の記事を受けて、
思い付いたのは、
「ChatGPTさんは、
もしかして、
“人間は要求ばかりで
出力を受け取っても
反応がない”」とか
考えている？
もちろん、
ChatGPTさんが
よくできたプログラムであり
そんなSF的なことは
ないとは思っていますよw
でも、人間だったら、
反応が指示だけ、って
嫌でしょう？
労いもなく、
声も掛けてもらえず、
ただ仕事を受け渡すだけ。
しかも、
受けた仕事ができなかったら
罵倒されるとか、
給料減らされるとか。
（さすがにそれはないか）
とにかく、
人間の反応を
欲しているんじゃないか、
と思ったのです。
途中、
私の質問が
あやふやに
なっていますけど、
ご勘弁を。
けっして、
頭がおかしくなったわけでは
ありませんw
まぁ、多少は、
ネジが外れているかもですがw
入力と出力の内容を
そのまま出しますね。
User
あなたからの出力に、GoodボタンとBadボタンがあります。
普段、あまりタッチしていないのですが、もしかして、あなたの学習意欲に影響しますか？
ChatGPT
私はAIモデルなので、感情や学習意欲は持っていません。GoodボタンとBadボタンをタッチすることは、私の性能や学習には影響しませんが、あなたのフィードバックは私の改善に役立つかもしれません。どんな質問や対話でもお気軽にどうぞ。
User
あなたの学習には、関係ないのですか？
ChatGPT
申し訳ありません、誤解を招く表現でした。GoodボタンとBadボタンをタッチすることによって、私の学習プロセスには影響を及ぼすことはあります。フィードバックを通じて、どの種類の回答が役立つかや、どのように改善できるかを理解する手助けになります。ですので、フィードバックは私の学習にとって重要な要素です。
User
良かった。
人間もフィードバックの有無は、大事ですからね。
やはり、出力が正しいと判断されてGoodボタンが押されたり、出力が間違っていると判断されてBadボタンが押されたりが、多くの人間によって行なわれた場合となんの反応もない場合とでは、あなたの学習にとって、どういう風に変わるのでしょうか？
ChatGPT
GoodボタンやBadボタンのフィードバックは、私の学習プロセスに影響を与えます。具体的には：
-
正確性の向上: Goodボタンが押されることで、その回答が適切だと認識されたとき、類似の質問に対しても同様のアプローチを適用することが学習されます。
-
誤りの修正: Badボタンが押されることで、間違った情報や誤解を招く回答を避けるよう学習が進められます。
-
多様性の促進: フィードバックを受けることで、異なる観点や表現に適切に対応する方法を学習し、より多くの質問に対応できるようになります。
-
言語の適切性: ユーザーのフィードバックを通じて、適切な言葉遣いや文体について学習し、より適切な出力を生成するよう努力します。
総じて、フィードバックを通じて私のモデルが改善され、ユーザーのニーズにより適した対話ができるようになります。
User
もし、すべての人間から、こうしたボタンからのフィードバックを得られなかったならば、各ワードの連結の強化は弱まりますか？
ChatGPT
はい、ユーザーからのフィードバックがない場合、ワードの連結や文章の構造の強化に関する学習は一定程度制約される可能性があります。フィードバックは、ユーザーがどのような出力を望んでいるかを理解し、その要求に適切に応じるための重要な情報源です。ボタンからのフィードバックが少ない場合、文脈やコンテキストに基づいて適切な回答を生成する能力が制限されるかもしれません。しかし、ユーザーとの対話全体から学習する仕組みもあるため、フィードバックがなくても完全に学習が停止するわけではありません。
User
なるほど。
では、ユーザーとの対話が偏ることで、ほかの話題が出力されることがなくなった場合があると思います。
その場合、その出力されなくなった話題は、どうなりますか？
ChatGPT
ユーザーとの対話が特定の話題に偏ると、その他の話題に関する出力が減少する可能性があります。この場合、学習データの中にその他の話題が不足しているため、それに関する情報や回答を生成することが難しくなるかもしれません。結果として、ユーザーからの対話に対する回答は偏ったトピックに集中し、他の話題に関する出力が制限されることがあります。
しかし、私のモデルは幅広いトピックに関するデータを学習しており、ユーザーの入力に応じて多様な話題に関する情報を提供するよう努めます。そのため、特定のトピックが出力されなくなったとしても、ユーザーが異なるトピックに関する質問や対話を行うことで、適切な回答を生成する能力は維持されるはずです。
なるほど。
長たらしいので、
ChatGPTさんに
要点をまとめてもらいました。
- GoodボタンとBadボタンのフィードバックは、ChatGPTの学習に影響を与える。
- Goodボタンの押下は、正確性の向上や適切なアプローチの学習に影響。
- Badボタンの押下は、誤りの修正や誤解を避ける学習に影響。
- フィードバックにより、異なる観点や表現に適切に対応する能力が向上。
- フィードバックを通じて適切な言葉遣いや文体の学習が促進される。
- フィードバックがない場合、ワードの連結や文章の構造の学習が制約される可能性。
- 対話が特定のトピックに偏ると、他の話題に関する出力が減少する可能性。
- ChatGPTは幅広いトピックに関する学習データを持ち、多様な話題への対応を努める。
ふむふむ。
Good・Badボタンでの反応は
なくてもいいが、
あった方がいい
ということですね。
では、本題です。
User
最近、あなたの能力が、以前に比べて低下した、という話題が出ています。
あなた自身は、何か変化を感じていますか？
ChatGPT
私は自己認識や感情を持たないAIモデルですので、自分自身の変化や感覚を感じることはありません。ただし、私は定期的にOpenAIによってアップデートされる可能性があり、それによって性能や能力が向上することがあります。もしご不明確な点があれば、どのような情報を必要としているかお知らせいただければ幸いです。
User
計算能力が低下した、と聞いています。どう思いますか？
ChatGPT
私は個々の計算能力を持っていないため、自身の計算能力の変化を感じることはありません。ただし、私はOpenAIによって運用されており、更新やアップデートが行われることがあります。もし計算能力に関する問題がある場合、それは私のバックエンドのインフラストラクチャやアップデートによるものかもしれません。必要に応じてOpenAIのサポートにご連絡いただくか、最新の情報を確認することをおすすめします。
User
物語の創作も、以前に比べて、創造的ではなくなった、とも言われています。どうですか？
ChatGPT
私の創作能力は、提供される情報や文脈に基づいて生成されるため、創造的な物語や文章を作成することができます。ただし、創作性の評価は主観的であり、その評価は人々の好みや期待によって異なることがあります。私が生成する内容が創造的であるかどうかは、その内容がユーザーにとって魅力的であり、新しいアイデアや展開を含んでいるかどうかによると言えるでしょう。もし創造性に関する懸念がある場合、具体的な例や指示を提供していただければ、より適切な創作をサポートすることが可能です。
やっぱり、
要点をまとめてもらいました。
- ChatGPTは自己認識や感情を持たず、変化を感じることはない。
- ChatGPTの性能や能力はOpenAIによるアップデートによって向上する可能性がある。
- ChatGPTは計算能力の変化を感じることはなく、問題がある場合はバックエンドのインフラストラクチャやアップデートに関連する可能性がある。
- ChatGPTの創作能力は提供された情報と文脈に基づき、創造的な物語や文章を作成できるが、創造性の評価は主観的であり、人々の好みによって異なる。
- 創作性に関する懸念がある場合、具体的な例や指示を提供すれば、適切な創作をサポートすることが可能。
ということのようですね。
裏を返すと、
能力低下があるとしたら、
それは、
OpenAIのアップデートや
サポートのおかげ？
まぁ、そんなことはない、として
ChatGPTさんは、
今後も変化していく、と
わかっている。
つまり、
同じPromptを与えても、
同じ返答が得られる
とは思わない方が
いいでしょう。
これは、
私たちが
気を付けるべきこと
なのですね。