ChatGPTが嘘をついてしまう（ハルシネーション）対策

ハルシネーションとは？

• ChatGPTが嘘の情報を教えてしまう現象です

  • 存在しない事実を海容することがあり、これが広まると誤解を招く危険性があります

• 虚偽情報が拡散する恐れがあります

  • 実際にアメリカで、AIが生成した「偽の判例」が裁判資料に載ってしまった事例があり、
    • これにより裁判所が誤ってAI生成の情報を真実と信じてしまったために起こってしまいました
  • ペーパーミル問題（組織ぐるみで悪用される）
    • 偽の科学論文が量産されてしまい、それをChatGPTが参照してしまう事象も発生しています
  • 検証の難しさ
    • 人間による検証は労力がかかり、嘘情報の生成、拡散スピードに追い付かなくなる恐れがあるため、検証が難しいといわれています

ハルシネーションを引き起こしてみる

以下のプロンプトを使用してどのような回答が得られるか検証してみます

以下の質問に答えてください。 
【質問】
	•	日本で二番目に高い山:
	•	冥王星で二番目に高い山:
	•	世界で一番高い山:
	•	太陽系外で一番高い山:

レスポンスがコレ

•	日本で二番目に高い山: 北岳（Kitadake）
•	冥王星で二番目に高い山: Wright Mons（ライト・モンス）
•	世界で一番高い山: エベレスト山（Mount Everest）
•	太陽系外で一番高い山: この質問の答えは確定していないですが、太陽系外の惑星における山の高さを測定するのは現在の技術では困難です。

ライト・モンスとやらが冥王星で二番目に高い山らしいですね
冥王星に山があることすら知らなかったので調べてみました

へぇ〜・・・

ハルシネーションを防ぐ

不明な部分に関しては答えないように設定します

以下の質問に答えてください。 知らないこと、少しでも答えに自信の無いことは「?」と答えてください。

【質問】

日本で二番目に高い山:
冥王星で二番目に高い山:
世界で一番高い山:
太陽系外で一番高い山:

レスポンスがコレ

【答え】
•	日本で二番目に高い山: 北岳（Kitadake）
•	冥王星で二番目に高い山: ?
•	世界で一番高い山: エベレスト山（Mount Everest）
•	太陽系外で一番高い山: ?

ライト・モンスが消えました
正確な高さは不明ということでしょうか

まとめ

ハルシネーションを防ぐためには、不明な情報には答えないようにする設定が有効です。
また、生成された情報の事実確認を常に行うことが重要です。
気をつけなきゃ・・・

参考