LLMのハルシネーション（勝手に事実と違う情報を出力）問題を減らす手法「CoVe」について試しました

ハルシネーションとは、LLMが嘘の情報を出力する問題です。
いつもLLMの大きな課題の一つでしたが、最近METAがこの問題を解決する新たな手法「CoVe」を公開しました。
一言でいうと、LLMに自身のハルシネーションを認識させて減らす方法となります。
METAがLlama2 65Bで試した結果は、精度が0.17から0.36に大幅上がりました。

まずCoVeの具体的な流れについては、
①初期回答を作成
②検証計画（検証用の質問）を作成
③検証（回答・合意確認）
④最終回答を作成
以上の内容をpromptに追加することで実現します。

例のprompt:
「
質問:「XXXXXXX」は何ですか

以下の処理手順を参考して答えを生成してください。

処理手順

1. まずは上記の問いに対して、回答の初稿を作成してください。
2. 回答を細かく分解して複数の小さな問い（検証質問）を生成してください。
3. それぞれの小さな問いに対して細かく回答してください。
4. 小さな問の答えから、もう一度、質問に対して答えください。
   　」

興味ある方は試してみてください
論文:https://arxiv.org/abs/2309.11495