はじめに
「生成AIは嘘をつくから信用できない」——そんな印象を持っている方はまだ多いかもしれません。実際、ChatGPTなどの対話型AIが事実と異なる情報（=ハルシネーション）を生成することは以前から問題視されてきました。
しかし、AIは日々進化しています。今では「どのモデルがどのくらい嘘をつくのか？」を客観的に比較する指標まで整備されています。この記事では、その進化を数値で確認できるGitHubプロジェクトと、その結果を紹介しているXの投稿をご紹介します。
ハルシネーションとは？
まず「ハルシネーション（hallucination）」とは、生成AIが存在しない事実や誤情報をもっともらしく語ってしまう現象を指します。
たとえば、
- 実在しない論文や書籍を出典にする
- 架空の人物の発言を事実のように生成する
- プログラムコードで存在しないAPIを提案する
といったことが起こりえます。
「Hallucination Leaderboard」で各モデルの嘘つき度を可視化
以下のGitHubリポジトリでは、主要な生成AIモデルの「ハルシネーション率」を比較したランキングが公開されています：
このランキングは、以下のような評価軸でモデルを比較しています：
- TruthfulQAベンチマークを使った事実性評価
- モデルがどれだけ「信頼できる情報を返しているか」のスコア化
- OpenAI、Anthropic、Mistralなどの主要モデルが対象
進化を物語るデータ
以前までは20〜30%のハルシネーション率だったのが、最新モデルでは1%前後にまで改善されています。
おわりに
生成AIが「嘘をつく」という印象は、もはや過去のものになりつつあります。
最新のモデルは、適切なプロンプト設計とフィルタリングを前提にすれば、極めて高い信頼性を持っています。
もし業務や学習に導入することをためらっている方がいたら、ぜひこのデータを一度確認してみてください。