AIを使っていると、
「それっぽいけど間違っている回答」
に出会うことがあります。
これは偶然ではなく、AIの設計上ほぼ必然的に起きる現象です。
結論から言うと
AIは、
「正しい答え」を探しているのではなく
「もっともらしい続きを生成している」
だけです。
AIは「事実」を持っていない
AIは以下を持っていません。
- 常識
- 事実確認能力
- 真偽判定ロジック
持っているのは、
- 単語や文の並びの確率
- 文脈の流れ
だけです。
生成時に起きていること
文章生成時、AIは毎回こう考えています。
- 次に来そうな単語は何か
- 文脈的に自然なのはどれか
正しいかどうかは評価していません。
なぜ自信満々に嘘をつくのか
理由は単純です。
- 学習時に「自信がある/ない」という概念がない
- 出力は常に確率最大のもの
そのため、
間違っていても断定口調になる
という挙動になります。
ハルシネーションはバグではない
ハルシネーションは、
- モデルの欠陥
- たまたまの誤動作
ではありません。
設計通りの挙動です。
対策はあるのか
- 外部検索（RAG）
- 出典を求める
- 「分からない場合は分からないと言え」と指示する
ただし、完全には防げません。
まとめ
- AIは事実を知らない
- もっともらしさで文章を作る
- 嘘は自然発生する
- 人間側の検証が必須