ハルシネーション（幻覚）

AIはトレーニングデータに基づいて推論を行いますが、

『トレーニングデータの制約や誤解釈により、現実にはない情報を生成する』

ことがあります。

特に信頼性が重要な応答である

• 医療
• 法的なアドバイス

において問題になります。

学習のカットオフ

『LLMが事前トレーニングされた時点までのデータしか持たないこと』

そのため、その後に起こった出来事や新しい知識はモデルに反映されません。

例

モデルのカットオフが2021年の場合、それ以降の情報を持っていないため、最新の情報を提供することができないという制約があります。

具体的な例だと、今日時点（2024年11月）で、Bedrockのプレイグラウンドで利用するモデルを、

MODEL_ID = "anthropic.claude-3-5-sonnet-20240620-v1:0"

とした場合、これは2024年6月20日までのモデルのため、

「トランプとハリスの大統領選の結果を教えて」

とプレイグラウンドでチャットしても、

「2020年にトランプ氏と大統領選を争っていたのはハリス氏ではなくバイデン氏であり・・」

的な返答だったり他の不正確な返答を返します。

非決定性

『同じ入力を与えても生成AIが常に同じ結果を返さない特性のこと』

非決定性のデメリットは、生成された結果が予測できないため、 一貫した出力が得られない 場合があることです。そのため、一貫した出力を求めるタスクでは、信頼性が低くなリます。