Guardrails for ハルシネーション検出
Bedrock の Guardrails に、生成 AI アプリケーションが誤った情報（ハルシネーション）を生成しないように保護する機能を追加したよ。
コンテキストグラウンディングチェック
AI がデータに基づかない不正確な回答や、質問に無関係な回答を検出し、除外するための仕組み
2つのフィルタリング基準
グラウンディング
- AI の回答がデータに基づいているかを確認し、設定された基準を下回る場合、回答をブロック
- しきい値のスコアが高いほど、ブロックされる回答が多くなります
関連性
- AI の回答がユーザーの質問に関連しているかを確認し、基準を下回る場合は回答をブロック
- しきい値のスコアが高いほど、ブロックされる回答が多くなります
コンソールから動作確認
Guardrails の設定で「Grounding」と「Relevance」をオンにするだけのようです。
まず、閾値はデフォルトの 0.7 で試してみます。
今回は良い例が思いつかなかったので、AWS ブログにある例を実行してみます。
閾値は値 0.7 を上回っっているので、合格しました。
次に、閾値を 0.８ にして試してみます。
先程と同じ質問を投げてみます。
今度は、閾値を下回り失敗となり、最終応答が得られなかったことを確認できました。
SDK
SDK での実装は create_guardrail で contextualGroundingPolicyConfig を指定します。
リンク