0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【AWS AIP】Bedrock Guardrails コンテキストグラウンディングチェック

0
Posted at

一言で

モデルの回答が「与えた根拠(ソース)に基づいているか」「質問と関連しているか」を自動スコアリングし、根拠のない出力(ハルシネーション)を抑制するBedrock Guardrailsの機能。

なぜ要るか / 背景

RAGのようにコンテキスト(検索結果や参照文書)を与えて回答させる構成でも、モデルがソースにない内容を生成してしまう(ハルシネーション)ことがある。根拠のない出力をそのままユーザーに返すと、誤情報の拡散や信頼性低下につながる。Grounding Checkはこれを推論時にリアルタイムで検出・ブロックする。

主要概念

  • Grounding(グラウンディング)スコア:回答がソース内容にどれだけ忠実かを評価するスコア。ソースにない内容を付け足していないかをチェック
  • Relevance(関連性)スコア:回答がユーザーの質問にどれだけ関連しているかを評価するスコア。ソースに忠実でも質問と噛み合わない回答を防ぐ
  • しきい値(Threshold):GroundingとRelevanceそれぞれに0〜1の範囲で個別に設定できる。どちらかが下回ると回答がブロックされる
  • grounding source(根拠ソース):チェックの基準となる参照文書・検索結果
  • guard content(評価対象の回答):グラウンディングチェックの対象となるモデルの出力
  • ブロック時の代替メッセージ:しきい値を下回った場合に返す、あらかじめ設定したメッセージ

基本の流れ

  1. Guardrailsの設定でGrounding Checkを有効化し、GroundingとRelevanceそれぞれのしきい値を設定
  2. RAGパイプラインなどで検索結果(ソース)とモデルの回答をGuardrailsに渡す
  3. Guardrailsが2つのスコアを算出し、両方がしきい値以上なら回答をそのまま返す
  4. どちらかがしきい値未満なら、あらかじめ設定した代替メッセージに置き換えてブロックする

関連

  • Bedrock Knowledge Bases / RetrieveAndGenerate API:Grounding Checkが効果的に機能する典型的な構成(検索結果をソースとして利用)
  • Bedrock 自動モデル評価(Model Evaluation):事前のオフライン評価に対し、Grounding Checkは実行時のリアルタイムチェックという違いがある
  • Guardrailsの他の機能(拒否トピック、有害コンテンツフィルター、PIIマスク):同じGuardrailsの枠組みの中で、Grounding Checkだけが「ソースとの整合性」に特化している

試験ポイント(AIP-C01)

  • モデルの回答が、検索結果とプロンプトそれぞれに対してどれだけ整合しているかをチェックし、閾値より低ければ回答をブロック
  • 「ハルシネーション抑制のための機能」という位置づけと、RAG構成(ソースがある場合)で使う前提を押さえる
  • GroundingとRelevanceという2つの独立した評価軸があることを区別できるようにする
  • Guardrailsの他機能(PII、有害コンテンツ等)とは目的が異なり、「出力がソースに基づいているか」を専門にチェックする点に注意
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?