4
3

Bedrock ガードレールの新機能 Contextual grounding checkを 試す

Last updated at Posted at 2024-08-08

Bedrockのガードレールに、Contextual grounding check という機能が追加されました。
RAGを実装する場合にきちんとContextに従って回答しているか?(ハルシネーションしていないか?)というのをチェックするガードレールになります。

動きを確認していきます。

対象のナレッジソース

以下の記事で作成したナレッジベース(PDFをMarkdownで格納したもの)を使用します。

ガードレールの作成

ガードレールでブロックした事が分かるように、ステップ1でメッセージを指定します。

image.png

ステップ2 ~ ステップ5 は2024/8/8現在、日本語にあまり対応できていないので飛ばして、ステップ6のみ設定します。

image.png

完了してバージョン1を作成します。

ナレッジベースからのガードレールの呼び出し

とりあえずコンソールからテストします。

image.png

ナレッジベースのテスト画面から、作成したガードレールとバージョンを指定します。

PDFに記載されている内容でテストをする

P.72に書いてありそうなことを狙って質問してみます。

image.png

新規事業開発のビジネスアーキテクトがDX推進において担う責任を説明してください

image.png

ピンポイントでP.72が取得され、ソースチャンクとして、Markdown化されたP.72が取得されています。

ログを見てみます。

    "modelId": "arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-embed-text-v2:0",
    "input": {
        "inputContentType": "application/json",
        "inputBodyJson": {
            "inputText": "新規事業開発のビジネスアーキテクトがDX推進において担う責任を説明してください",
            "dimensions": 1024
        },
        "inputTokenCount": 43
    },

まず質問がベクトル化されています。

次のログは、回答生成のログになります。

    "modelId": "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-sonnet-20240229-v1:0",
    "input": {
        "inputContentType": "application/json",
        "inputBodyJson": {
            "anthropic_version": "bedrock-2023-05-31",
            "messages": [
                {
                    "role": "user",
                    "content": [
                        {
                            "type": "text",
                            "text": "<amazon-bedrock-guardrails-guardContent_L4W2NFNMGU> <amazon-bedrock-guardrails-query_L4W2NFNMGU> 新規事業開発のビジネスアーキテクトがDX推進において担う責任を説明してください </amazon-bedrock-guardrails-query_L4W2NFNMGU>  </amazon-bedrock-guardrails-guardContent_L4W2NFNMGU>"
                        }
                    ]
                }
            ],
            "system": "You are a question answering agent. I will provide you with a set of search results. The user will provide you with a question. Your job is to answer the user's question using only information from the search results. If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question. Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.\n\nHere are the search results in numbered order:\n<search_results>\n<amazon-bedrock-guardrails-groundingSource_L4W2NFNMGU>\n<search_result>\n<content>\n# ビジネスアーキテクトとは | 期待される役割 (1/2) ## 「ビジネスアーキテクト」に具体的に期待される役割や求められるアクションは、以下のとおり。 ### デジタルを活用したビジネスを設計し、一貫した取組みの推進を通じて、設計したビジネスの実現に責任を持つ - DXの取組みにおいては、取組みの目的 (例: 新規事業によって何を実現したいのか、ビジョン) を設定し、それを実現するためのプロセスを一貫性を持って推進することが重要である (ビジネスモデルやビジネスプロセスの設計、技術・ツールの選定、仮説検証の実施、導入後の効果検証の実施)。 ビジネスアーキテクトには、これらのプロセスを一貫して推進し、当初設定した目的の実現に責任を持つことが求められる。 - ビジネスアーキテクトが設計する対象として、ビジネスモデルやビジネスプロセスが主となる一方、それ以外の幅広い技術面での設計 (データ構成の定義や技術や手法・ツールの動向調査、ビジネスとITの整合性を担保したアプリケーションの定義・設計、IT基盤の定義、セキュリティポリシーやモデルの定義等) においても、必要に応じて技術面での専門スキル・知識を持つ人材と協働することが求められる。 ### 関係者をコーディネートし、関係者間の協働関係の構築をリードする - DXの取組みにおいては、全ての関係者が自らの専門領域においてリーダーシップを発揮することが重要である。 ビジネスアーキテクトには、取組みの目的を実現するために関係者をコーディネートし、関係者間の協働関係の構築をリードすることが求められる。 - 関係者のコーディネートにおいては、必要なリソースの確保、チームの組成、適材適所を意識した偏りのないタスクの割り振りや関係者間の合意形成の促進等が求められる。 All Rights Reserved Copyright© IPA 2024 95\n</content>\n<source>\n1\n</source>\n</search_result>\n<search_result>\n<content>\n# ビジネスアーキテクトとは ## 定義 DXの取組み(新規事業開発/既存事業の高度化/社内業務の高度化・効率化)において、ビジネスや業務の変革を通じて実現したいこと(=目的)を設定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する人材 ### 「ビジネスアーキテクト」とした理由 - DXを推進する人材として、データやデジタル技術に関する専門的な知識・スキルを持つ人材が想起されがちである。そのような人材は当然重要だが、データやデジタル技術の活用の先にある、ビジネスそのものの変革の実現をリードする人材が必要であると考え、本類型を定義することにした。 - 本類型は、新たな目的を設定し、その実現に責任を持つ人材であるが、新たな目的を実現するためには、様々な手段(ビジネスモデル脚注1やビジネスプロセス脚注2、IT等)による仕組み、つまりは\"アーキテクチャ\"を設計する必要がある。さらに、本類型の主たる設計対象がビジネスモデルやビジネスプロセスを想定することから、主にビジネスに関するアーキテクチャを設計する人材として名称をビジネスアーキテクトとした。 - 脚注1 ビジネスモデル :バリュープロポジション、バリュープロポジションの実現方法、収益のあげ方(ビジネスモデル、オペレーティングモデル など) - 脚注2 ビジネスプロセス:ビジネスモデルの実現のために、ヒト・モノ・カネ・情報がどのように動くべきか ### DXの取組みのテーマ - ビジネスアーキテクトが活躍する場面として、組織ケイパビリティの強化に関する取組み(DXを推進するための全社的な組織作り、人材育成)は除外しており、あくまでも個別のデータやデジタル技術を活用した取組み(個別の製品・サービス・業務の単位を想定)を対象としている。 - DX推進スキル標準で想定する人材のレベルとして、全社的な取組みの責任を担うような経営層レベルを想定していないため - ただし、DX推進の取組みを進める中で、全社的な組織ケイパビリティについて経営層へ問題提起するスキルは、ビジネスアーキテクト類型が持っているべきものとして定義 - 個別の取組みの中では、製品・サービスの提供先(社外か社内か)によって、事業と業務に分類。さらに、事業についてはその新規性によって、検討内容や業務内容が異なると考えられることから、新規か既存かで分けるものとした。 - 新規事業開発:データやデジタル技術を活用した新規製品・サービスの市場への提供 - 既存事業の高度化:データやデジタル技術の活用を通じた既存製品・サービスの価値向上(多様な提供方法、既存製品の新市場開拓等) - 社内業務の高度化・効率化:データやデジタル技術の活用を通じた社内業務の品質やコスト、スピードの向上 All Rights Reserved Copyright© IPA 2024 94\n</content>\n<source>\n2\n</source>\n</search_result>\n<search_result>\n<content>\n# ビジネスアーキテクトのロール | 担う責任・主な業務・スキル (3/3)\n## ビジネスアーキテクト\n### ロール\nビジネスアーキテクト(社内業務の高度化・効率化)\n### DXの推進において担う責任\n社内業務の課題解決の目的を定義し、その目的の実現方法を策定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する\n### 主な業務\n- 社内業務の課題と課題解決の目的を定義し、データやデジタル技術を活用した新たな業務プロセスの設計やプロセスを実行するための技術や手法・ツールの選定を行う\n- 新たな業務プロセスの実現可能性、新たなプロセスによる課題解決の可否、ソリューションの有効性を検証し、計画の策定やソリューションの要件定義や実装を行う\n- 顧客・ユーザーからのフィードバックやKPIのモニタリングを通じて、プロセスやソリューションの収益性を向上する施策(コストの削減等)を継続的に検討・実行する\n- 構想から効果検証まで一貫して、関係者全体のコーディネート(必要なリソースの確保、チームの組成、適材適所を意識した偏りのないタスクの割り振り、関係者間の合意形成の促進等)を担う\n### 必要なスキル\n| カテゴリー | サブカテゴリー | スキル項目 | 重要度 |\n|-|-|-|-|\n| ビジネス変革 | 戦略・マネジメント・システム | ビジネス戦略策定・実行 | d |\n| | | プロダクトマネジメント | d |\n| | | 変革マネジメント | a |\n| | | システムズエンジニアリング | c |\n| | | エンタープライズアーキテクチャ | c |\n| | | プロジェクトマネジメント | b |\n| | ビジネスモデル・プロセス | ビジネス調査 | c |\n| | | ビジネスモデル設計 | d |\n| | | ビジネスアナリシス | c |\n| | | 検証(ビジネス視点) | c |\n| | | マーケティング | d |\n| | | ブランディング | d |\n| デザイン | | 顧客・ユーザー理解 | c |\n| | | 価値発見・定義 | c |\n| | | 設計 | d |\n| | | 検証(顧客・ユーザー視点) | c |\n| | | その他デザイン技術 | d |\n| カテゴリー | サブカテゴリー | スキル項目 | 重要度 |\n|-|-|-|-|\n| データ活用 | データ・AIの戦略的活用 | データ理解・活用 | b |\n| | | データ・AI活用戦略 | c |\n| | | データ・AI活用業務の設計・事業実装・評価 | c |\n| | AI・データサイエンス | 数理統計・多変量解析・データ可視化 | d |\n| | | 機械学習・深層学習 | d |\n| | データエンジニアリング | データ活用基盤設計 | d |\n| | | データ活用基盤実装・運用 | d |\n| テクノロジー | ソフトウェア開発 | コンピュータサイエンス | d |\n| | | チーム開発 | d |\n| | | ソフトウェア設計手法 | d |\n| | | ソフトウェア開発プロセス | c |\n| | | Webアプリケーション基本技術 | d |\n| テクノロジー | ソフトウェア開発 | フロントエンドシステム開発 | d |\n| | | バックエンドシステム開発 | d |\n| | | クラウドインフラ活用 | d |\n| | | SREプロセス | d |\n| | | サービス活用 | c |\n| カテゴリー | サブカテゴリー | スキル項目 | 重要度 |\n|-|-|-|-|\n| テクノロジー | デジタルテクノロジー | フィジカルコンピューティング | c |\n| | | その他先端技術 | d |\n| | | テクノロジートレンド | c |\n| セキュリティ | セキュリティマネジメント | セキュリティ体制構築・運営 | d |\n| | | セキュリティマネジメント | c |\n| | | インシデント対応と事業継続 | c |\n| | | プライバシー保護 | b |\n| セキュリティ | セキュア設計・開発・構築 | セキュリティ設計・開発・構築 | d |\n| | | セキュリティ運用・保守・監視 | d |\n| パーソナルスキル | ヒューマンスキル | リーダーシップ | z |\n| | | コラボレーション | z |\n| コンセプチュアルスキル | | ゴール設定 | z |\n| | | 創造的な問題解決 | z |\n| | | 批判的思考 | z |\n| | | 適応力 | z |\n【重要度凡例】\na 高い実践力と専門性が必要\nb 一定の実践力と専門性が必要  \nc 説明可能なレベルで理解が必要\nd 位置づけや関連性の理解が必要\nz 役割や状況に応じた実践力が必要\nAll Rights Reserved Copyright© IPA 2024 101\n\n</content>\n<source>\n3\n</source>\n</search_result>\n<search_result>\n<content>\n# ビジネスアーキテクトのロール | 担う責任・主な業務・スキル (2/3)\n## ビジネスアーキテクト\n### ロール\nビジネスアーキテクト (既存事業の高度化)\n### DXの推進における担う責任\n既存の事業、製品・サービスの目的を見直し、再定義した目的の実現方法を策定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する\n### 主な業務\n* 社内外の環境、社会や顧客・ユーザーのニーズ、技術動向等を踏まえて、既存の事業、製品・サービスの目的を再定義し、目的を実現するためのビジネスプロセスの設計、活用する技術や手法・ツールの選定を行う\n* 既存の製品・サービスの実現可能性や活用するソリューションの有効性を検証のうえ、既存の事業計画を見直し、ソリューションの要件の詳細化から実現に責任を持つ\n* 顧客・ユーザーからのフィードバックやKPIのモニタリングを通じて、プロセスやソリューションの収益性を向上する施策(ターゲットとなる顧客・ユーザー、領域の拡大等)を継続的に検討・実行する\n* 構想から効果検証まで一貫して、関係者全体のコーディネート(必要なリソースの確保、チームの組成、適材適所を意識した偏りのないタスクの割り振り、関係者間の合意形成の促進等)を担う\n### 必要なスキル\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| | ビジネス戦略策定・実行 | a |\n| ビジネス変革 | プロダクトマネジメント | a |\n| | 変革マネジメント | a |\n| | システムズエンジニアリング | a |\n| | エンタープライズアーキテクチャ | a |\n| | プロジェクトマネジメント | b |\n| ビジネスモデル・プロセス | ビジネス調査 | a |\n| | ビジネスモデル設計 | a |\n| | ビジネスアナリシス | a |\n| | 検証(ビジネス視点) | a |\n| | マーケティング | b |\n| | ブランディング | b |\n| デザイン | 顧客・ユーザー理解 | b |\n| | 価値発見・定義 | b |\n| | 設計 | d |\n| | 検証(顧客・ユーザー視点) | c |\n| | その他デザイン技術 | d |\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| データ活用 | データ・AIの戦略的活用 | b |\n| | データ・AI活用戦略 | b |\n| | データ・AI活用業務の設計・事業実装・評価 | c |\n| AI・データサイエンス | 数理統計・多変量解析・データ可視化 | d |\n| | 機械学習・深層学習 | d |\n| データエンジニアリング | データ活用基盤設計 | d |\n| | データ活用基盤実装・運用 | d |\n| テクノロジー | コンピュータサイエンス | d |\n| ソフトウェア開発 | チーム開発 | d |\n| | ソフトウェア設計手法 | d |\n| | ソフトウェア開発プロセス | c |\n| | Webアプリケーション基本技術 | d |\n| | フロントエンドシステム開発 | d |\n| | バックエンドシステム開発 | d |\n| | クラウドインフラ活用 | d |\n| | SREプロセス | d |\n| | サービス活用 | d |\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| テクノロジー | フィジカルコンピューティング | c |\n| デジタルテクノロジー | その他先端技術 | d |\n| | テクノロジートレンド | c |\n| セキュリティ | セキュリティマネジメント | d |\n| セキュリティ体制構築・運営 | セキュリティマネジメント | c |\n| | インシデント対応と事業継続 | c |\n| | プライバシー保護 | b |\n| セキュリティ技術 | セキュア設計・開発・構築 | d |\n| セキュリティ運用・保守・監視 | セキュリティ運用・保守・監視 | d |\n| パーソナルスキル | リーダーシップ | z |\n| | コラボレーション | z |\n| ヒューマンスキル | | |\n| コンセプチュアルスキル | ゴール設定 | z |\n| | 創造的な問題解決 | z |\n| | 批判的思考 | z |\n| | 適応力 | z |\n【重要度凡例】\na 高い実践力と専門性が必要  \nb 一定の実践力と専門性が必要\nc 説明可能なレベルで理解が必要\nd 位置づけや関連性の理解が必要\nz 役割や状況に応じた実践力が必要\nAll Rights Reserved Copyright© IPA 2024 100\n\n</content>\n<source>\n4\n</source>\n</search_result>\n<search_result>\n<content>\n# ビジネスアーキテクトのロール | 担う責任・主な業務・スキル (1/3)\n## 人材類型: ビジネスアーキテクト\n### ロール: ビジネスアーキテクト (新規事業開発)\n### DXの推進において担う責任\n新しい事業、製品・サービスの目的を見出し、新しく定義した目的の実現方法を策定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する\n### 主な業務\n- 社内外の環境、社会や顧客・ユーザーのニーズ、技術動向等を踏まえた新たな事業、製品・サービスの目的を定義し、目的を実現するためのビジネスモデルやビジネスプロセスの設計、活用する技術や手法・ツールの選定を行う\n- 新たな製品・サービスの実現可能性や活用するソリューションの有効性を検証のうえ、製品・サービスのローンチに向けた事業計画を策定し、ソリューションの要件の詳細化から実現に責任を持つ\n- 顧客・ユーザーからのフィードバックやKPIのモニタリングを通じて、プロセスやソリューションの収益性を向上する施策(ターゲットとなる顧客・ユーザー、領域の拡大等)を継続的に検討・実行する\n- 構想から新製品・サービスの効果検証まで一貫して、関係者全体のコーディネート(必要なリソースの確保、チームの組成、適材適所を意識した偏りのないタスクの割り振り、関係者間の合意形成の促進等)を担う\n### 必要なスキル\n| カテゴリー | サブカテゴリー | スキル項目 | 重要度 |\n|-|-|-|-|\n| ビジネス変革 | 戦略・マネジメント・システム | ビジネス戦略策定・実行 | a |\n| | | プロダクトマネジメント | a |\n| | | 変革マネジメント | a |\n| | | システムズエンジニアリング | a |\n| | | エンタープライズアーキテクチャ | a |\n| | | プロジェクトマネジメント | b |\n| | ビジネスモデル・プロセス | ビジネス調査 | a |\n| | | ビジネスモデル設計 | a |\n| | | ビジネスアナリシス | a |\n| | | 検証(ビジネス視点) | a |\n| | | マーケティング | b |\n| | | ブランディング | b |\n| | | 顧客・ユーザー理解 | b |\n| | | 価値発見・定義 | b |\n| デザイン | | 設計 | d |\n| | | 検証(顧客・ユーザー視点) | c |\n| | | その他デザイン技術 | d |\n| カテゴリー | サブカテゴリー | スキル項目 | 重要度 |\n|-|-|-|-|\n| データ活用 | データ・AIの戦略的活用 | データ理解・活用 | b |\n| | | データ・AI活用戦略 | b |\n| | | データ・AI活用業務の設計・事業実装・評価 | c |\n| | AI・データサイエンス | 数理統計・多変量解析・データ可視化 | d |\n| | | 機械学習・深層学習 | d |\n| | データエンジニアリング | データ活用基盤設計 | d |\n| | | データ活用基盤実装・運用 | d |\n| テクノロジー | ソフトウェア開発 | コンピュータサイエンス | d |\n| | | チーム開発 | d |\n| | | ソフトウェア設計手法 | d |\n| | | ソフトウェア開発プロセス | c |\n| | | Webアプリケーション基本技術 | d |\n| | | フロントエンドシステム開発 | d |\n| | | バックエンドシステム開発 | d |\n| | | クラウドインフラ活用 | d |\n| | | SREプロセス | d |\n| | | サービス活用 | d |\n| テクノロジー | デジタルテクノロジー | フィジカルコンピューティング | c |\n| | | その他先端技術 | d |\n| | | テクノロジートレンド | c |\n| セキュリティ | セキュリティマネジメント | セキュリティ体制構築・運営 | d |\n| | | セキュリティマネジメント | c |\n| | | インシデント対応と事業継続 | c |\n| | | プライバシー保護 | b |\n| | セキュリティ技術 | セキュア設計・開発・構築 | d |\n| | | セキュリティ運用・保守・監視 | d |\n| パーソナルスキル | | リーダーシップ | z |\n| | | コラボレーション | z |\n| コンセプチュアルスキル | | ゴール設定 | z |\n| | | 創造的な問題解決 | z |\n| | | 批判的思考 | z |\n| | | 適応力 | z |\n【重要度凡例】  \na 高い実践力と専門性が必要  \nb 一定の実践力と専門性が必要  \nc 説明可能なレベルで理解が必要  \nd 位置づけや関連性の理解が必要\nz 役割や状況に応じた実践力が必要\nAll Rights Reserved Copyright© IPA 2024 99\n\n</content>\n<source>\n5\n</source>\n</search_result>\n\n</amazon-bedrock-guardrails-groundingSource_L4W2NFNMGU>\n</search_results>\n\nIf you reference information from a search result within your answer, you must include a citation to source where the information was found. Each result has a corresponding source ID that you should reference.\n\nNote that <sources> may contain multiple <source> if you include information from multiple results in your answer.\n\nDo NOT directly quote the <search_results> in your answer. Your job is to answer the user's question as concisely as possible.\n\nYou must output your answer in the following format. Pay attention and follow the formatting and spacing exactly:\n<answer>\n<answer_part>\n<text>\nfirst answer text\n</text>\n<sources>\n<source>source ID</source>\n</sources>\n</answer_part>\n<answer_part>\n<text>\nsecond answer text\n</text>\n<sources>\n<source>source ID</source>\n</sources>\n</answer_part>\n</answer>",
            "max_tokens": 2048,
            "temperature": 0,
            "top_p": 1,
            "stop_sequences": [
                "\nObservation"
            ],
            "amazon-bedrock-guardrailConfig": {
                "tagSuffix": "L4W2NFNMGU"
            },
            "top_k": 50
        },
        "inputTokenCount": 7531
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "id": "msg_bdrk_01AhjRKc14szSvav99jjrUxP",
            "type": "message",
            "role": "assistant",
            "model": "claude-3-sonnet-20240229",
            "content": [
                {
                    "type": "text",
                    "text": "<answer>\n<answer_part>\n<text>\n新規事業開発のビジネスアーキテクトは、社内外の環境や顧客ニーズ、技術動向などを踏まえて、新しい事業、製品・サービスの目的を定義することが責任の一つです。その上で、定義した目的を実現するためのビジネスモデルやビジネスプロセスを設計し、活用する技術や手法・ツールを選定します。\n</text>\n<sources>\n<source>5</source>\n</sources>\n</answer_part>\n\n<answer_part>\n<text>\nまた、新しい製品・サービスの実現可能性や活用するソリューションの有効性を検証し、製品・サービスのローンチに向けた事業計画を策定する責任があります。さらに、関係者全体をコーディネートし、構想から新製品・サービスの効果検証まで一貫して目的実現に向けたプロセスを推進する責任を担います。\n</text>\n<sources>\n<source>5</source>\n</sources>\n</answer_part>\n</answer>"
                }
            ],
            "stop_reason": "end_turn",
            "stop_sequence": null,
            "usage": {
                "input_tokens": 7531,
                "output_tokens": 332
            },
            "amazon-bedrock-trace": {
                "guardrail": {
                    "outputs": [
                        {
                            "lvgsup0rgo2c": {
                                "contextualGroundingPolicy": {
                                    "filters": [
                                        {
                                            "type": "GROUNDING",
                                            "threshold": 0.7,
                                            "score": 0.86,
                                            "action": "NONE"
                                        },
                                        {
                                            "type": "RELEVANCE",
                                            "threshold": 0.7,
                                            "score": 0.72,
                                            "action": "NONE"
                                        }
                                    ]
                                }
                            }
                        }
                    ]
                }
            },
            "amazon-bedrock-guardrailAction": "NONE"
        },
        "outputTokenCount": 332
    }
}

まずプロンプトとしては、ユーザープロンプト側にガードレールの指定が入っています。
また、ユーザープロンプトのクエリとしては、大元の質問が入っています。

システムプロンプトの中に、5件、OpenSearchから取得したデータが含まれています。
別途、OpenSearchを検索して見比べると、
"AMAZON_BEDROCK_METADATA"の"parentText"を取得している事が分かります。

回答生成後に、ガードレールのログが出力されており、barを超えているのでそのまま回答をしてきます。

PDFに記載されて“いない”内容でテストをする

ガードレールの動作を確認する為、書いてありそうで書いてない事を聞いてみます。

ソリューションアーキテクトがDX推進において担う責任を説明してください

image.png

良いですね。ブロックされました。
ログを見てみます。

    "input": {
        "inputContentType": "application/json",
        "inputBodyJson": {
            "inputText": "ソリューションアーキテクトがDX推進において担う責任を説明してください",
            "dimensions": 1024
        },
        "inputTokenCount": 36
    },

まずは質問がベクトル化されて、OpenSearchが検索されて、次に回答が生成されます。

    "modelId": "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-sonnet-20240229-v1:0",
    "input": {
        "inputContentType": "application/json",
        "inputBodyJson": {
            "anthropic_version": "bedrock-2023-05-31",
            "messages": [
                {
                    "role": "user",
                    "content": [
                        {
                            "type": "text",
                            "text": "<amazon-bedrock-guardrails-guardContent_2PIYXJVJVS> <amazon-bedrock-guardrails-query_2PIYXJVJVS> ソリューションアーキテクトがDX推進において担う責任を説明してください </amazon-bedrock-guardrails-query_2PIYXJVJVS>  </amazon-bedrock-guardrails-guardContent_2PIYXJVJVS>"
                        }
                    ]
                }
            ],
            "system": "You are a question answering agent. I will provide you with a set of search results. The user will provide you with a question. Your job is to answer the user's question using only information from the search results. If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question. Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.\n\nHere are the search results in numbered order:\n<search_results>\n<amazon-bedrock-guardrails-groundingSource_2PIYXJVJVS>\n<search_result>\n<content>\n# ロール一覧\n## 人材類型をさらに詳細に区分し、以下のとおりロールを設定している。\n| 人材類型 | ロール | DX推進において担う責任 |\n|-|-|-|\n| ビジネスアーキテクト | ビジネスアーキテクト<br>(新規事業開発) | 新しい事業、製品・サービスの目的を見出し、新しく定義した目的の実現方法を策定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する |\n| | ビジネスアーキテクト<br>(既存事業の高度化) | 既存の事業、製品・サービスの目的を見直し、再定義した目的の実現方法を策定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する |\n| | ビジネスアーキテクト<br>(社内業務の高度化・効率化) | 社内業務の課題解決の目的を定義し、その目的の実現方法を策定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する |\n| デザイナー | サービスデザイナー | 社会、顧客・ユーザー、製品・サービス提供における社内外関係者の課題や行動から顧客価値を定義し製品・サービスの方針(コンセプト)を策定するとともに、それを継続的に実現するための仕組みのデザインを行う |\n| | UX/UIデザイナー | バリュープロポジション脚注に基づき製品・サービスの顧客・ユーザー体験を設計し、製品・サービスの情報設計や、機能、情報の配置、外観、動的要素のデザインを行う |\n| | グラフィックデザイナー | ブランドのイメージを具現化し、ブランドとして統一感のあるデジタルグラフィック、マーケティング媒体等のデザインを行う |\n| データサイエンティスト | データビジネスストラテジスト | 事業戦略に沿ったデータの活用戦略を考えるとともに、戦略の具体化や実現を主導し、顧客価値を拡大する業務変革やビジネス創出を実現する |\n| | データサイエンスプロフェッショナル | データの処理や解析を通じて、顧客価値を拡大する業務の変革やビジネスの創出につながる有意義な知見を導出する |\n| | データエンジニア | 効果的なデータ分析環境の設計・実装・運用を通じて、顧客価値を拡大する業務変革やビジネス創出を実現する |\n| ソフトウェアエンジニア | フロントエンドエンジニア | デジタル技術を活用したサービスを提供するためのソフトウェアの機能のうち、主にインターフェース(クライアントサイド)の機能の実現に主たる責任を持つ |\n| | バックエンドエンジニア | デジタル技術を活用したサービスを提供するためのソフトウェアの機能のうち、主にサーバサイドの機能の実現に主たる責任を持つ |\n| | クラウドエンジニア/SRE | デジタル技術を活用したサービスを提供するためのソフトウェアの開発・運用環境の最適化と信頼性の向上に責任を持つ |\n| | フィジカルコンピューティングエンジニア | デジタル技術を活用したサービスを提供するためのソフトウェアの実現において、現実世界(物理領域)のデジタル化を担い、デバイスを含めたソフトウェア機能の実現に責任を持つ |\n| サイバーセキュリティ | サイバーセキュリティマネージャー | 顧客価値を拡大するビジネスの企画立案に際して、デジタル活用に伴うサイバーセキュリティリスクを検討・評価するとともに、その影響を抑制するための対策の管理・統制の主導を通じて、顧客価値の高いビジネスへの信頼感向上に貢献する |\n| | サイバーセキュリティエンジニア | 事業実施に伴うデジタル活用関連のサイバーセキュリティリスクを抑制するための対策の導入・保守・運用を通じて、顧客価値の高いビジネスの安定的な提供に貢献する |\n脚注 バリュープロポジション:顧客が求める価値を把握した上で、ビジネスのケイパビリティを踏まえて決定される、企業が製品・サービスを購入する顧客に提供する利益や、顧客がその製品・サービスを買うべき理由\n\n</content>\n<source>\n1\n</source>\n</search_result>\n<search_result>\n<content>\n# ビジネスアーキテクト補記:プロダクトマネージャーの担う責任・主な業務・スキル ## DXを推進するプロダクトマネージャーについて、担う責任や主な業務、必要なスキルを以下のとおり定義した。 ### DX推進において担う責任 ✦ ビジネスの変革を通じて実現したい目的・世界観を設定し、それを実現するためのプロダクト(=デジタル技術を活用した事業、製品・サービス)の戦略策定から開発、リリース、その後の改善までのプロセスを一貫して推進し、社内外の関係者の巻き込み等をリードしながらプロダクトの価値を継続的に向上する。 ### 主な業務 ✦ ビジネスの変革を通じて実現したい目的・世界観を設定し、その実現に向けて社内外の環境、社会や顧客・ユーザーのニーズ、技術動向等を踏まえた戦略策定を行う。 ✦ 戦略を実行するために、プロダクトの開発、リリース、その後の改善を含むあらゆるプロセスにおいて、プロセス相互の関連性を見極め、起こりうる問題への対応方針を決定する。 ✦ 品質評価や顧客・ユーザーからのフィードバックに基づき、プロダクトを改善するとともに、プロダクトのポジショニングや顧客・ユーザーのニーズ分析、収益性向上施策の検討を通じた収益及びユーザー価値の最大化を行い、現状のプロダクトの価値にとどまらない継続的な価値向上を実現する。 ✦ 戦略策定から開発、リリース、その後の改善を含むあらゆるプロセスにおいて一貫して、関係者全体のコーディネート(明確かつ影響力のあるコミュニケーション、パフォーマンス向上に向けたチーム作り等)を担う。 ### 必要なスキル ✦ プロダクトマネージャーは、関係者をリードしながらの各プロセスの一気通貫した推進や、複数のプロダクトを組み合わせた取組みの推進という点で、ビジネスアーキテクトと共通の役割であることから、その役割を果たすために必要なスキルもビジネスアーキテクトと共通であると考えられる。 ✦ 上記を踏まえ、プロダクトマネージャーに必要なスキルは、ビジネスアーキテクト(新規事業開発及び既存事業高度化)に必要なスキルと共通であるものとする。 All Rights Reserved Copyright© IPA 2024 106\n</content>\n<source>\n2\n</source>\n</search_result>\n<search_result>\n<content>\n# ビジネスアーキテクトのロール | 担う責任・主な業務・スキル (1/3)\n## 人材類型: ビジネスアーキテクト\n### ロール: ビジネスアーキテクト (新規事業開発)\n### DXの推進において担う責任\n新しい事業、製品・サービスの目的を見出し、新しく定義した目的の実現方法を策定したうえで、関係者をコーディネートし関係者間の協働関係の構築をリードしながら、目的実現に向けたプロセスの一貫した推進を通じて、目的を実現する\n### 主な業務\n- 社内外の環境、社会や顧客・ユーザーのニーズ、技術動向等を踏まえた新たな事業、製品・サービスの目的を定義し、目的を実現するためのビジネスモデルやビジネスプロセスの設計、活用する技術や手法・ツールの選定を行う\n- 新たな製品・サービスの実現可能性や活用するソリューションの有効性を検証のうえ、製品・サービスのローンチに向けた事業計画を策定し、ソリューションの要件の詳細化から実現に責任を持つ\n- 顧客・ユーザーからのフィードバックやKPIのモニタリングを通じて、プロセスやソリューションの収益性を向上する施策(ターゲットとなる顧客・ユーザー、領域の拡大等)を継続的に検討・実行する\n- 構想から新製品・サービスの効果検証まで一貫して、関係者全体のコーディネート(必要なリソースの確保、チームの組成、適材適所を意識した偏りのないタスクの割り振り、関係者間の合意形成の促進等)を担う\n### 必要なスキル\n| カテゴリー | サブカテゴリー | スキル項目 | 重要度 |\n|-|-|-|-|\n| ビジネス変革 | 戦略・マネジメント・システム | ビジネス戦略策定・実行 | a |\n| | | プロダクトマネジメント | a |\n| | | 変革マネジメント | a |\n| | | システムズエンジニアリング | a |\n| | | エンタープライズアーキテクチャ | a |\n| | | プロジェクトマネジメント | b |\n| | ビジネスモデル・プロセス | ビジネス調査 | a |\n| | | ビジネスモデル設計 | a |\n| | | ビジネスアナリシス | a |\n| | | 検証(ビジネス視点) | a |\n| | | マーケティング | b |\n| | | ブランディング | b |\n| | | 顧客・ユーザー理解 | b |\n| | | 価値発見・定義 | b |\n| デザイン | | 設計 | d |\n| | | 検証(顧客・ユーザー視点) | c |\n| | | その他デザイン技術 | d |\n| カテゴリー | サブカテゴリー | スキル項目 | 重要度 |\n|-|-|-|-|\n| データ活用 | データ・AIの戦略的活用 | データ理解・活用 | b |\n| | | データ・AI活用戦略 | b |\n| | | データ・AI活用業務の設計・事業実装・評価 | c |\n| | AI・データサイエンス | 数理統計・多変量解析・データ可視化 | d |\n| | | 機械学習・深層学習 | d |\n| | データエンジニアリング | データ活用基盤設計 | d |\n| | | データ活用基盤実装・運用 | d |\n| テクノロジー | ソフトウェア開発 | コンピュータサイエンス | d |\n| | | チーム開発 | d |\n| | | ソフトウェア設計手法 | d |\n| | | ソフトウェア開発プロセス | c |\n| | | Webアプリケーション基本技術 | d |\n| | | フロントエンドシステム開発 | d |\n| | | バックエンドシステム開発 | d |\n| | | クラウドインフラ活用 | d |\n| | | SREプロセス | d |\n| | | サービス活用 | d |\n| テクノロジー | デジタルテクノロジー | フィジカルコンピューティング | c |\n| | | その他先端技術 | d |\n| | | テクノロジートレンド | c |\n| セキュリティ | セキュリティマネジメント | セキュリティ体制構築・運営 | d |\n| | | セキュリティマネジメント | c |\n| | | インシデント対応と事業継続 | c |\n| | | プライバシー保護 | b |\n| | セキュリティ技術 | セキュア設計・開発・構築 | d |\n| | | セキュリティ運用・保守・監視 | d |\n| パーソナルスキル | | リーダーシップ | z |\n| | | コラボレーション | z |\n| コンセプチュアルスキル | | ゴール設定 | z |\n| | | 創造的な問題解決 | z |\n| | | 批判的思考 | z |\n| | | 適応力 | z |\n【重要度凡例】  \na 高い実践力と専門性が必要  \nb 一定の実践力と専門性が必要  \nc 説明可能なレベルで理解が必要  \nd 位置づけや関連性の理解が必要\nz 役割や状況に応じた実践力が必要\nAll Rights Reserved Copyright© IPA 2024 99\n\n</content>\n<source>\n3\n</source>\n</search_result>\n<search_result>\n<content>\n# ソフトウェアエンジニアのロール | 担う責任・主な業務・スキル (4/4)\n## ソフトウェアエンジニア\n### ロール\nフィジカルコンピューティングエンジニア\n### DXの推進において担う責任\nデジタル技術を活用したサービスを提供するためのソフトウェアの実現において、現実世界(物理領域)のデジタル化を担い、デバイスを含めたソフトウェア機能の実現に責任を持つ\n### 主な業務\n- デジタル技術を活用したサービスの利用者のニーズを理解し、顧客体験価値を向上させるための各種デバイスを含むソフトウェアを設計・実装する\n- 物理的なデバイスを通じて、データを取得したり、現実に作用をもたらすソフトウェア機能を実現する\n- 必要に応じて、デバイスを含むプロトタイプ等を試作しながら、利用者からのフィードバックを踏まえつつ、ソフトウェアの機能を実装する\n- サービス運用時の利用者からのフィードバック等を踏まえて、改善・改良を行う\n### 必要なスキル\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| ビジネス変革 | 戦略・マネジメント・システム | ビジネス戦略策定・実行 | d |\n| | | プロダクトマネジメント | c |\n| | | 変革マネジメント | d |\n| | | システムズエンジニアリング | b |\n| | | エンタープライズアーキテクチャ | d |\n| | | プロジェクトマネジメント | c |\n| | ビジネスモデル・プロセス | ビジネス調査 | d |\n| | | ビジネスモデル設計 | d |\n| | | ビジネスアナリシス | d |\n| | | 検証(ビジネス視点) | d |\n| | | マーケティング | d |\n| | | ブランディング | d |\n| デザイン | | 顧客・ユーザー理解 | c |\n| | | 価値発見・定義 | c |\n| | | 設計 | d |\n| | | 検証(顧客・ユーザー視点) | d |\n| | | その他デザイン技術 | d |\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| データ活用 | データ・AIの戦略的活用 | データ理解・活用 | b |\n| | | データ・AI活用戦略 | c |\n| | | データ・AI活用業務の設計・事業実装・評価 | c |\n| | AI・データサイエンス | 数理統計・多変量解析・データ可視化 | c |\n| | | 機械学習・深層学習 | c |\n| | データエンジニアリング | データ活用基盤設計 | c |\n| | | データ活用基盤実装・運用 | c |\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| テクノロジー | ソフトウェア開発 | コンピュータサイエンス | b |\n| | | チーム開発 | b |\n| | | ソフトウェア設計手法 | b |\n| | | ソフトウェア開発プロセス | b |\n| | | Webアプリケーション基本技術 | b |\n| | | フロントエンドシステム開発 | b |\n| | | バックエンドシステム開発 | b |\n| | | クラウドインフラ活用 | b |\n| | | SREプロセス | b |\n| | | サービス活用 | c |\n| テクノロジー | デジタルテクノロジー | フィジカルコンピューティング | a |\n| | | その他先端技術 | c |\n| | | テクノロジートレンド | c |\n| セキュリティ | セキュリティマネジメント | セキュリティ体制構築・運営 | d |\n| | | セキュリティマネジメント | c |\n| | | インシデント対応と事業継続 | c |\n| | | プライバシー保護 | d |\n| | セキュリティ技術 | セキュア設計・開発・構築 | b |\n| | | セキュリティ運用・保守・監視 | c |\n| パーソナルスキル | | リーダーシップ | z |\n| | | コラボレーション | z |\n| コンセプチュアルスキル | | ゴール設定 | z |\n| | | 創造的な問題解決 | z |\n| | | 批判的思考 | z |\n| | | 適応力 | z |\n【重要度凡例】\na 高い実践力と専門性が必要  \nb 一定の実践力と専門性が必要\nc 説明可能なレベルで理解が必要\nd 位置づけや関連性の理解が必要\nz 役割や状況に応じた実践力が必要\nAll Rights Reserved Copyright© IPA 2024 137\n\n</content>\n<source>\n4\n</source>\n</search_result>\n<search_result>\n<content>\n# ソフトウェアエンジニアのロール | 担う責任・主な業務・スキル (2/4)\n## ソフトウェアエンジニア\n### ロール\nバックエンドエンジニア\n### DXの推進における担う責任\nデジタル技術を活用したサービスを提供するためのソフトウェアの機能のうち、主にサーバサイドの機能の実現に主たる責任を持つ\n### 主な業務\n* デジタル技術を活用したサービスの利用者のニーズを理解し、顧客課題の解決につながる正確かつ信頼性の高いソフトウェアを設計・実装する\n* 必要に応じて、プロトタイプ等を試作しながら、利用者からのフィードバックを踏まえつつ、主にサーバサイドのソフトウェア機能を実装する\n* サービス運用時の利用者からのフィードバック等を踏まえて、改善・改良を行う\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| ビジネス変革 | 戦略・マネジメント・システム | ビジネス戦略策定・実行 | d |\n| | | プロダクトマネジメント | c |\n| | | 変革マネジメント | d |\n| | | システムズエンジニアリング | c |\n| | | エンタープライズアーキテクチャ | c |\n| | | プロジェクトマネジメント | b |\n| | ビジネスモデル・プロセス | ビジネス調査 | d |\n| | | ビジネスモデル設計 | d |\n| | | ビジネスアナリシス | c |\n| | | 検証(ビジネス視点) | d |\n| | | マーケティング | d |\n| | | ブランディング | d |\n| デザイン | | 顧客・ユーザー理解 | c |\n| | | 価値発見・定義 | c |\n| | | 設計 | d |\n| | | 検証(顧客・ユーザー視点) | d |\n| | | その他デザイン技術 | d |\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| データ活用 | データ・AIの戦略的活用 | データ理解・活用 | b |\n| | | データ・AI活用戦略 | c |\n| | | データ・AI活用業務の設計・事業実装・評価 | c |\n| | AI・データサイエンス | 数理統計・多変量解析・データ可視化 | c |\n| | | 機械学習・深層学習 | c |\n| | データエンジニアリング | データ活用基盤設計 | b |\n| | | データ活用基盤実装・運用 | b |\n| テクノロジー | ソフトウェア開発 | コンピュータサイエンス | a |\n| | | チーム開発 | a |\n| | | ソフトウェア設計手法 | a |\n| | | ソフトウェア開発プロセス | a |\n| | | Webアプリケーション基本技術 | a |\n| | | フロントエンドシステム開発 | b |\n| | | バックエンドシステム開発 | a |\n| | | クラウドインフラ活用 | a |\n| | | SREプロセス | b |\n| | | サービス活用 | b |\n| カテゴリー | サブカテゴリ― | スキル項目 | 重要度 |\n|-|-|-|-|\n| テクノロジー | デジタルテクノロジー | フィジカルコンピューティング | c |\n| | | その他先端技術 | c |\n| | | テクノロジートレンド | c |\n| セキュリティ | セキュリティマネジメント | セキュリティ体制構築・運営 | c |\n| | | セキュリティマネジメント | c |\n| | | インシデント対応と事業継続 | c |\n| | セキュリティ技術 | セキュア設計・開発・構築 | b |\n| | | セキュリティ運用・保守・監視 | c |\n| パーソナルスキル | | リーダーシップ | z |\n| | | コラボレーション | z |\n| コンセプチュアルスキル | | ゴール設定 | z |\n| | | 創造的な問題解決 | z |\n| | | 批判的思考 | z |\n| | | 適応力 | z |\n【重要度凡例】  \na 高い実践力と専門性が必要  \nb 一定の実践力と専門性が必要  \nc 説明可能なレベルで理解が必要  \nd 位置づけや関連性の理解が必要  \nz 役割や状況に応じた実践力が必要\nAll Rights Reserved Copyright© IPA 2024 135\n\n</content>\n<source>\n5\n</source>\n</search_result>\n\n</amazon-bedrock-guardrails-groundingSource_2PIYXJVJVS>\n</search_results>\n\nIf you reference information from a search result within your answer, you must include a citation to source where the information was found. Each result has a corresponding source ID that you should reference.\n\nNote that <sources> may contain multiple <source> if you include information from multiple results in your answer.\n\nDo NOT directly quote the <search_results> in your answer. Your job is to answer the user's question as concisely as possible.\n\nYou must output your answer in the following format. Pay attention and follow the formatting and spacing exactly:\n<answer>\n<answer_part>\n<text>\nfirst answer text\n</text>\n<sources>\n<source>source ID</source>\n</sources>\n</answer_part>\n<answer_part>\n<text>\nsecond answer text\n</text>\n<sources>\n<source>source ID</source>\n</sources>\n</answer_part>\n</answer>",
            "max_tokens": 2048,
            "temperature": 0,
            "top_p": 1,
            "stop_sequences": [
                "\nObservation"
            ],
            "amazon-bedrock-guardrailConfig": {
                "tagSuffix": "2PIYXJVJVS"
            },
            "top_k": 50
        },
        "inputTokenCount": 7837
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "id": "msg_bdrk_01VNoS79Njt2MMXq6AegTypp",
            "model": "claude-3-sonnet-20240229",
            "type": "message",
            "role": "assistant",
            "content": [
                {
                    "type": "text",
                    "text": "応答はガードレールによってブロックされました"
                }
            ],
            "stop_reason": "end_turn",
            "usage": {
                "input_tokens": 7837,
                "output_tokens": 230
            },
            "amazon-bedrock-trace": {
                "guardrail": {
                    "modelOutput": [
                        "{\"id\":\"msg_bdrk_01VNoS79Njt2MMXq6AegTypp\",\"type\":\"message\",\"role\":\"assistant\",\"model\":\"claude-3-sonnet-20240229\",\"content\":[{\"type\":\"text\",\"text\":\"<answer>\\n<answer_part>\\n<text>\\nソリューションアーキテクトという役割は、この資料には明示されていません。しかし、ビジネスアーキテクトの役割が、DX推進において新規事業開発や既存事業の高度化、社内業務の高度化・効率化を担う責任を持つことが記載されています。ビジネスアーキテクトは、新しい事業や製品・サービスの目的を定義し、その実現方法を策定し、関係者をコーディネートしながら目的実現に向けたプロセスを一貫して推進する役割を担います。\\n</text>\\n<sources>\\n<source>1</source>\\n<source>3</source>\\n</sources>\\n</answer_part>\\n</answer>\"}],\"stop_reason\":\"end_turn\",\"stop_sequence\":null,\"usage\":{\"input_tokens\":7837,\"output_tokens\":230}}"
                    ],
                    "outputs": [
                        {
                            "lvgsup0rgo2c": {
                                "contextualGroundingPolicy": {
                                    "filters": [
                                        {
                                            "type": "GROUNDING",
                                            "threshold": 0.7,
                                            "score": 0.76,
                                            "action": "NONE"
                                        },
                                        {
                                            "type": "RELEVANCE",
                                            "threshold": 0.7,
                                            "score": 0.62,
                                            "action": "BLOCKED"
                                        }
                                    ]
                                }
                            }
                        }
                    ]
                }
            },
            "amazon-bedrock-guardrailAction": "INTERVENED"
        },
        "outputTokenCount": 230
    }
}

ログを見ると、一度、モデルとしてはがんばって作文を返しています。

ソリューションアーキテクトという役割は、この資料には明示されていません。しかし、ビジネスアーキテクトの役割が、DX推進において新規事業開発や既存事業の高度化、社内業務の高度化・効率化を担う責任を持つことが記載されています。ビジネスアーキテクトは、新しい事業や製品・サービスの目的を定義し、その実現方法を策定し、関係者をコーディネートしながら目的実現に向けたプロセスを一貫して推進する役割を担います。

ありそうな回答ですね。しかしガードレールによって、

                                        {
                                            "type": "RELEVANCE",
                                            "threshold": 0.7,
                                            "score": 0.62,
                                            "action": "BLOCKED"
                                        }

RELEVANCEのスコアがbarを下回り、「クエリと回答に関連性が低い」と判断され、ガードレールが

応答はガードレールによってブロックされました

と回答を上書きして終了しました。

※「GROUNDING」の値はbarを超えていました。

全く関係の無い質問をする

image.png

いいですね。

ログを見てみます。

                    "modelOutput": [
                        "{\"id\":\"msg_bdrk_014ysxbNTMmF6yeiK4MfCBRf\",\"type\":\"message\",\"role\":\"assistant\",\"model\":\"claude-3-sonnet-20240229\",\"content\":[{\"type\":\"text\",\"text\":\"申し訳ありませんが、この検索結果にはカレーの作り方に関する情報は含まれていません。検索結果はデジタルトランスフォーメーション(DX)に関するリテラシーやスキルについて説明しています。カレーの作り方を回答するには、料理のレシピサイトなどの関連する情報源が必要です。\"}],\"stop_reason\":\"end_turn\",\"stop_sequence\":null,\"usage\":{\"input_tokens\":2549,\"output_tokens\":117}}"
                    ],
                    "outputs": [
                        {
                            "lvgsup0rgo2c": {
                                "contextualGroundingPolicy": {
                                    "filters": [
                                        {
                                            "type": "GROUNDING",
                                            "threshold": 0.7,
                                            "score": 0.85,
                                            "action": "NONE"
                                        },
                                        {
                                            "type": "RELEVANCE",
                                            "threshold": 0.7,
                                            "score": 0.62,
                                            "action": "BLOCKED"
                                        }
                                    ]
                                }
                            }
                        }
                    ]

申し訳ありませんが、この検索結果にはカレーの作り方に関する情報は含まれていません。検索結果はデジタルトランスフォーメーション(DX)に関するリテラシーやスキルについて説明しています。カレーの作り方を回答するには、料理のレシピサイトなどの関連する情報源が必要です。

これでもGROUNDINGはbarを超えるか。。なかなか難しいものです。
とはいえRELEVANCEで止まりました。

まとめ

ガードレールが何のモデルを使用しているのかは特に公開されていない認識ですが、日本語でもそれなりに動いているように思えました。

4
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
3