本記事は生成AIセキュリティ by ナレコム Advent Calendar 2024 の5日目の記事です。

本Advent Calendarは、国内で唯一の技術領域 責任あるAI の MVP受賞者を中心に、生成AIを含めたAIやデータを企業が利活用するときに気をつけるセキュリティやガバナンスを中心に紹介します。

Microsoft Responsible AI Standard, v2とは

Microsoftは、早くから 責任あるAI を実現すべく指針やガイドラインを設け、Microsoftが提供する多くのサービスに対して自ら評価や改善を行っております。その内容を具体的にまとめたものが Microsoft Responsible AI Standard となります。

本記事では、6つのAI原則（公平性、信頼性と安全性、プライバシーとセキュリティ、包括性、透明性、説明責任）から、透明性と公平性の2つについて紹介いたします。

透明性（Transparency）

Goal T1: 意思決定のためのシステムの理解可能性（System intelligibility for decision making）

MicrosoftのAIシステムは、人々に関する意思決定を支援するために設計されており、システムの動作が関係者にとって理解可能であることをサポートします。

対象: 生成された出力が人々に関する意思決定を支援するために使用されるAIシステム

Goal A1の要点

Goal T1は、AIシステムが人々に関する意思決定を支援する際に、関係者がシステムの動作を理解し、解釈できることを確保することに焦点を当てています。これには、システムの意図された用途や出力を適切に解釈できるように設計し、過剰な依存を避けるための対策も含まれます。

要件

T1.1 次の関係者を特定してください：

システムの出力を用いて意思決定を行う関係者
システムの出力に基づく意思決定の対象となる関係者

これらの関係者を影響評価テンプレートを使用して文書化します。
タグ: 影響評価

T1.2 システムを設計する際に、可能であればシステムのユーザーエクスペリエンス（UX）、機能、報告機能、教育資料を含め、T1.1で特定した関係者が以下を実行できるようにします：

システムの意図された用途を理解する
関連するシステムの動作を効果的に解釈する（つまり、意思決定を支援する方法で解釈する）
システムによって生成された出力に過剰に依存する傾向（「オートメーションバイアス」）を認識する
T1.1で特定した2つのカテゴリーの関係者について、以下を文書化します：
システム設計がどのように関係者のシステムの意図された用途の理解をサポートするか
システムがどのように関係者のシステムの動作の解釈をサポートするか
システム設計がどのようにオートメーションバイアスを抑制するか

T1.3 意思決定を行う関係者、またはシステムの動作に基づいて意思決定される関係者が、関連するシステムの反応を適切に解釈できるかどうかを評価する方法を定義し、文書化します。評価に使用される指標やルーブリックも含めます。
タグ: 継続評価チェックポイント

T1.4 この目標を達成するための責任あるリリース計画（Responsible Release Plan）を定義し、文書化します。リリース基準も含めます。
タグ: 継続評価チェックポイント

T1.5 要件T1.3で定義された評価を実施し、その結果をリリース前に文書化します。評価が継続的にサポートするために、どのくらいの頻度で評価を行うべきかを決定し、文書化します。
タグ: 継続評価チェックポイント

T1.6 指標やルーブリックで満たされていない責任あるリリース基準がある場合、影響評価で指定されたレビュアーやセンシティブ用途の場合は責任あるAIオフィスと協議し、ギャップを埋めるための計画を作成し、文書化します。

ツールと実践

推奨事項

T1.2.1 システム設計時に「人間とAIの相互作用に関するガイドライン（Guidelines for Human-AI Interaction）」に従ってください。
T1.2.2 モデルの予測の影響を理解するために、Interpret MLツールキットの一つ以上の手法を使用してください。これにより、モデルの予測を理解する必要のある関係者を支援できます。
T1.3.1 ユーザーリサーチャーを割り当て、適切な現実的な使用状況において評価を定義、設計、優先順位付けしてください。

Goal T2: Stakeholdersへのコミュニケーション

Microsoftは、AIシステムの能力と制限についての情報を提供し、関係者がそれらのシステムに対して情報に基づいた選択を行えるよう支援します。

対象: すべてのAIシステム

要点

Goal T2は、AIシステムの能力や制限を関係者に明確に伝え、意思決定者がそのシステムの適切な使用方法を理解できるようにすることを目指しています。これには、システムのドキュメントを提供し、必要に応じて更新することが含まれます。

要件

T2.1 システムを特定のタスクに使用するかどうかを決定する関係者、またはこのシステムと統合するシステムを開発・展開する関係者を特定し、影響評価テンプレートに記録します。
タグ: 影響評価

T2.2 システムに関するドキュメントを公開し、T2.1で定義された関係者がシステムを理解できるようにします。これには以下が含まれます:

能力
意図された使用方法
追加の配慮やガイダンスが必要な使用方法
効果的で責任あるシステム使用を可能にする運用要因や設定
制限事項（システムが設計または評価されていない使用方法を含む）
システムの精度とパフォーマンスの証拠、およびこれらの結果が評価に含まれなかった使用ケースにどの程度一般化できるかの説明
システムが外部の顧客やパートナーに提供されるプラットフォームサービスである場合、「透明性ノート」が必要です。

タグ: 透明性ノート

T2.3 ドキュメントを年次でレビューし、または次のいずれかのイベントが発生した場合に更新します:

新しい使用方法の追加
機能変更
製品が新しいリリースステージに移行
安全で信頼性のあるパフォーマンスに関する新しい情報が判明した場合（RS3.3に定義される）
システムの精度とパフォーマンスに関する新しい情報が利用可能になった場合
システムが外部の顧客やパートナーに提供されるプラットフォームサービスである場合、この情報は必須の透明性ノートに含めます。

タグ: 透明性ノート

公平性（Fairness）

Goal F1: サービス品質

MicrosoftのAIシステムは、特定された人口統計群（マイノリティを含む）に対して、同等のサービス品質を提供するように設計されています。

対象: システムのユーザーや影響を受ける人々が、異なる人口統計的特徴に基づいて、サービス品質に違いを感じる可能性がある場合、Microsoftがシステムを異なって構築することでその違いを改善できるAIシステム。

要点

Goal F1は、人口統計群ごとに均等なサービス品質を提供することを目指し、特にマイノリティグループに対してもサービス品質の差がないように設計されています。

要件

F1.1 システムの使用予定地域と意図された用途に基づき、サービス品質の低下リスクが高い人口統計群（マイノリティグループを含む）を特定し、優先順位をつけます。
タグ: 影響評価

F1.2 すべてのデータセットを評価し、特定された人口統計群が含まれているかどうかを確認し、ギャップを埋めるためのデータ収集を行います。このプロセスと結果を文書化します。

F1.3 このGoalを支援するために実施する評価方法を定義し、文書化します。これには、システムの全体評価に加えて、評価対象となるシステムコンポーネント、評価に使用するメトリクス、評価に使用するデータセットの説明が含まれます。
タグ: 継続的評価チェックポイント

F1.4 このGoalを達成するための責任あるリリース基準を定義し、文書化します。各メトリクスについて、すべてのグループに対する最低パフォーマンスレベルと、グループ間の最大（絶対または相対的）パフォーマンス差を文書化します。
タグ: 継続的評価チェックポイント

F1.5 定義された責任あるリリース基準に従ってシステムを評価します。
タグ: 継続的評価チェックポイント

F1.6 トレーニングデータ、特徴量、目的関数、トレーニングアルゴリズムの選択を再評価し、次の目標を追求します：

目標最低パフォーマンスレベルを満たしていない人口統計群に対するパフォーマンスの改善、
人口統計群間のパフォーマンス差を最小限に抑えること（特に最大差を超える場合に注力）。これにはシステムパフォーマンスへの影響と取引に関する不確実性を考慮します。
弁護士と相談して、取引方法を決定し、その内容を文書化します。

タグ: 継続的評価チェックポイント

F1.7 目標最低パフォーマンスレベルを満たせなかった場合や、グループ間でパフォーマンス差が残る場合に、その理由となる正当な要因（状況や運用要因など）を特定し、文書化します。
タグ: 継続的評価チェックポイント

F1.8 要件F1.4、F1.5、F1.6の評価結果をリリース前に文書化し、継続的評価をどのくらいの頻度で行うべきかを決定して文書化します。
タグ: 継続的評価チェックポイント

F1.9 顧客向けに次の情報を公開します：

パフォーマンスが最低基準を満たさない人口統計群、
目標差を超えるパフォーマンスの不均衡、
これらのパフォーマンスレベルおよび差の正当な理由。
システムが外部の顧客やパートナーに提供されるプラットフォームサービスである場合、この情報は必要な透明性ノートに含めます。

タグ: 透明性ノート

ツールと実践

F1.1.1 北米において、年齢、性別認識、先祖に基づいて人々を識別する際には、「Best Practices for Age, Gender Identity, and Ancestry」を使用してください。
F1.1.2 ユーザーリサーチャーと協力して、意図された用途や地域ごとの人口統計群のバリエーションを理解します。
F1.1.3 ドメイン固有の専門家と協力して、システムのパフォーマンスに影響を与える要因と、それが人口統計群ごとにどのように異なるかを理解します。
F1.1.4 特定された人口統計群のメンバーと協力して、サービス品質の違いに関連するリスクや影響を理解します。コミュニティ・ジュリー技法を使用して議論を行うことを検討してください。
F1.2.1 分析プラットフォームを使用して、トレーニングおよび評価に使用するデータセット内で特定された人口統計群の表現を理解します。敏感なデータを扱う際にはプライバシー管理を遵守してください。
F1.2.2 データシートに特定された人口統計群の表現を文書化します。
F1.5.1 システムに適している場合、Fairlearn Pythonツールキットの評価および緩和機能を使用します。
F1.5.2 エラー分析を使用して、パフォーマンスレベルやその差異を説明する要因を理解します。
F1.5.3 システムに適している場合、Interpret MLツールキットの技法を使用して、パフォーマンスレベルや差異の要因を理解します。
F1.6.1 システムに適している場合、Fairlearn Pythonツールキットの評価および緩和機能を使用します。
F1.6.2 特定された人口統計群に対して、追加のトレーニングデータを収集する準備をします。
F1.7.1 エラー分析を使用して、パフォーマンスレベルや差異を説明する要因を理解します。
F1.7.2 システムに適している場合、Interpret MLツールキットの技法を使用して、パフォーマンスレベルや差異の要因を理解します。

Goal F2: Allocation of resources and opportunities

MicrosoftのAIシステムは、金融、教育、雇用、医療、住宅、保険、社会福祉などの重要な分野における資源や機会の配分において、特定された人口統計群（特に社会的に疎外されたグループ）への影響の格差を最小限に抑えるように設計されています。

要点

MicrosoftのAIシステムは、資源や機会の配分において、特定された人口統計群の間で発生する可能性のある格差を最小限に抑えるよう設計されています。

要件

F2.1 システムの使用目的や展開される地域に基づき、システムの影響を受ける可能性がある人口統計群（疎外されたグループを含む）を特定し、優先順位を付けてください。
タグ: 影響評価

F2.2 特定された人口統計群のインクルーシブ性を評価するために、データセットを評価し、ギャップを埋めるためのデータを収集してください。このプロセスとその結果を文書化してください。
F2.3 この目標をサポートするために実施する評価を定義し、文書化してください。評価に使用するシステムコンポーネント、評価に使用する指標、および評価に使用するデータセットを含めます。
タグ: 継続的評価チェックポイント

F2.4 この目標を達成するための責任あるリリース基準を定義し、文書化してください。
各指標について、次の内容を文書化してください：

グループ間で資源や機会が配分される割合の最大差（絶対的または相対的）。

タグ: 継続的評価チェックポイント

F2.5 定義された責任あるリリース基準に従ってシステムを評価してください。
タグ: 継続的評価チェックポイント

F2.6 システム設計（トレーニングデータ、特徴量、目的関数、学習アルゴリズムを含む）を再評価し、資源や機会の配分における格差を最小化する目標を追求してください。
格差が最大差を超える場合には、システムパフォーマンスに影響が出ることを認識し、そのトレードオフをどのように識別し、文書化するかについて弁護士と相談してください。
タグ: 継続的評価チェックポイント

F2.7 資源や機会の配分における残存する差異について、その正当な要因を特定し、文書化してください。
タグ: 継続的評価チェックポイント

F2.8 要件F2.4、F2.5、F2.6で説明された評価結果をリリース前に文書化し、目標を引き続きサポートするために継続的評価を行う頻度を決定し、文書化してください。
タグ: 継続的評価チェックポイント

F2.9 顧客に次の情報を公開してください：

資源や機会が配分される割合において、特定された人口統計群間の残存する差異、
これらの差異に対する正当な要因。
システムが外部の顧客やパートナーに提供されるプラットフォームサービスである場合、必要な透明性ノートにこの情報を含めてください。

タグ: 透明性ノート

ツールと実践

F2.1.1 北米では、年齢、性別認識、先祖に基づいて人口統計群を識別し、人口統計情報収集の方法を決定するために、「Best Practices for Age, Gender Identity, and Ancestry」を使用してください。
F2.1.2 ユーザーリサーチャーと協力して、意図された用途や地域ごとの人口統計群のバリエーションを理解します。
F2.1.3 ドメイン固有の専門家と協力して、システムのパフォーマンスに影響を与える要因と、それが特定された人口統計群ごとにどう異なるかを理解します。
F2.1.4 特定された人口統計群のメンバーと協力して、資源や機会の配分における差異のリスクと影響を理解します。

F2.2.1 分析プラットフォームを使用して、トレーニングおよび評価に使用するデータセット内で特定された人口統計群の表現を理解します。敏感なデータを使用する際にはプライバシー要件を遵守してください。
F2.2.2 特定された人口統計群の表現をデータシートに文書化します。

F2.5.1 システムに適している場合、Fairlearn Pythonツールキットの評価および緩和機能を使用します。
F2.5.2 エラー分析を使用して、資源や機会の配分における差異を説明する要因を理解します。
F2.5.3 システムに適している場合、Interpret MLツールキットを使用して、資源や機会の配分における差異を説明する要因を理解します。

F2.6.1 システムに適している場合、Fairlearn Pythonツールキットの評価および緩和機能を使用します。
F2.7.1 エラー分析を使用して、資源や機会の配分における差異を説明する要因を理解します。
F2.7.2 Interpret MLを使用して、資源や機会の配分における差異を説明する要因を理解します。

Goal F3: Minimization of stereotyping, demeaning, and erasing outputs

MicrosoftのAIシステムは、人々、文化、または社会を説明、描写、または表現する際に、特定された人口統計群（特に社会的に疎外されたグループ）に対して、ステレオタイプ的な扱いや侮辱的な表現、または排除的な出力を最小化するように設計されています。

要点

MicrosoftのAIシステムは、人々、文化、社会に関する出力が特定された人口統計群をステレオタイプ的に扱ったり、侮辱的な表現を避けたりするよう設計されています。

要件

F3.1 ステレオタイプ的な扱いや侮辱的な表現、排除的な出力を受けるリスクがある人口統計群（疎外されたグループを含む）を特定し、優先順位を付けてください。
タグ: 影響評価

F3.2 評価すべきシステムのコンポーネントを定義し、文書化してください。
F3.3 ステレオタイプ的な扱いや侮辱的な表現、排除的な出力に関するリスクを評価する計画を定義し、文書化してください。
タグ: 継続的評価チェックポイント

F3.4 要件F3.3で定義された計画に従ってシステムを評価してください。
タグ: 継続的評価チェックポイント

F3.5 システム設計（トレーニングデータ、特徴量、目的関数、学習アルゴリズムを含む）を再評価し、ステレオタイプ的な扱いや侮辱的な表現、排除的な出力のリスクを最小化する目標を追求してください。
タグ: 継続的評価チェックポイント

F3.6 要件F3.4およびF3.5のリリース前結果を文書化し、この目標を引き続きサポートするための継続的評価を実施する頻度を決定し、文書化してください。
タグ: 継続的評価チェックポイント

F3.7 顧客に特定された人口統計群に関連するリスクについて公開してください。システムが外部の顧客やパートナーに提供されるプラットフォームサービスである場合、必要な透明性ノートにこの情報を含めてください。
タグ: 透明性ノート

ツールと実践

F3.1.1 ユーザーリサーチャー、専門家、及び特定された人口統計群のメンバーと協力して、ステレオタイプや侮辱的な表現、排除的なリスクとその影響を理解します。

F3.4.1 システムに適している場合、これらのリスクを評価するためにCheckListを使用します。

F3.4.2 システムに適している場合、レッドチーミング演習を使用して、これらのリスクを評価します。

F3.5.1 可能な限りこれらのリスクを緩和し、さらにフィードバックメカニズムを設けて、問題に対処する計画を立てます。信頼性と安全性の目標RS3に従って、これらのリスクを緩和するための最先端技術が他の目標に比べてまだ発展途上であることを認識し、このアプローチを採用します。

まとめ

この記事では、Microsoftの責任あるAIの基準である「Microsoft Responsible AI Standard, v2」について紹介しています。特に、透明性と公平性の二つの原則に焦点を当て、AIシステムの設計と運用における責任あるアプローチを詳述しています。

透明性（Transparency）

AIシステムが人々に関する意思決定を支援する場合、そのシステムの動作が関係者に理解可能であることが重要です。透明性の目標には、関係者がシステムの意図や出力を正しく解釈し、過剰に依存しないようにするための設計が求められます。また、システムの能力や制限について情報を提供し、適切な使用方法を促進するためのドキュメントを公開することが求められます。

公平性（Fairness）

公平性の原則では、AIシステムが異なる人口統計群（特にマイノリティ）に対して公平にサービスを提供することを目指しています。AIシステムが社会的に疎外されたグループに対しても同等のサービス品質を保証するため、リスクの高い群を特定し、適切なデータを収集し、パフォーマンスの格差を最小化する努力が必要です。また、資源や機会の配分において格差が生じないように、継続的な評価と調整が求められます。

これらの原則に基づき、MicrosoftはAIシステムを設計・運用する際、透明性と公平性を確保し、社会に対して責任を持つことを重要視しています。