本記事は 生成AIセキュリティ by ナレコム Advent Calendar 2024 の5日目の記事です。
本Advent Calendarは、国内で唯一の技術領域 責任あるAI の MVP受賞者 を中心に、生成AIを含めたAIやデータを企業が利活用するときに気をつけるセキュリティやガバナンスを中心に紹介します。
Microsoft AI 影響評価ガイド とは
「責任あるAIのツールとプラクティス」に提供されている資料の1つです。
AI技術が社会や個人に与える影響を評価するためのガイドラインです。このガイドは、企業や開発者がAIシステムを開発する際に倫理的で責任ある方法を採用するためのフレームワークを提供し、AIが引き起こす可能性のある影響やリスクを事前に評価するために役立ちます。
具体的には、Microsoftの「Responsible AI Impact Assessment Template」に基づき、AI技術の利用がもたらす社会的、倫理的な影響を理解し、適切な対応策を講じるための手順が説明されています。このガイドは、外部公開されており、AIに関連する責任ある慣行を構築するために他の企業や開発者との意見交換やフィードバックを促進することを目的としています。
AIシステムが生み出す潜在的なリスクを評価し、社会や環境に与える影響を最小化するための支援をすることが、このガイドの主な目的です。
目次紹介
このガイドラインは以下のような章で成り立っています。
はじめに
このガイドは、AI技術が社会や個人に与える影響を評価するためのフレームワークと、責任あるAIの慣行を導くための基本方針を提供します。
-
影響評価の指針
AIシステムの設計から展開までのプロセスを通じて、責任あるAIの基準に従った影響評価を行うための原則と方法を解説しています。 -
ケーススタディ
実際のプロジェクトを例に、AI影響評価の実践的な適用例を紹介します。
Section 1 プロジェクト概要
プロジェクトの全体像を説明し、システムの特徴やライフサイクル、目的などの重要な要素を確認します。
- システムのプロフィール
- システムのライフサイクルステージ
- システムの目的と特徴
- 展開地域と言語
- システムの使用方法の特定
Section 2 意図された使用
システムの利用目的が適切かどうかを評価し、利害関係者やその利益・リスクについて考察します。
- 使用目的に対する適合性の評価
- 利害関係者、潜在的利益、潜在的害
- 公平性の考慮
- 技術の準備状況や人間の役割
Section 3 悪影響
AIシステムの誤用や不正使用、制限された使用方法が引き起こす可能性のある悪影響について評価します。
- 制限された使用
- 使用の不適切性
- 誤用や失敗による影響
Section 4 データ要件
AIシステムの適切な機能を実現するために必要なデータや既存データセットについて詳述します。
- データの要件
- 使用するデータセット
Section 5 影響のまとめ
影響評価の結果をまとめ、潜在的な害やその軽減策、目標適用性について最終的な見解を述べます。
- 潜在的な害とその軽減策
- 評価結果の承認
Section 1: プロジェクト概要 紹介
このセクションでは、AIシステムの基本情報、システムの目的や機能を説明し、システムがどのように使用されるかを明確にすることを目的としています。以下のポイントに焦点を当てています。
-
システムプロフィール（1.1）
システムに関する基本情報をまとめます。システムがどのようなもので、誰が評価を行うのかを明確にし、システムの影響評価の内容を記録します。 -
システムライフサイクルステージ（1.2）
システムがどの段階にあるのか（開発中、テスト段階、運用中など）を記録し、システムのリリーススケジュールを理解します。 -
システムの説明（1.3）
システムが具体的に何をするものかを簡潔に説明します。AI機能やシステムの動作を理解できるように、わかりやすい言葉で説明することが求められます。 -
システムの目的（1.4）
なぜこのシステムを作成したのか、その目的を説明します。システムがどのように現状を改善し、ユーザーに価値を提供するかを明確にします。 -
システムの機能（1.5）
システムが持つ機能や特徴を説明します。これは、システムがどのようなタスクをどのように実行するかを示す重要な情報です。 -
展開地域と言語（1.6）
システムがどの地域で展開され、サポートされる言語が何かを記載します。これにより、公平性を保ちながら、多様な地域やユーザー層を考慮した設計が求められます。 -
展開方法（1.7）
システムがどのように展開され、ユーザーや顧客に提供されるかを明確にします。オンラインサービス、プラットフォーム、コード提供、オンプレミスなど、展開方法の例が挙げられます。 -
システム使用の識別（1.8）
システムの可能性のある使用方法をブレインストーミングし、意図された使用法、非サポート使用、誤用を分類します。これにより、システムの使用方法がどれも適切であるか、または不正使用のリスクがないかを評価します。
これらの項目を通じて、システムの概要を把握し、その影響評価を行うための土台を築きます。
Section 2：意図された使用 紹介
2.1 Assessment of fitness for purpose (目的に対する適合性の評価)
ガイダンス:
このセクションは、システムがどのように目的にかなった問題解決をするかを示し、問題解決方法の多様性を認識することが重要です。システムが目的に適していない例として、以下のような事例が挙げられます：
- 言語に関する不一致（アメリカ英語で訓練されたシステムが他の英語のバリエーションで使用される場合）
- 目標現象を適切に反映しない出力（例えば、笑顔の写真が感情を正確に表現しない）
- 効率化の証拠がないまま効率化を目的として開発されたシステム
質問例:
- 解決しようとする問題は何か？そのシステムがその問題に適している証拠は？
- 現在この問題はどのように解決されているか？
- このシステムは、どのようにして他のアプローチよりも優れていると言えるか？
許容される証拠の例:
- ドメイン専門家の意見
- システマティックなステークホルダー調査結果（フォーカスグループやアンケート結果など）
2.2a Stakeholders, potential benefits, and potential harms (ステークホルダー、潜在的利益と潜在的害悪)
ガイダンス:
ステークホルダーの利益と害悪を表にまとめることが、システムの影響を理解する上で重要です。直接的なステークホルダー（システムを直接使用する人々）と間接的なステークホルダー（システムに影響を受けるが直接的に使用しない人々）の2つのカテゴリーに分けて考えます。
質問例:
- どのステークホルダーがこのシステムに影響を与えるか、または影響を受けるか？
- そのステークホルダーにとって、このシステムの使用はどのような利益や害悪をもたらすか？
2.2b Brainstorming potential benefits and harms (潜在的利益と害悪のブレインストーミング)
ガイダンス:
ステークホルダーごとに潜在的な利益や害悪を考えます。このプロセスはシステムの潜在的な問題点を事前に把握し、対応策を検討するために重要です。
質問例:
- このステークホルダーはどのようにシステムから利益を得るか？
- システムの使用がこのステークホルダーにどのような害悪をもたらすか？
例:
病院のリソース最適化システム（HEROS）のケーススタディでは、「予定手術患者」に関する利益と害悪をブレインストーミングした結果、患者は入院期間の予測によって生活の計画が立てやすくなる一方で、システムが自動的に病床を割り当てることによって患者ケアが損なわれるリスクも考慮されました。
ポテンシャル・ハームの質問例:
- システムが提供する情報を解釈する際に、ステークホルダーに不利益をもたらすか？
- システムの出力が不正確であることが、ステークホルダーにどのような悪影響を及ぼすか？
透明性:
システムの出力が十分に理解できない場合、それが病院スタッフによる意思決定に悪影響を与える可能性があります。これが患者ケアにどのような影響を与えるかについても考慮することが求められます。
こちらは「責任あるAI」ガイドラインに関連する内容の概要です：
2.3 目標主導の要件に関する利害関係者
ガイドラインでは、システムに関連する特定の目標に対して、関連する利害関係者を特定することが求められています。これらはシステムの運用や影響に関与する人物やグループです。例えば、以下のようなケースがあります：
-
Goal A5 (人間の監視と制御)
システムの運用やトラブルシューティングを担当する病院管理者や開発チームなどが利害関係者として挙げられます。 -
Goal T1 (意思決定のためのシステム理解)
出力が意思決定に利用される場合、病院スタッフや患者が利害関係者として考慮されます。 -
Goal T2 (利害関係者へのコミュニケーション)
システムの導入を決定する病院管理者が関与します。 -
Goal T3 (AIとの相互作用の開示)
AIが人間のふりをしている場合、そのAIシステムを利用するエンドユーザーが利害関係者となります。
2.4 公平性の考慮事項
公平性に関連する目標に対して、特定の利害関係者が影響を受ける可能性があるため、どのグループ（特にマイノリティや社会的に弱い立場のグループ）が影響を受けやすいかを評価します。具体的には：
-
Goal F1 (サービスの質)
特定の言語や方言に対してAIシステムが異なるパフォーマンスを示す場合（例えば、少数言語の使用者が影響を受ける）。 -
Goal F2 (資源と機会の配分)
例えば、性別や人種に基づく雇用差別を示すAIシステムのように、AIの出力が資源配分に影響を与える場合。 -
Goal F3 (ステレオタイプ、侮辱、消去の最小化)
AIシステムが生成する出力が特定のグループを過小表現する場合（例えば、CEOのキャプションが白人男性のみである場合）。
2.5～2.8 技術の準備状況、タスクの複雑さ、人的役割、展開環境の複雑さ
これらの質問は、システムがどのように評価され、どのようなタスクを実行するのか、システムと人間の役割がどのように相互作用するのか、そしてシステムの展開方法に関する詳細を明確にするために使用されます。
これらの情報は、AIシステムの運用における公平性や責任を理解するための重要な手がかりとなります。
まとめ
このセクションでは、システムが目的に適しているかどうかを評価することが強調されています。また、ステークホルダーごとにシステムの潜在的利益と害悪を洗い出すことが、システムのリスク管理において重要です。
Section 3：悪影響
3.1 制限された利用
ガイドラインでは、AI技術の中で特定の利用方法が制限されていることを強調しています。これらの制限は定期的に更新されるため、影響評価を行う際には必ず最新の制限リストを確認し、それに従う必要があります。
3.2 サポートされない利用
システムの使用範囲外にある利用方法は「サポートされない利用」として区別されます。これには次のようなケースが含まれます：
- システムが設計または評価されていない利用方法
- 推奨されない利用方法
例
- 手書きの署名の真正性を確認するシステムは、署名確認の目的では設計されていない。
- 特定の顧客ニーズに基づいてカスタマイズ可能な推薦システムは、医療や金融などのセンシティブな領域での利用には適していない。
3.3 知られている制限
すべてのAIシステムには限界があります。これらの制限を明確に記述することで、システムがその本来の目的で使用されることを確実にします。
例
- 音声をテキストに変換するシステムは、周囲が騒がしい環境ではパフォーマンスが低下する。
- 自然言語処理を使用したシステムは、サポートされる言語を母国語として話さないユーザーには適切に機能しない場合がある。
3.4 障害発生時の利害関係者への影響
システムが失敗する可能性やその影響を予測し、どのように利害関係者に影響を与えるかを理解することが重要です。具体的な失敗（例えば、偽陽性や偽陰性）の影響を定義し、これらがシステム全体や意図された利用にどのように現れるかを考慮します。失敗がマイノリティグループに与える影響についても記録します。
プロンプト
- システムの予測される失敗は何か？
- 偽陽性が利害関係者に与える影響は？
- 偽陰性が利害関係者に与える影響は？
- 失敗の確率や影響がマイノリティグループに異なるか？
例
-
ウェブコンテンツをスキャンし、疑わしいウェブサイトをブロックするシステム：
- 予測される失敗：偽陽性（正当なウェブサイトが誤ってブロックされる）、偽陰性（疑わしいウェブサイトが見逃される）、システムの大規模な障害。
- 偽陽性の影響：正当なウェブサイトがブロックされ、エンドユーザーがアクセスできなくなり、ウェブサイトの所有者はトラフィックを失う。
- 偽陰性の影響：悪質なウェブサイトがブロックされず、エンドユーザーが危険なコンテンツにさらされる。
- マイノリティグループへの影響：偽陰性の影響は、特に未成年者にとって深刻な影響を与える可能性がある。
3.5 不適切な利用の利害関係者への影響
システムは意図的または意図しない形で不適切に利用される可能性があります。不適切な利用が利害関係者に与える影響を理解することが重要です。
プロンプト
- システムはどのように不適切に利用される可能性があるか？
- 不適切な利用は利害関係者にどのような影響を与えるか？
- 不適切な利用の結果がマイノリティグループに異なるか？
例
-
ウェブコンテンツをスキャンし、疑わしいウェブサイトをブロックするシステム：
- 不適切な利用1：悪意のある第三者が検出システムを回避する方法を見つける。
- 不適切な利用2：ウェブサイトの所有者が競合他社のサイトに警告を引き起こさせる方法を見つける。
- 不適切な利用の影響：エンドユーザーが悪質なコンテンツにさらされることが増える。競合他社のサイトが誤ってフラグされ、トラフィックを減少させる。
- マイノリティグループへの影響：特に未成年者にとって、悪質なコンテンツにアクセスするリスクが高まる可能性がある。
3.6 センシティブな利用
センシティブな利用が予想されるAIシステムの設計、開発、導入に関しては、できるだけ早い段階で責任あるAIオフィスに報告することが求められます。システムの利用方法や不適切な利用がセンシティブな利用に該当する場合、責任あるAIオフィスに報告する必要があります。
これらのガイドラインを通じて、AIシステムの影響を正しく評価し、リスクを管理するための実務的なアプローチを取ることが推奨されています。
Section 4：データ要件
4.1 データ要件
ガイダンス
システムの訓練、検証、およびテストに必要なデータ要件を定義し、文書化します。このデータは、システムの意図された利用方法、ステークホルダー、およびシステムが展開される地域に関連しています。
4.2 既存のデータセット
ガイダンス
既存のデータセットを使用してシステムを訓練、検証、またはテストする場合、4.1で定義されたデータ要件に対して必要なデータセットの量と適合性を評価します。
Section 5：影響のまとめ
5.1 潜在的な害と初期的な緩和策
ガイダンス
この表は、システムの潜在的な害がどのように対処されるかを理解するために役立ちます（Responsible AI基準に従うか、他の緩和策を用いるか）。
潜在的な害の緩和策: 活動のステップ
- これまでにImpact Assessmentで識別した害をこの表に集めます（ステークホルダーテーブル、公平性の考慮、悪影響セクションなどを確認）。
- 各害について、Responsible AI基準の目標が緩和策として役立つかを確認します。もし目標が適用できる場合、その緩和策を表の2列目に記入します。そして、システム設計における実施方法を3列目に記入します。
- 各害について、未解決の害をチームと議論し、緩和策を開発します。
事例: 病院職員とリソース最適化システム（HEROS）
チームはImpact Assessmentで識別した潜在的な害を表の最初の列にリストアップしました。例えば、「低所得の患者は経済的理由から病院に短期間滞在する傾向があるため、予測された入院期間が短くなる可能性があり、患者のベッドへのアクセスに影響を与える」ことがその一例です。この害について、チームは該当する緩和策（F1、F2）を特定し、それをシステム設計に反映させる方法を議論しました。
| 潜在的な害 | Responsible AI基準の目標 | 緩和策 |
|---|---|---|
| 低所得層の患者は短期間での入院歴がある場合、予測される入院期間が短くなる | F2 - データセットとシステムを評価し、リソースの配分における差異を最小化する | データセットとシステムのパフォーマンスを評価し、リソース配分に差がないように再設計します。 |
5.2 目標の適用性
ガイダンス
このセクションでは、システムに適用されるResponsible AI基準の目標を評価するための表があります。すべてのAIシステムに適用される目標もあれば、特定のシステムタイプにのみ適用される目標もあります。該当する目標がある場合は、その要件を完了する必要があります。適用されない目標がある場合は、その理由を説明する必要があります。
5.3 影響評価の承認
ガイダンス
署名は、Impact Assessmentの完了における最終ステップです。このセクションでは、1.1で指定されたレビュー担当者によってImpact Assessmentが確認され、承認されたことを確認します。
このように、Impact Assessmentでは、AIシステムの潜在的な害を特定し、その害を軽減するためにどのように設計を調整するかを記録することが求められます。また、各目標の適用を判断し、必要に応じて緩和策を講じていくことが重要です。