本記事は生成AIセキュリティ by ナレコム Advent Calendar 2024 のまとめ記事です。

本Advent Calendarは、国内で唯一の技術領域 責任あるAI の MVP受賞者を中心に、生成AIを含めたAIやデータを企業が利活用するときに気をつけるセキュリティやガバナンスを中心に紹介します。

本記事は、今まで記事にしたガイドラインをまとめた内容になります。

はじめに

近年の生成AI（Generative AI）の急速な普及により、企業や行政、教育現場など様々な分野でAIを活用する動きが広がっています。一方で、機密情報の漏洩や誤情報の生成、著作権侵害など新たなリスクも顕在化し、安全かつ責任あるAI利用のための指針策定が国内外で進められています。本記事では、生成AIに関する主要なガイドライン11本について、それぞれの目的や対象者、内容の特徴（実用性・具体性・適用範囲） を要約・分析し、相互比較します。

各ガイドラインの要約

1. OWASP LLMアプリケーションのトップ10

概要: ソフトウェアセキュリティの非営利団体OWASPによる、大規模言語モデル（LLM）アプリケーション向けのトップ10セキュリティリスク集 です。生成AI特有の脅威にフォーカスしており、LLMを活用する開発者やセキュリティ担当者が直面するリスクと対策を体系的に整理しています。2025年版では世界中の専門家のフィードバックを反映して更新されており、最新の攻撃手法や脆弱性が取り上げられています。

主な内容: 従来のソフトウェアにはないプロンプトインジェクション（ユーザー入力でモデルの挙動を不正に操作）やデータ漏洩、ハルシネーション（AIが誤情報を自信満々に生成する問題）など、LLMに固有のリスクがトップ10形式で解説されています。各リスクごとに具体的な防御策（例：システムプロンプトでモデルの応答範囲を制限する、入力検証や出力フォーマット検証の徹底、機密データのマスキングやアクセス制御の強化など）が提示されているのが特徴です。

例えば、「直接プロンプトインジェクション」 や 「間接プロンプトインジェクション」 への対策として、モデルに厳格な役割と制限を与え、想定外の入力を無視する仕組みを導入することが推奨されています。また個人情報（PII）の漏洩リスクについては、データのサニタイズ（洗浄）や差分プライバシーの適用などプライバシー保護技術を組み合わせる指針が示されています。全体として技術実装レベルで非常に具体的なガイドラインであり、エンジニアやセキュリティ専門家が実践しやすい実用性の高さが特徴です。一方で、内容は専門的であるため経営層や非技術者向けではないと言えます。

2. 責任あるAIの基本原則

概要: Microsoftが提唱する**「責任あるAI」（Responsible AI）の6原則**です。これはAIシステムの開発・運用において倫理的かつ信頼できるアプローチをとるための基本理念で、グローバル企業としての経験を踏まえ同社が策定しました。2019年頃から公表され、2022年には社内規範としての最新バージョン（Ver.2）が整備されています。本原則はMicrosoft社内のAI開発チームだけでなく、業界他社や研究者、政策立案者にも共有され、人権やプライバシーを尊重するAI開発に関する議論をリードする狙いもあります。

主な内容: 6つの基本原則とは、「公平性」「信頼性と安全性」「プライバシーとセキュリティ」「包括性」「透明性」「説明責任」 を指します。各原則は互いに関連し合い、これらをすべて満たすことではじめて「倫理的で信頼できるAI」を実現できるとされています。例えば、公平性ではAIの判断が特定の属性に偏らないよう求め、透明性ではAIの意思決定プロセスや限界を明示することを重視します。Microsoftはこれら原則を実践に移すため、モデルの説明性を高めるツールやバイアス検出ダッシュボード、差分プライバシー技術などをAzure上で提供し、開発者を支援しています。本原則は抽象度が高く理念的 ですが、グローバルで広く認知されており、企業や教育機関でもAI倫理ガイドライン策定時の参考とされています。エンジニアのみならずプロダクト企画者や経営層にも訴求する内容であり、組織全体で共有すべき価値観の指針となっています。

3. Microsoft「責任あるAI」標準

概要: 上記の責任あるAI原則を具体化した、Microsoft社内の詳細な開発ガイドラインが**「Microsoft Responsible AI Standard v2」です。これは社内のAI製品開発チーム向けに策定された実践的な標準**で、各原則を満たすためのプロセスや要件が詳細に定められています。Microsoftはこの標準を社外にも公開し、自社の姿勢を示すとともに他組織とも知見共有することで、業界全体の責任あるAI普及に貢献する狙いがあります。

主な内容: Standard v2では6原則それぞれについて複数の具体的ゴール（目標） を設定し、開発プロジェクトで遵守すべき事項を網羅しています。例えば「説明責任（Accountability）」分野では、AIシステムの意図しない悪用防止策や人による監督プロセスの導入など、開発者・提供者・利用者それぞれの責務が細かく定義されています。また「透明性」分野では、AIが関与していることをユーザーに通知する仕組みや、システムの意思決定理由を記録・説明可能にする要件が含まれます。同標準の対象者は主にMicrosoft内部のエンジニア、プロダクトマネージャー、デザイナー、ポリシー担当者であり、製品開発のライフサイクル全体（設計・データ収集・モデル構築・デプロイ・運用）に組み込む形で運用されています。その適用範囲は 「すべてのAIシステム」 であり、高リスク・低リスクを問わず統一されたアプローチでAIを評価・管理する枠組みとなっています。内容は具体的かつ厳格で、実用性は高い一方で適用には相応の体制が必要です。他社にとっては「理想的な社内規範のモデルケース」であり、大規模組織向けの包括的ガイドラインと言えます。

4. 経済産業省「AI事業者ガイドライン」第1.01版

概要: 日本の経済産業省と総務省が共同で策定した、AI事業者（AIを開発・提供・利用する企業）向けの包括的なガイドラインです。生成AIの登場による新たな機会とリスクに着目し、企業や個人がAIを効果的かつ安全に活用するための指針を提供することを目的としています。主な対象読者はAIをビジネスに取り入れようとする企業の経営者や担当者、一般利用者であり、さらに教育機関や政策立案者にとっても社会的影響を理解し対策を講じるための情報源となることを意図しています。初版第1.0版が2024年4月に公開され、技術動向を踏まえて同年11月に一部内容が更新された第1.01版が公表されました。

主な内容: ガイドラインはまず基本理念として、人間中心のAI活用や倫理・法規の遵守を掲げています。特に 「人間の尊厳」「多様性の尊重」「持続可能性」 といった価値が強調されており、AI導入による効率化だけでなく社会全体の幸福に資することを目指す姿勢が示されています。次に開発者・提供者・利用者といったステークホルダーごとの原則が定義され、それぞれの立場で倫理的かつ責任ある行動を取ることが求められます。例えば開発者であればデータ偏りの検証や安全管理を徹底する、提供者は利用規約整備や影響モニタリングを行う、利用者はAIの限界を理解し誤用を避ける、といった形です。また技術面・社会面の 共通指針 として、リスク評価やガバナンス体制の構築、透明性確保などが盛り込まれています。第1.01版で特に強化されたポイントは生成AIに絡むリスクへの具体言及です。知的財産権の侵害や偽情報拡散といった新たな社会的リスクへの認識が深められ、それらへの対策検討が明示的に求められるようになりました。さらに人間の尊厳と多様性の尊重が追記され、AI活用が人権や文化的多様性を損なわないよう配慮すべきことが強調されています。内容は理念から具体策まで幅広く網羅していますが、技術的な詳細は少なめで経営層や企画職向けのハイレベルな指針と位置付けられます。自社のAIポリシー策定時の土台として役立つ一方、実装面の詳細は各企業で補完が必要でしょう。

5. 東京都「文章生成AI利活用ガイドライン」

概要: 東京都が都庁職員向けに定めた、業務で文章生成AI（例：ChatGPT等）を安全かつ効果的に使うためのガイドラインです。Version 2.0（2023年改訂版）では、生成AIの可能性を業務効率化や行政サービス向上に活かす一方、考慮すべきリスクや留意点をまとめています。また都職員のアイデアを集めた活用事例集も公開されており、具体的ユースケースと併せて指南している点が特徴です。自治体職員が対象ですが、企業が社内ルール策定する際にも参考となる実践的内容です。

主な内容: ガイドラインではまず利用にあたっての基本原則が示されています。例えば「職務上知り得た機密や個人情報は入力しない」「生成された文章はそのまま信用せず必ず内容確認する」といった、情報管理・アウトプット検証の徹底が強調されています。また利用シーンごとの具体策として、チャットボットに業務文書作成を補助させる場合の手順や、住民対応でAIを使う場合の注意点（誤解を招かない表現や人によるフォロー体制）などが挙げられています。さらに都内各部署で実際に試行した活用事例集では、議事録要約の効率化や広報文の下書き生成などの事例と得られた効果・課題が紹介され、現場目線でのノウハウ共有が図られています。これらによりガイドラインは非常に具体的かつ実務的であり、初めて生成AIを業務利用する職員でも理解しやすい内容になっています。対象が行政職員であるため、専門技術用語は少なめで平易にまとめられている点も実用性が高いです。ただし範囲は文章生成に特化しており、画像生成AI等には直接は適用できません。総じて、現場ユーザ向けのきめ細かな利用ルールと事例がセットになったガイドラインです。

6. 文化庁「AIと著作権に関するチェックリスト＆ガイダンス」

概要: 生成AIが作成するコンテンツの著作権上の取扱いについてまとめたガイドラインです。文化庁が関係府省のガイドラインや業界の見解を踏まえて作成しており、生成AIの開発・提供・利用それぞれの立場で留意すべき事項をチェックリスト形式で整理するとともに、権利者側から見たガイダンスも提示しています。企業やクリエイターが直面する著作権リスクに対応し、安心して生成AIを活用できる環境整備を目的としています。

主な内容: ドキュメントは 第1部：AI開発・提供・利用者向けチェックリスト と 第2部：権利者向けガイダンス に分かれています。第1部では、まずAIに関わるステークホルダーを 「開発者」「提供者」「利用者」 等に分類し、それぞれについて取るべき著作権リスク低減策を列挙しています。例えば開発者・提供者に対しては、学習データ収集時に権利者の許諾を得ることや、違法アップロードされたデータを使わないことなど基本的措置を提案しています。利用者に対しては、生成物を公開・利用する際に第三者の著作物に酷似していないか確認することなどが示されています。また技術的措置として、「生成物が学習データにあまり類似しないようにする技術」を導入すると良いといった提言もあり、開発段階での工夫による侵害予防も促しています。第2部では著作権者側の視点に立ち、例えば「自分の作品に似たAI生成物を発見したらどう対応すべきか」「作品が無断学習されるのを防ぐにはどうするか」等について具体的に解説しています。権利者がとれる法的措置（削除要請や訴訟）や、あらかじめデータ提供のルールを決めておく重要性などが述べられています。本ガイドラインは 法務・知財担当者にとって実践的 な内容であり、社内で生成AIを利用・提供する際の契約書作成や内部ルール策定に役立ちます。一方で技術的事項も含まれるため、エンジニアや研究者も目を通すべき でしょう。著作権という特定分野に特化したガイドラインであり、他の一般的なAI倫理指針ではカバーしきれない 法的リスク軽減策 が網羅されています。

7. Microsoft「AI影響評価ガイドライン」

概要: Microsoftが公開したAI Impact Assessment（AI影響評価）の実施ガイドです。責任あるAI開発のためのツールキットの一つとして位置付けられており、AI技術が社会や個人に与える潜在的な影響やリスクを事前に評価するためのフレームワークを提供します。企業や開発者がAIシステムを設計・導入する際に、倫理的・社会的観点から影響を洗い出し、リスクを低減することを目的としています。

主な内容: Microsoftが内部で使用している 「Responsible AI Impact Assessment Template」 に基づき、影響評価を行う手順が段階的に解説されています。まずAIシステムの目的と範囲を定義し、利害関係者（ユーザー、影響を受ける人々等）を特定します。次にシステムがもたらす可能性のある ポジティブな影響 と ネガティブな影響 を洗い出し、特に懸念されるリスク（偏見の助長やプライバシー侵害、安全上の危険など）について深掘りします。その後、各リスクに対する 緩和策（Mitigations） を検討し、開発プロセスや製品設計に組み込む方法を定めます。ガイドラインにはチェックリストや質問票の形で具体的な観点が示されており、「このAIシステムは特定の集団に不利益を与えないか？」「誤使用された場合の影響は？」といった問いに答えながら評価を進められるようになっています。最後に評価結果の文書化と、継続的な見直し（AIはアップデートで影響も変化するため）が推奨されています。内容は開発プロジェクトのリスクマネジメント手順に近く、技術というよりプロセス面のガイドラインです。特にプロダクトマネージャーやAIガバナンス担当に有用で、倫理委員会のレビュー資料としても使えるでしょう。公開資料であるため他社でも同様の影響評価ワークシートを作成して利用可能であり、汎用性・適用範囲の広いガイドラインと言えます。

8. IPA「セキュリティ関係者のためのAIハンドブック」（情報処理推進機構, 2022年6月）

概要: 独立行政法人IPAが発行した、サイバーセキュリティ担当者向けのAI入門ハンドブックです。AI技術を正しく理解し、安全に活用するために必要な知識を提供することを目的としており、機械学習の基礎からセキュリティ分野でのAI活用事例、考えうるリスクや法規制まで幅広く網羅しています。AIの導入を検討する情報セキュリティ担当者や、セキュリティ分野にAIを適用するエンジニアを主な対象としています。

主な内容: ハンドブックの構成は以下の通りです：

AIの基礎知識: AI・機械学習・深層学習の基本概念や歴史的背景を解説。
セキュリティにおけるAI活用: 脅威検知への応用（不正アクセスの検知、自動分類）、脆弱性診断の自動化、インシデント対応支援など、具体的な活用例を紹介。
AI導入に伴うリスク管理: AI固有のリスク（誤検知・見逃し、対敵攻撃への脆弱性、判断の偏り）とその対策について議論。
関連する法規制や倫理: 個人情報保護やAI倫理指針、海外の規制動向を概説し、法的トラブルを避けるポイントを提示。

特にセキュリティ分野では、攻撃者もAIを悪用し得るため、防御側がAIを活用する重要性が説かれています。一方で、十分に理解せず導入すると新たな脆弱性を生む可能性があるため、リスク評価を怠らないよう注意喚起しています。内容は解説的・網羅的であり、具体的な実装手順というよりは知識啓発に重きがあります。技術者の学習教材や社内勉強会資料として有用であり、セキュリティ人材がAIを扱う際の土台となる包括的なガイドと言えるでしょう。

9. 内閣府・NISC「セキュアAIシステム開発ガイドライン」

概要: 日本政府（内閣府とNISC）が共同で公開した、AIシステム開発におけるセキュリティ確保の具体策をまとめたガイドラインです。AIを安全に活用するには開発段階からセキュリティを考慮することが不可欠であるとの認識に基づき、組織がAIシステムをセキュア・バイ・デザインで構築するための実践的指針を提供します。生成AIを含むあらゆるAIシステム開発者とセキュリティ担当者に向けられており、AIプロジェクトにセキュリティを組み込むためのフレームワークを提示しています。

主な内容: ガイドラインはAI開発ライフサイクルに沿って考慮すべきポイントを4つの要素に整理しています：

セキュアな設計: 開発初期に脅威モデルを作成し、AI特有のリスクを評価します。機能や性能と同等にセキュリティを重視し、アーキテクチャや使用データ選定の段階でリスク低減を図ります。
セキュアな開発: データやモデル、プロンプト等のサプライチェーンの安全性を確保します。例えばソフトウェア部品表（SBOM）の活用により、AIシステムを構成するデータ・モデルの出自と整合性を管理します。
セキュアな導入: AIを運用環境に展開する際のインフラセキュリティを担保し、モデルの継続的保護を行います。具体的には、機密情報への不正アクセス検知や改ざん防止の制御策を実装し、インシデント対応手順も整備した上でリリースします。
セキュアな運用・保守: 稼働中のAIシステムを監視し、異常検知や迅速なアップデート適用を可能にします。モデルを更新した際は挙動変化をユーザーが評価できるよう支援し、常に最新の安全状態を保つことを目指します。

また、特に重要なAI特有のリスクとして**「敵対的サンプル攻撃」（AIに誤認識を誘発する入力）や「モデルの脆弱性悪用」（モデルから機密情報を引き出す攻撃）、「学習データ中のプライバシー問題」** が挙げられ、従来システムとは異なるこれらのリスクへの対策を講じる必要性が説かれています。総じて本ガイドラインは 技術実装寄りで具体性が高く、AI開発に携わるエンジニア・セキュリティ担当者が直接活用できる内容です。一方で経営層向けの包括的なAI倫理指針とは目的が異なり、「AI版開発セキュリティ標準」 とも言うべき専門性の高い指針です。AI開発プロジェクトにセキュリティ要件を組み込む際の教科書として、大いに実用的でしょう。

10. デジタル庁「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」

概要: 日本のデジタル庁が公開した、テキスト生成AIを安全安心に利用するためのリスク対策ガイドブック（アルファ版）です ([デジタル庁テキスト生成AI利活用におけるリスクへの対策ガイドブック。行政機関でChatGPTのような生成AIを導入する際のリスクと対策をまとめており、特に政府情報システムに生成AIを導入する職員を主な対象としています。とはいえ内容は企業のAI導入検討者にも有用であり、実際にデジタル庁が行った検証結果を反映した 実践的な知見 が盛り込まれています。2024年度内に標準ガイドラインへ反映する計画のドラフト版という位置づけです。

主な内容: ガイドブックの特徴は以下の3点に集約されています。

① テキスト生成AIに特化: 生成AIには画像・音声など様々な種類がありますが、本書は行政で主に扱うテキスト分野に焦点を当てています。これにより、文章生成における具体的リスクと対策に絞って深掘りしています。
② 利用形態・工程別のリスク分類: 利用方法（既存サービスをそのまま使うのか、API接続するのか等）やユースケースに応じてリスクを分類しています。例えば職員が直接Web版ChatGPTを使う場合と、庁内システムに組み込む場合ではリスクが異なるため、それぞれ注意点を整理する形です。また開発工程上のどの段階（要件定義・運用等）で対応すべき課題かも明示されています。
③ 検証に基づく具体策: デジタル庁自身が試行導入した際に判明したリスクや留意点が可能な限り記載されています。机上の空論ではなく実地検証で得られた知見であるため、実効性の高い対策が示されています。

特に注目すべきリスクとして、本書冒頭では「不正確な情報を生成してしまう」「機密情報を学習させてしまう」「他者の著作物を無断利用してしまう」といった点が挙げられています。これらに対し、人による内容チェックの徹底、機密データを入力しないルール設定、出力テキストのフィルタリングなど具体的な対処法が解説されています。さらに、検証で実際に発生した細かな留意事項（例：「〇〇な質問をするとモデルが不適切発言をした」等）も共有されており、読者は現実に起こり得る問題を事前に知ることができます。アルファ版ゆえ発展途上の部分もありますが、行政・企業を問わずテキスト生成AI導入ガイドとして実践的な一冊です。将来的に完成版が政府標準として示されれば、各組織での安全な生成AI活用が一層進むことが期待されます。

11. IPA「テキスト生成AIの導入・運用ガイドライン」

概要: IPAが公開した、企業におけるテキスト生成AI導入・運用の実践ガイドラインです。全60ページ超に及ぶ詳細な内容で、組織が生成AIを業務に取り入れる際に直面するセキュリティやガバナンス上の不安を払拭し、安全な導入と運用を促進することを目的としています。生成AI利用に伴う様々なリスクと適切な対策を示すことで、企業が安心して生成AIを活用できるよう支援する狙いがあります。

主な内容: 文量が多くポイントも多岐にわたるため、特に重要なポイントは以下の3つにまとめられます。

導入目的の明確化: 「なぜテキスト生成AIを導入するのか」をはっきりさせ、目的に沿った利用に徹することを最初に強調しています。単なる流行だから入れるのではなく、業務効率化なのか新サービス創出なのか目的を定め、その達成に必要な機能・体制を見極めるよう促しています。
リスク評価と対策: 生成AI活用に伴うリスクを洗い出し、適切な対策を講じる手順が示されています。具体的には、情報漏えいや不正確な出力、著作権侵害、差別的表現の生成などのリスクについて詳細に解説し、それぞれに対する技術的・組織的な対処策（データフィルタリング、人間によるレビュー体制、利用規約整備など）を提示しています。ガイドライン全体の大部分がこのリスクと対策の説明に充てられており、実践的なチェックリストとして機能します。
継続的なモニタリングと改善: 導入して終わりではなく、運用中もモデルの振る舞いを監視し問題発生時に改善するPDCAサイクルの重要性を説いています。生成AIはアップデートや利用環境の変化で挙動が変わり得るため、定期的な評価・チューニングや社内ルールの見直しを継続することが推奨されています。

この他、付録にはトラブル発生時のチェックリストや社内説明用の資料テンプレートなども含まれ、企業内展開にすぐ活用できるよう工夫されています。総じて、経営層から現場担当者まで幅広い層を念頭に置いた総合ガイドラインであり、実用性・具体性ともに非常に高いです。自社で生成AI利用ポリシーや手順書を策定する際に、そのまま参考書・雛形として使えるレベルの充実した内容と言えるでしょう。

対象者別の有用性○×表

各ガイドラインが主にどのような立場の人にとって有用かを、○（該当）と×（非該当）で示します。ガイドラインによって想定読者が異なるため、自組織で誰に読ませるべきか判断する参考にしてください。

ガイドライン名	エンジニア	企画職	経営層	法務	教育関係者	政策立案者
OWASP LLM Top10 (2025)	○	×	×	×	×	×
MS 責任あるAIの原則	○	○	○	○	×	○
MS 責任あるAI標準 v2	○	○	○	○	×	×
経産省 AI事業者ガイドライン	×	○	○	○	○	○
東京都文書生成AI利活用GL	×	○	×	×	×	×
文化庁 AIと著作権ガイダンス	○	○	○	○	×	×
MS AI影響評価ガイドライン	○	○	○	○	×	×
IPA AIハンドブック（セキュリティ）	○	×	×	×	×	×
内閣府セキュアAI開発ガイドライン	○	○	×	×	×	×
デジタル庁生成AIリスク対策ガイドブック	○	○	○	○	×	×
IPA テキスト生成AI導入・運用ガイドライン	○	○	○	○	×	×

※上記○×は「主な想定読者かどうか」を示しています。例えばエンジニア向けではないガイドラインでも、内容上エンジニアが読めば有益な場合がありますが、その場合でも「主対象でない」ものは×としています。

総括と今後の展望

ここまで紹介したように、生成AIに関するガイドラインは対象や目的に応じて多種多様です。それぞれの特徴を簡潔に比較すると以下のようになります。

技術実装面に特化: 「OWASP LLM Top10」や「セキュアAIシステム開発ガイドライン」は、具体的な脅威と対策を網羅した技術者向けの指針です。実用性は極めて高い反面、非技術者には難解です。
倫理・ガバナンス重視: 「責任あるAI原則」や「AI事業者ガイドライン」のように、経営層や企画職に向けてAI活用の基本理念や組織体制の整備を説く指針もあります。適用範囲が広く包括的ですが、具体的な実装方法は各現場に委ねられます。
用途・領域に特化: 東京都や文化庁、デジタル庁、IPAの各ガイドラインは、それぞれ文章生成AIの業務利用や著作権対応など特定の文脈に焦点を当てています。内容が具体的で実務に直結する反面、適用範囲は限定的です。必要に応じ複数組み合わせて参照することが重要です。
企業内部統制向け: Microsoftの社内標準やAI影響評価ガイドライン、IPAの生成AI導入ガイドなどは、組織内でルールやプロセスを構築するための詳細ガイドです。非常に具体的で実践的ですが、自社の状況に合わせてカスタマイズする前提となっています。

総じて、生成AIの安全な活用には多面的な配慮が必要であり、一つのガイドラインですべてを賄うことは難しいでしょう。それぞれの組織は、自らの利用シーンやリスク許容度に合わせて複数のガイドラインを参照し、補完し合う形で社内ポリシーを策定することが望まれます。例えば、基本理念は経産省ガイドラインを踏襲しつつ、実装面ではOWASP Top10や内閣府ガイドラインを参照する、といった使い分けが考えられます。