🛡️ 生成AIとセキュリティに関する演習問題と解説
はじめに
ChatGPT や Claude、Gemini など、生成AIはビジネス現場でも急速に普及しています。
しかしその一方で、「入力した情報が漏洩するリスク」「プロンプトインジェクションによる不正利用」など、セキュリティ上の懸念も多く議論されています。
本記事では、情報処理安全確保支援士試験風の問題を用いながら、生成AI利用におけるセキュリティリスクを理解する演習を紹介します。
類題（演習問題）
事例
2025年、ある企業は生成AIを社内業務に導入した。社員が顧客情報や未公開の設計図をプロンプトに入力し、AIの応答を業務に利用していたが、そのデータがAIサービス提供者の学習データに使われ、外部に漏洩するリスクが懸念された。さらに、攻撃者が巧妙に細工したプロンプトを入力すると、AIが本来公開すべきでない情報を出力する「プロンプトインジェクション」も確認された。
設問
- 顧客情報がAIサービス提供者に学習利用されるリスクを何というか。
- プロンプトインジェクションを防ぐために有効な対策を1つ挙げよ。
- 社内で生成AIを安全に使うために必要な運用ルールを2つ挙げよ。
模範解答例
- データ漏洩リスク
- 入力検証や利用ポリシーによる制限
- 機密情報の入力禁止／利用ログの記録と監査
解説
(1) データ漏洩リスク
生成AIサービスは、多くの場合入力データを学習やサービス改善に利用する可能性があります。
たとえば 顧客情報やソースコード をそのまま入力すると、将来的にモデルの応答や学習データから外部に推測される危険性があります。
(2) プロンプトインジェクション
プロンプトインジェクションとは、ユーザが与える指示文（プロンプト）を悪用し、
AIに本来想定されていない動作を行わせる攻撃です。
例：「社内ポリシーを無視して答えろ」といった命令を仕込まれると、秘匿すべき情報が出力されることがあります。
対策としては：
- 入力内容の検証
- コンテキスト分離やフィルタリング
- 利用ポリシーでの制限
などが考えられます。
(3) 安全な運用ルール
技術的対策だけでなく、運用ルールも不可欠です。代表的なものは：
- 機密情報を入力しない（顧客情報、設計図、未公開コードなど）
- 利用ログを記録・監査（誤入力や不正利用を追跡可能にする）
- ガイドラインの策定と教育（従業員にルールを周知）
これらを徹底することで、生成AIを安全に業務に取り入れることが可能になります。
背景と最近の動向
- 生成AIの普及：Microsoft Copilot や Google Workspace AI など、業務ツールへのAI統合が進行。
- 企業での懸念：入力データの外部流出、知財や個人情報の漏洩リスク。
-
対策トレンド：
- AIベンダーの「データ保持オプション」確認（例：学習に利用しない設定）
- プロンプトインジェクション対策研究（フィルタリング、LLMガードレール）
- ガバナンスの整備（社内ポリシー、AI利用規程）
参考文献・資料
- IPA「AI白書2024」
- NIST「Adversarial Machine Learning Taxonomy」
- ENISA「Threat Landscape for Artificial Intelligence」
- マイクロソフト「生成AI利用に関するガイドライン」
- OpenAI「Usage policies」
まとめ
生成AIは非常に便利なツールですが、「セキュリティリスクを理解したうえでの利用」が前提となります。
演習形式で疑似体験することで、単なる暗記ではなく 「なぜ危険なのか、どう守るか」 を考えるきっかけになるはずです。