本Advent Calendarは、国内で唯一の技術領域 責任あるAI の MVP受賞者を中心に、生成AIを含めたAIやデータを企業が利活用するときに気をつけるセキュリティやガバナンスを中心に紹介します。

本記事は、生成AIセキュリティに関わるすべての方に向けて、最新の「セキュアAIシステム開発ガイドライン」をわかりやすく解説するものです。

AI技術の進化は、セキュリティにも大きな影響を与えています。AIを安全に活用するためには、開発段階からセキュリティを考慮した設計が不可欠です。しかし、AI特有のリスクを理解せずに開発を進めると、思わぬセキュリティ上の問題を引き起こす可能性があります。

そこで、内閣府とNISCが共同で公開した「セキュアAIシステム開発ガイドライン」は、AIシステムを開発する組織が、安全なAIシステムを構築するための具体的な指針を提供します。

このガイドラインは、AIシステムの開発ライフサイクル全体を通して、セキュリティを確保するための実践的なアドバイスを提供します。セキュアバイデザインの原則に基づき、設計、開発、導入、運用・保守の各段階で考慮すべきセキュリティ要件を明確にしています。

ガイドラインは、以下の4つの主要な要素で構成されています。

セキュアな設計: システムに対する脅威をモデル化し、AI特有の脅威の影響を評価します。機能性やパフォーマンスと同等にセキュリティを考慮し、アーキテクチャ、設定、訓練データ、訓練アルゴリズムなどを選択する際に、セキュリティ上の利点とのトレードオフを検討します。
セキュアな開発: サプライチェーンのセキュリティを確保し、関連アセットを保護します。データ、モデル、プロンプトなどをSBOM（ソフトウェア部品表）等で文書化し、管理します。
セキュアな導入: 使用するインフラのセキュリティを確保し、継続的にモデルを保護します。機密情報へのアクセス、改ざん、外部への窃取の試みを検知し、防止するためのコントロール措置を実践します。インシデント管理手順を事前に定義し、適切なテストを実施した上でAIシステムをリリースし、ユーザーに適切な使用方法を明示します。
セキュアな運用とメンテナンス: システムの挙動を監視し、潜在的な侵入や侵害を検知できるようにします。デフォルトで自動アップデートを実装し、モデルなどの変更による挙動の変化について、ユーザーが評価できるようサポートします。

ガイドラインの中で特に重要なのは、AI特有のリスクとそれに対する対策です。AIシステムは、従来のシステムとは異なるリスク要因を抱えています。

例えば、

これらのリスクを理解し、適切な対策を講じることが、AIシステムを安全に活用するための鍵となります。

「セキュアAIシステム開発ガイドライン」は、AI技術の進化に対応し、セキュリティを強化するための重要な指針です。

AIシステムの開発者は、このガイドラインを参考に、セキュアバイデザインの原則に基づいた開発プロセスを確立することが求められます。また、セキュリティ担当者は、AI特有のリスクを理解し、適切なセキュリティ対策を講じることで、AIシステムを安全に活用するための体制を構築する必要があります。

AIを正しく理解し、安全に活用することで、より強固なセキュリティ体制を構築していきましょう。