0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

高リスクAIの「正確性・堅牢性・サイバーセキュリティ」、設計で何が求められるか(EU AI Act 第15条)

0
Posted at

この記事は EU AI Act 第15条(正確性・堅牢性・サイバーセキュリティ)を実装・運用の観点から整理した解説です。条文の逐語訳や法的助言を目的とするものではありません。正確な要件については、原文(末尾の出典)をご確認ください。個別の対応判断は、法務・専門家にご相談ください。

第15条で詰まりやすいのは、モデルの精度そのものより、どの用途でどの誤りをどの水準まで許容する設計だったのかを、後から説明できないことです。EU 市場に高リスク AI を組み込んだプロダクトを出す日本企業は、域外適用でこの条項の対象になり得ます。第15条は、正確性・堅牢性・サイバーセキュリティを、運用で気を付ける項目ではなく、設計で定義し、評価で確認し、使用説明書に出す品質属性として扱う条項です(15条1項)。

「適切な水準」が指すもの

条文は具体的な数値を出しません。正確性が何%なら合格、という閾値はどこにも書かれていません。求めているのは用途とリスクに見合った「適切な水準(appropriate level)」です。ここでいう「適切」は、社内で平均精度を測ったという意味ではありません。対象用途、想定利用者、誤判定時の影響、許容できないエラー種別、評価データの範囲、性能が落ちたときの停止・フォールバック条件まで結び付けて、なぜその水準で足りるのかを説明できる状態を指します。

欧州委員会が正確性・堅牢性の測定に向けたベンチマークや測定手法の開発を奨励するとされていますが(15条2項)、現時点で参照すべき確定基準が与えられているわけではありません。基準が薄い分、何をもって「足りる」とするかの定義責任が提供者側に残ります。

社内評価で終わらせると、15条3項に接続しません。達成した正確性の水準と関連指標は、付属の使用説明書(instructions for use。15条3項本文では accompanying instructions of use)に記載するところまでが要件です。使用説明書には、少なくとも想定用途ごとの正確性水準、評価に使った指標、性能が確認された条件、性能が落ちる既知の条件を出す必要があります。平均値だけを載せても、利用者は自分の運用条件で使えるかを判断できません。

堅牢性で見るのは「止まり方」

堅牢性は、システムや動作環境に生じうるエラー・不具合・不整合への耐性です(15条4項)。人や他システムとのやり取りで生じる想定外も範囲に入ります。

実装で見るべきなのは、入力欠損、形式の揺れ、外部 API の障害、権限不足、古い参照データ、利用者の誤入力、上流システムの異常値を受けたときに、AI が黙ってもっともらしい出力を返す設計になっていないかです。高リスク AI では、失敗を検知して止まれること自体が品質に含まれます。

技術的・組織的な措置という条文の表現は、二つに分けると実装に落とせます。技術側では、入力検証、異常値検知、フェイルセーフ、冗長構成、ロールバック、性能劣化の監視が候補です。組織側では、変更承認、評価を再実行する条件、市販後監視から設計変更へ戻す手順が要ります。15条4項は、この両方を「堅牢性」の一語に押し込んでいます。

市販後も学習を続けるシステムには、追加の縛りがあります。出力や利用者の反応をそのまま再学習・ランキング・推薦・しきい値調整に戻す構成では、誤った低評価や偏ったクリック、過去の偏った判断が次の学習データに混ざり、モデルが「運用実績」を根拠に同じ偏りを強めます。これがフィードバックループで、15条4項は除去するか可能な限り抑えることを求めます。オンライン学習、継続的な再学習、RAG のナレッジ更新を採るなら、どのデータを学習系に戻さないかを設計で切ることになります。

サイバーセキュリティはモデルとデータへの攻撃を試験する

サイバーセキュリティは、脆弱性を突いて権限のない第三者が用途・出力・性能を改変しようとする試みへの耐性です(15条5項)。対策は状況とリスクに見合ったものであればよいとされますが、条文が名指しするのは、ネットワーク境界やアクセス制御だけでは見えない層、すなわち学習データ、事前学習済みコンポーネント、推論時の入力、モデルの出力、機密情報の漏えいです。通常の脆弱性診断だけで15条5項を満たした扱いにするのは危険です。

15条5項が想定対象に含めるのは、適切な場合において、次のような攻撃です。攻撃ごとに確認すべき工程が変わります。

  • 学習データを操作する攻撃(データポイズニング)。確認対象は学習データとその供給経路。
  • 学習に用いる事前学習済みコンポーネントを汚染する攻撃(モデルポイズニング)。確認対象は外部モデルやモデル供給網。
  • モデルに誤りを起こさせるよう設計された入力(敵対的サンプル/回避)。確認対象は推論時の入力。
  • 機密性への攻撃、およびモデルの欠陥の悪用。確認対象は、出力・ログ・埋め込みを通じたモデルや学習データの漏えい。

評価範囲は、アプリケーション診断だけでなく、データ供給網とモデル供給網まで広がります。とくにデータポイズニングは学習データそのものへの操作なので、データガバナンス(第10条)の管理範囲と地続きです。15条5項を通常の ISMS 統制やクラウド設定確認に吸収せず、モデルとデータへの攻撃をセキュリティ評価の明示的な試験項目として持つ必要があります。

一次義務は提供者、ただし第25条で反転しうる

第15条の一次義務は提供者に置かれます。高リスク AI システムを第3章2節の要件に適合させる義務を、第16条(a)が提供者に課しているためです。

ただし、運用側がいつまでもデプロイヤーで居続けるとは限りません。重大な変更、用途の変更、自社名での提供を行って第25条上の提供者扱いに入ると、提供者の義務がそのまま乗ります。デプロイヤー側は、提供者の使用説明書に従うこと、入力データが自社の管理下にある場合に目的へ照らして関連性・代表性を保つことなど、第26条側の義務で縛られます。第15条そのものを作り込む主体は提供者ですが、運用条件を崩せばデプロイヤー側の問題になります。

期限は現行法と Omnibus 案を分けて管理する

施行日は、高リスクの類型によって分かれます。附属書III に該当する類型(第6条2項型)は、現行法上2026年8月2日から主要義務が適用されます。附属書I の製品安全法令に紐づく類型(第6条1項型)は2027年8月2日です(第113条)。

施行日には後ろ倒しの動きがあります。Digital Omnibus on AI(Omnibus VII)による延期案が2026年5月7日に暫定合意、5月13日に加盟国代表が確認、6月16日に欧州議会が最終承認しました。発効には理事会の正式採択、署名、官報(OJ)掲載が残っており、本稿時点では未掲載です。延期後の新日付は、附属書III が2027年12月2日、附属書I が2028年8月2日とされています。

計画上は、OJ 掲載前の延期日を正式期限として固定しないほうが安全です。内部ロードマップは現行法上の期限(OJ 版が権威ある条文。附属書III は2026年8月2日、附属書I は2027年8月2日)を法的期限として置き、延期が官報に掲載された時点でマイルストーンを差し替える扱いが堅いです。

罰則は高リスク義務違反の枠で見る

第15条への不適合は、高リスク義務の違反として扱われます。提供者の場合、第16条(a)違反にあたり、第99条4項により1,500万ユーロまたは全世界年間売上高の3%のいずれか高い方が上限です。中小企業(スタートアップを含む)は第99条6項で、同じ枠のうち低い方が適用されます。禁止行為に対する第99条3項(3,500万ユーロまたは7%)とは別建ての枠です。

条文の要求は試験項目に分解できる

第15条本文は、評価手順やレッドチームの手法、プロンプトインジェクションへの具体的な対策までは指定しません。そこは技術統制側の領域です。ただし、このページ単体でも分解はできます。条文上の要求は、正確性評価、エラー耐性の試験、フィードバックループの確認、データ/モデルポイズニング耐性、敵対的入力、機密性攻撃の試験項目に落ちます。詳細な手順は、技術統制「評価・レッドチーム」(tc-art-15)で扱います。

まとめ

第15条対応でつまずくのは、精度表、セキュリティチェックリスト、運用手順書を別々に作るパターンです。必要なのは、用途ごとの許容誤り、評価指標、失敗時の挙動、再学習時の遮断点、AI 固有攻撃への試験項目を、一本の設計根拠としてつなぐことです。第15条は、その接続がない高リスク AI を許しません。

この記事のサイト版(関連条項・技術統制への相互リンクと期限トラッカー付きの構造化リファレンス): https://conformgrid.com/ja/regulation/eu-ai-act-art-15


出典

  • EU AI Act / Regulation (EU) 2024/1689, Article 15 (Accuracy, robustness and cybersecurity)(15条1項=適切な水準と一貫性、15条2項=正確性・堅牢性の測定に関するベンチマーク・測定手法の奨励、15条3項=正確性水準と指標の使用説明書への記載、15条4項=堅牢性・技術的/組織的措置・冗長構成・フィードバックループ、15条5項=サイバーセキュリティ・データ/モデルポイズニング・敵対的サンプル・機密性攻撃)
  • 関連条項:Article 16(a)(提供者の義務)、Article 25(提供者扱いへの転換)、Article 26(デプロイヤーの義務)、Article 99(罰則:99条4項/99条6項)、Article 113(適用開始日)、Article 9(リスク管理)、Article 10(データガバナンス)、Article 13(透明性・使用説明書)
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?