前回からの続き 今回は長いです！！
1. ハイリスクAI概説
さて、一番メインとでもいうべきハイリスクAIに関する規制ついて説明します。かなり条文数も多く、規制の量が多いので、禁止AIなどよりも詳細を省いて説明します。とはいっても、他の回と比べてテキストの量が大幅に増えるかと思います。ご容赦を。
あと、Part1で述べればよかったのですが、規制案でユーザとは、個人による非業務的活動の一環で利用する場合を除いています。なので、個人のスマホの認証にAIによる顔認証を使っているスマホユーザは、規制案でいうユーザではないです。ご注意を！
2. ハイリスクAIの範囲
まず、ハイリスクAIの範囲についてです。条文（6条）に定めがあり、2つの類型が存在します。
1つ目は、次の2つを両方満たす場合です。ⅰAnnexⅡのリストに挙がっている法令が適用される、製品の「安全のためのコンポーネント」として使われる又は製品それ自体の場合ⅱ安全コンポーネントがAIシステムである製品またはそれ自体が製品であるAIシステムで、AnnexⅡのリストに挙げられた法令に従い当該製品を市場流通させる又はサービス提供する点について第三者による適合性アセスメントを経ることが要求される場合。長くてわかりにくいのですが、要は一定の法令により第三者によるアセスメントが要求される場合ということになります。
2つ目は、AnnexⅢに挙げられているAIシステムです。
では、AnnexⅡとAnnexⅢを見てみましょう。
まずは、AnnexⅡからです。先ほどの説明から分かる通りAnnexⅡには法令が挙げられています。AnnexⅡでは、Directive 2006/42/ECのような法令の番号が主に示されているのですが分かりにくいので、法令名のみ記載します。まず、セクションAとセクションBに分かれており、セクションAからです。
①機械指令
②玩具安全指令
③娯楽用船舶指令
④昇降機指令
⑤防爆指令
⑥無線機器指令
⑦圧力機器指令
⑧ケーブルウェイ規則
⑨個人用防護用品規則
⑩可燃ガス規則
⑪医療機器規則
⑫生体外診断医療機器規則
次にセクションBです。ここのABの区別ですが、Bについては84条の評価や見直しの条文のみ適用されることになっており、本規制案の適用が大幅に減っています。
①民間用航空規則
②二輪車、三輪車、四輪車の認証及び市場監視に関する規則
③農業林業用車両の認証及び市場監視に関する規則
④船舶用機器指令
⑤鉄道システムの相互運用に関する指令
⑥自動車及びトレーラー、並びにシステム、部品等に関する承認および監視に関する規則
⑦民間航空に関する規則
結構ありますね。パット見た感じでも特に安全性が必要そうな製品関係だということが分かります。
さて、続いてAnnexⅢです。ここは少し詳細気味に紹介します。
①生体認証や分類
a. リモート生体認証に用いるAIシステム
②重要インフラの管理や運営
a. 道路交通、水道、ガス、熱及び電力の供給の管理運営における安全コンポーネントに用いるAIシステム
③教育又は職業訓練
a. 教育機関又は職業訓練機関へのアクセスの決定又は人材の配置に用いるAIシステム
b. 教育機関又は職業訓練機関における学生の評価又は教育機関への入学で通常行われる試験における志望者の評価に用いるAIシステム
④雇用、従業員管理及び自営業者の利用
a. 採用又は人の選定、特に欠員の広告、応募のスクリーニングやフィルタリング、面接や試験の過程における候補者の評価に用いるAIシステム
b. 昇進又は雇用関係の契約関係の終了の決定、業務割り当て、上記の関係における対象者のパフォーマンス又は行動のモニタリング又は評価に用いられるAIシステム
⑤重要な民間サービス及び公的サービスへのアクセス
a. 公的補助やサービスの適格性の評価、又は公的補助やサービスの付与、一部または全部取り消し、無効化のために公的機関又はその代理により利用されるAIシステム
b. 対象者の金銭的な信用力評価、信用力スコアの設定に用いるAIシステム。ただし、小規模プロバイダが自己のために利用するためにサービス提供するAIシステムは除く。
c. 消防や医療救急を含む緊急時の初動対応の派遣又は優先順位付けのために用いるAIシステム
⑥法執行
a. 法執行機関により行われる、対象者の再犯リスクや犯罪被害にあうリスクの算定のために行う対象者の個人的リスク判定のためのAIシステム。
b. 法執行機関によりポリグラフや類似する手段として使われる、又は対象者の心理状態を検出するために使われるAIシステム。
c. ディープフェイクの検出のために法執行機関により利用されるAIシステム。
d. 犯罪捜査や訴追の過程における証拠の信頼性評価のために法執行機関により利用されるAIシステム
e. 対象者に対するプロファイリングに基づく現実の又は潜在的な犯罪の発生や再発生の予測や対象者や対象グループの個人的特性や特徴又は過去の犯罪行動の評価のために法執行機関により利用されるAIシステム。
f. 犯罪の発見、捜査又は訴追の過程で対象者をプロファイリングするために法執行機関により利用されるAIシステム。
g. 対象者に関する犯罪分析で、法執行機関に未知のパターンの特定や隠れた関係性の発見を詳細に行うことを可能とするべく、異なるデータソースやデータ形式で利用可能な、複雑な関連する又は関連しない大規模データセットを検索するAIシステム。
⑦移民、難民及び国境管理運営
a. ポリグラフ及び類似した手段又は対象者の心理状態を検出する
b. EU構成国家の領土に入ることを予定している又は既に入った対象者によりもたらされる安全上のリスク、非正規の移民によるリスク又は健康リスクといったリスクの調査のため公的機関により利用されるAIシステム。
c. 渡航文書の真正の確認、文書作成支援及び特徴を確認することで真正でない文書を検出するために公的機関により利用されるAIシステム
d. 難民申請、ビザ及び居住許可の判定及び身分に対する申請を行う者の適格性に関する関連する異議申し立ての判定のために公的機関により利用されるAIシステム。
⑧司法及び民主過程における管理業務
a. 事実と法の調査と解釈及び付帯的な事実に法適用を行うについて司法機関により用いられるAIシステム
3. 規制の構造
さて、次に全体的な規制の構造を解説します。まず、規制案では、ハイリスクAIが満たすべき要求事項をTITLEⅢのCHAPTER2で定めています。記録を残せだとかドキュメント化しろだとかいうことです。そして、CHAPTER3ではAIシステムのプロバイダ等に義務を課しており、例えば、要求事項を満たしたAIにしろだとか、そのため適合性アセスメントを行えだとかいうことです。また、適合性アセスメントの実施方法などについてCHAPTER5では説明されています。
また、金融機関については別の法令が存在することから、そちらで対応し本規制案の定めを適用しない例外に関する規定が条文によっては存在しますが、ここでは言及しません。
4. 要求事項
まず、第8条から始まる要求事項の方から見ていきましょう。
・第8条
ハイリスクAIシステムは要求事項を満たす必要があることを述べます。また、満たしているかの判断においては、利用目的や次の9条で述べるリスクマネジメントシステムを考慮に入れるとしています。これは、例えば、ログをとる必要があるといわれても、どの事項のログを、どの粒度で取得するかという問題が存在し、他にもAIのテストを行うといっても、どのような事項について、どのような手法で、どのような基準でテストするのかという問題が存在します。こういった要求事項を満たしているといえるかという判断問題が生じることから、その際の指針を述べているものといえるかと思います。
・第9条
ハイリスクAIに関するリスクマネジメントシステムを確立して書面化することなどが要求されています。なお、注意すべきこととして、リスクマネジメントシステムで取扱うリスクは、AIシステムの意図された用法での利用のみならず、合理的に予見できる誤用から生じるリスクも対象として、予測・評価する必要があります（第2項b）。さらに、また流通の後のモニタリング（3条25号に定義されている事後モニタリング）から収集されたデータによるリスク分析も必要になります（第2項c）。
また、受容することとしたリスクは、ユーザに伝えられる必要があります（第4項）。なお、最初に述べましたが、ここでのユーザには個人による利用者は含まれていません。さらに、ハイリスクAIを流通させるかサービス提供を開始する前にテストを行うべきことや、そのテストは事前に定められた基準や確率的な閾値を用いて行うべきことを述べています（第7項）。
個人的には、合理的に予測できる誤用とは何か、どこまで考える必要があるのか不明確なところがあると思っています。また、事前に基準を作ってテストせよというのも、結構難しくて、事前とはいつか（PoC後でもよいのか？）、基準を満たさなかった場合はどうしたらよいのか（修正するのであろうが、それでも上手くいかないときは開発を断念するしかないのか？）、一定の基準を設けるが事後的に一定の手続きのもとで基準を緩めることが出来るような場合は規制案の要求するテストを満たすのか（精度90%が基準だが、場合により一定の権限者の許可を得れば70%まで基準を緩和できるということを事前に定めるような場合である。）といった疑問があろうと思います。また、そもそもこのようなテストの要求が結構厳しく、また90%などの合格ラインを適切に定めることが求められているところ、何が適切なラインかも難しく、例えばユーザへの情報開示（精度が70%しかないので注意してくださいというような）なども含めて考える必要があるため、苦労するのではないかと思っています。
・第10条
データを用いて学習するような手法を用いる場合には、訓練用データ、検証用データ、テスト用データが一定の品質基準を満たすべきことを述べ、その基準について定めています。
まず、訓練用、検証用、テスト用データが適切なデータガバナンスとマネジメントの対象たるべきことを述べます（2項）。どういう点をマネジメント等するかですが、定めが存在し、設計、データ収集、前処理、データの代表性などの点、データの品質や適合性の事前アセスメント、あり得るバイアスの観点からの評価、データの不一致や不足の特定と対処方法などです。
また、データが関連性のあるもので、代表性を満たし、エラーがなく完全なものであることが求めらえています（3項）。ハイリスクAIが利用される想定の人や集団の観点からの統計的特性を有していることも求められています（3項）。さらに、訓練用データ、検証用データ、テスト用データは、意図された用法の範囲の特定の地理的、行動的、機能的状態を考慮する必要があることが述べられています（4項）。
個人的には、データにエラーがないということや完全であることとはどういうことを言っているのか謎に思っています。アノテーションのミスなどは不可避的に発生すると思います。たぶん、可能な限りエラーをなくすことで足りるのではないかと思います。
・第11条
AIシステムを市場流通又はサービス開始する前に、技術文書を作成するべきことを述べています。なお、技術文書の内容としては、要求事項の順守を示し、関係機関にその遵守を調べるのに必要な情報を提供するものとしています。最低限の内容はANNEXⅣに定めるとしています。
・第12条
ログを取得するべきことを述べています。また、ログの内容等については、共通仕様書（3条28号に定義されており、41条で詳細が定められている。）等に従うものとされています。
・第13条
ユーザが出力を解釈できるようにハイリスクAIの動作は十分に透明性を有していることが求められています。しつこいようですが、ここでのユーザは個人による非業務利用、つまり個人スマホでのAI利用などは含まれていませんのでご注意ください。また、説明書の添付が求められています（2項）。その説明書の内容ですが、想定している用途、精度、頑健性やセキュリティの程度、これらの程度に影響を与える予想できる状況、健康・安全や基本的人権に対するリスクとなり得る用法、利用を想定している人や集団との関係でのパフォーマンス、必要に応じて入力データの仕様、ハイリスクAIや事前に定められていたパフォーマンスへの変更、人間による監督の方法、予定されているシステムのライフサイクルや必要なメンテナンス等多岐にわたります（3項）。
個人的には、説明する事項はわかるのですが、具体的に何を説明すればよいのかはっきりせず、規制案の要求を満たしているのかの判断が難しいことが多いかと思います。また、契約をしているユーザだけに示すことで足りる情報と広く社会一般に公表すべき情報というものがあると思っており、そのあたりの区別を行うべきではないかと思っています。また、セキュリティの観点からの開示の制限があり得ようと思います。また、知的財産やノウハウの保護の点から開示できない場合もあろうと思います。このあたりについてもう少し明確に規定を定めておいてもよかったのではないかと思います。
また、説明や透明性の内容という点からは依然として不明瞭さが残ると思います。つまり、第2項以下で要求されるような説明書などを用意すれば足りるのか、場合によっては、説明可能性技術といわれるような技術を用いてAIの判断根拠を可視化する必要があるのかということです。1項で求められる透明性は、各事業者ごとに検討するべきこととしていると読むのが妥当かと思います。
また、ユーザへの説明や透明性に重点を置いており、開発者に対する透明性や説明、監査人に対するものなどは触れていないことも特徴かと思います。監査人や事故時の調査人等に対する透明性は適合性アセスメントを行う以上、当然確保され、また開発者への透明性は開発プロセスの中で自由に行えばよいという理解なのかもしれません。
・第14条
ハイリスクAIが人間により監督できるようにインターフェイスを用意する等が求められています。
また、適切である場合にはその実装がユーザが行うものとしてよいとされています（3項）。また、重要なこととして監督する人間は、当該AIシステムに関する一定の知見などを持っており、出力を解釈でき、必要に応じて介入や一時停止などを行うことが出来るなどの一定の適格性が求められます（4項）。また、ANNEXⅢANNEXⅢ1a（リモート生体認証）のハイリスクAIシステムについては、2人以上の確認がなければ決定等を行うことが出来ないものとしています（5項）。
個人的には、やや疑問が残るところがあります。いわゆる人間による監督や人間の関与といわれる手法を採用するということですが、どのような監督をすればよいのかはっきりとしてないかと思います。例えば、AIの出力は人間が確認してから有効になるという手法、つまり人間による事前チェックが典型かと思いますが、AIにより判定される対象者に異議や不服を申し立てる権利を与える、つまり再チェック申請を認めるという手法も人間（対象者がチェックしている。また、再チェック申請により人間が再チェックする場合は当該人間によってもチェックしている。）によるチェックといえるわけです。または、一定期間後にまとめてAIの出力の異常値がないかを確認するというような事後チェック手法もありうるわけです。このような様々な人間の監督手法があることについては、EUによる「Ethics guidelines for trustworthy AI」英語版16頁や「WHITE PAPER On Artificial Intelligence」英語版21頁でも記載されているところです（特にガイドラインでは事前チェックについて、多くの場合は望ましくなかったり不可能であるとしています。）。つまり、どのような手法をとればよいかという問題が残るわけです。5項では、事前チェック手法でかつ2名以上という手法を採用しています。ただ、この2名の中にAIによる分析対象者は含めてよいのでしょうか。監督者には一定の知見等が必要とされていることから、殆どの場合は難しいのではないかと思います。つまり、どのような監督を行うかについてはオープンと読むことになるのかと思います。そのため、手法の選択は各事業者にゆだねられているのでしょう。
・第15条
ハイリスクAIシステムが、意図された用法の下では、適切な精度、頑健性、サイバーセキュリティをライフサイクルを通じて達成できるように開発することが述べられています。
また、精度の基準などについて説明書に付随して示されるべきことも要求されています（2項）。
5. プロバイダの義務
続いてプロバイダの義務について説明します。なお、プロバイダの義務については、後の6と8にも一部解説があります。この5でまとめれば良いのですが、今回の規則案ではTITLEⅢのCHAPTER3のタイトルが「OBLIGATIONS OF PROVIDERS AND USERS OF HIGH-RISK AI SYSTEMS AND OTHER PARTIES」になっており、このCHAPTERにプロバイダの義務が書かれているわけです。ところが、CHAPTER5やほかの部分にもプロバイダの義務が書かれているのです。これらのCHAPTERをまとめて、この5で書いてもいいのですが、規制案の構造に従って、ここでは分けて書きます。後の8では、プロバイダの義務とわかるように記載はします。
また、CHAPTER5のタイトルを見ればわかりますが、プロバイダだけなくユーザや更にはインポーターやディストリビューターの義務も規制案では定められています。インポーターの義務やディストリビューターの義務は、プロバイダの義務に概ね包含されますので、ここではプロバイダの義務のみを次の6でユーザの義務のみを紹介します。
・第16条
ハイリスクAIのプロバイダが守るべき義務を定めています。①Chapter2で定めるハイリスクAIのための要求事項を満たすこと、②品質マネジメントシステム（第17条で定める）を持っていること、③技術文書を作成すること、④ログを取得すること、⑤流通等をさせる前に適合性アセスメントを実施すること、⑥第51条に定める登録義務を満たすこと、⑦要求事項を満たさない場合に必要な修正を行うこと、⑧公的機関にハイリスクAIシステムを利用可能にしたことやサービス提供を開始したことを通知する、⑨規制案に適合していることを示すためのCEマークを付すること、⑩公的機関の要求に応じてハイリスクAIが要求事項を満たしていることを示すことが挙げられています。
・第17条
プロバイダは、品質マネジメントシステムを設ける必要があります。その内容としては、次のような観点が必要になります。①規制のコンプライアンス順守のための戦略、②ハイリスクAI設計等のために利用されている技術、プロセス等、③ハイリスクAI開発等のために利用されている技術、プロセス等、④ハイリスクAIで実施される試験、テスト、検証プロセス、⑤データマネジメントのためのシステムとプロセス、⑥リスクマネジメントシステム、⑦事後モニタリング、⑧公的機関とのコミュニケーション、⑨文書や情報の記録、⑩リソースマネジメント、⑪アカウンタビリティのためのフレームワーク。
個人的には、ある程度は納得できる規定です。セキュリティをはじめ様々な場面で採られているリスクマネジメントシステムをAIにも適用するもので、このようなマネジメントシステムを知っていれば奇異には映らないでしょう。ただ、AIの特殊性というものがあり、そのあたりが一応示されてはいることになろうと思います。
・第18条
プロバイダは、先ほどの11条で述べた技術文書を作成する義務があることを述べています
・第19条
プロバイダは、事前にハイリスクAIに適合性アセスメントを実施する義務があることを述べています。また、これに伴い、適合宣言書（48条で内容が説明されています。）を記載し、またCEマークを付与する必要があります。
・第20条
ログを取得するべきことを述べています。ただし、ユーザとの合意や法律で認められる範囲でのみで取得することで足ります。また、ログの保存期間は、意図された用法等に照らして適切な期間となります。
・第21条
プロバイダは、ハイリスクAIが規制案を満たしていないと考えるのに合理的な理由がある場合には、提供の停止、リコールなどを行い満たすようにすることが述べられています。また、必要であればディストリビュータ等に情報提供することが求めらています。
・第22条
ハイリスクAIが健康、安全、基本的人権に対する危険を発生させ、プロバイダがそのことを知っている場合には、公的機関に直ちに通知することが述べられています。
・第23条
プロバイダは、公的機関から要請があった場合には要求事項遵守の確認に必要な情報や文書を提供する義務があることが述べられています。また、理由付きの要請がある場合は、ログへのアクセス権を付与すべきことが述べられています。
6. ユーザの義務
次にユーザの義務を概説します。しつこいですが、本規制案のいうユーザとは個人的な非業務的利用者は含まれません。
まず、ユーザは説明書に従ってハイリスクAIを利用しなければなりません（1項）。また、入力データがハイリスクAIの意図した用法に関連していることを確認する必要もあります（3項）。さらに、説明書に基づいてモニタリングを行うべきことも定めています（4項）。この場合、説明書に従った利用が健康、安全、基本的人権に対する危険を発生させていると合理的に考える場合には、プロバイダ等に通知する義務があります。また、基本人権に関係するような重大なインシデントや故障についても同様に通知する義務があり、利用を中止する必要があります。また、ログの取得義務も存在します。さらに、場合により、本規制案35条に基づくデータ保護インパクトアセスメント（Data protection impact assesment）を、13条により提供された情報をもとに実施する必要があります。
7. 適合性アセスメント
続いて適合性アセスメントの内容等について規定が存在するため、みていきましょう。
・第40条
第40条では整合基準（harmonised standard 3条27号に定義があり、別の法令で定義されているEUの基準になります。）が要求事項をカバーしている限り、整合基準を満たせば要求事項を満たしたことになることを述べています。
・第41条
共通仕様（意味についてはすでに述べました。）について述べています。
・第42条
ハイリスクAIの利用が想定されている特定の地理的、行動的、機能的状態を満たすデータで訓練され、テストされたAIシステムは、10条4項の要請を満たすものと扱うとされています。
・第43条
ここでは、適合性アセスメントの方法についてハイリスクAIの分類ごとに定めています。
まず、AnnexⅢの第1項（生体認証等）については、プロバイダが整合基準や共通仕様の適用を受ける場合には、①AnnexⅥで述べる内部統制に基づく適合性アセスメント手続きを行う、②AnnexⅦのとおり、被通知者（適合性アセスメントを行う指定された第三者団体）の関与のもと、品質管理システムのアセスメント及び技術文書のアセスメントに基づく適合性アセスメントを行う必要があります。また、整合性基準や共通仕様の適用を受けない場合は、AnnexⅦで定める適合性アセスメントを行うことになります（以上第1項）。
AnnexⅢの第2項から第8項（生体認証以外）については、プロバイダはAnnexⅥで述べる内部統制に基づく適合性アセスメントを行うことになります（第2項）。
AnnexⅡのセクションAのハイリスクAIについては、当該法令が求める関連する適合性アセスメントに従うことになります（第3項）。
また、重大な変更がなされた場合は、適合性アセスメントを再度行う必要があります（第4項）。
さらに、市場流通やサービス提供後も学習を継続するハイリスクAIの場合のハイリスクAIシステムやパフォーマンスの変更は、それが当初の適合性アセスメントの当時にプロバイダーにより事前に決まっており、また技術文書により情報提供された場合には、重大な変更とはならないとされています（5項）。
・第44条
ここでは、適合性アセスメントを行う第三者団体である被通知主体が発行する認証について定めています。
・第47条
ここでは、適合性アセスメントの実施義務に関する例外が定められています。今日今日の安全又は人の生命及び健康の保護、環境保護、及び中核産業及びインフラの保護の例外的な目的のために、公的機関は特定のハイリスクAIシステムの市場流通及びサービス提供を許可することが出来るとしています。ただし、その期間は限定されるべきものとしています。
・第48条
適合宣言書に関して定めており、プロバイダは、適合宣言書を作成してAIシステムが市場流通又はサービス提供開始してから10年間公的機関が自由に参照できるようにする必要があります。
同宣言所では、当該ハイリスクAIシステムが要求事項を満たすことを宣言するものとされて、AnnexⅤの内容を含むものとされています（2項）。また内容は常にアップデートの必要があります（4項）。
・第49条
ハイリスクAIシステムにはCEマークが添付される必要があることを述べます。
・第50条
プロバイダーは、AIシステムを流通に置く又はサービス提供してから10年間、一定のドキュメントを公的機関が自由に参照できるようにする必要があります。ドキュメントの内容としては、①11条で述べた技術文書、②17条で述べた品質マネジメントシステムに関する文書、③場合により、被通知主体により認められた変更に関する文書、④場合により被通知主体により発せられた決定及び他の文書、⑤48条で述べた適合宣言書です。
・第51条
6条2項に定められたハイリスクAIシステム（法令ではない方）を流通させる又はサービス提供する前にプロバイダは60条の定めるデータベースに登録する必要があることを述べます。
8. その他
・第60条
欧州委員会がハイリスクAIシステムのためのデータベースを作成するべきことを述べています。
データベースへはプロバイダがAnnexⅧに記載の内容を登録することになります（2項）。またデータベースは一般公開されます（3項）。
・第61条
プロバイダは、AIの性質やハイリスクAIシステムのリスクに応じた事後モニタリングシステムを構築する必要があることを述べています。
同システムは、自発的かつシステム的に、AIのパフォーマンスに関してユーザから提供されるデータや他のソースから収集されるデータを集めて、文書化して、分析するものとされています（2項）。
事後モニタリングは事後モニタリング計画に基づいて行うべきこと、事後モニタリング計画はAnnexⅣの技術文書の一部であることとなっています。また、欧州委員会は、事後モニタリング計画のテンプレート及び計画に含めるべき要素を定めることとなっています（3項）。
・第62条
ハイリスクAIシステムのプロバイダは、基本的人権の保護を目的とする法令に基づく義務の違反となるすべての重大なインシデント又はすべての故障を公的機関に報告するものとされています。また、この報告は、AIシステムとインシデント又は故障との一定の関連性又は合理的にそのような関連性があることを把握してからすぐに行う必要があり、プロバイダが重大なインシデント又は故障に気づいてから15日内である必要があります。
9. 解説
⑴ ユーザの定義と個人利用者の保護
本文中でも繰り返し述べましたが、本規制案でユーザとは個人的な非業務的なAI利用者を指します。いくつか例を考えてみましょう。ガン判定システムですと病院や医者がユーザであり患者はユーザではないわけです（AIを利用しているのは病院のため）。また、マーケティング支援AIですと、当該AIを利用して支援を受けている企業はユーザとなるわけです。他金融機関が用意した貸付判定AIにアクセスして貸し付けを受ける（AIが拒否して受けれないこともあります）個人顧客は、ユーザではないわけです（業務としてお金を借りているわけではない。）。個人事業主が採用に関してAIの支援を受けると、この個人事業主はユーザですが、応募者はユーザではないわけです（個人による利用だが業務利用のため）。また、個人が趣味の写真の整理のためにAIを利用したり、AIによる職業適性診断を受けてみるという場合の個人はユーザではないことになります。
つまり、普通にAIを利用する一般国民というか消費者はユーザではないわけです。例えば、13条の透明性はユーザに対する情報提供を求めています。AIによる分析対象者やエンドユーザが「ユーザ」と言えれば彼らに情報が提供されますが、言えない場合には分析対象者やエンドユーザに対する情報提供をどう考えるべきかという疑問が生じます。また、規制案はなぜこのようなユーザに情報提供するという形をとったのかという疑問も残ります。おそらく、消費者は13条に定めるような詳細な情報を提供しても読まないという判断があるのかと思います。つまりは消費者の保護は、適合性アセスメント、規制案が定める一般公開する情報、さらにはユーザの側で行うデータ保護インパクトアセスメントやGDPRなどの他の法令などで保護を図るということなのかと思います。
ともあれ、一般消費者の保護という観点から本規制案を捉えなおして読み直してみる必要があるのではないかと思っています。
⑵ リスクベース1本アプローチの妥当性
また、ハイリスクAIシステムの話ではないのですが、本規制案がリスクベース1本アプローチとでもいうべきアプローチをしている点も検討すべき事項かと思います。リスクベースというのは、リスクの大きさに合わせて類型を分けて（規制案ですと、禁止AI、ハイリスクAI、特殊なリスクAI、ローリスクAIの4つの類型に分けている。）ルールを作るというものです。また、ここでリスクベース1本アプローチと言っているのは、リスク以外の視点はなくリスクの点だけから分類をしているという点です。わかりやすいといえば、わかりやすいのですが（分類の分け方の是非は別とします。）、ある種、硬直なわけです。例えば、服を考えてみますと、既製服ですと身長をベースにL、M、Sと別れているわけです。身長ベースアプローチなわけです。ただ、肩幅がかなりあり、身長的にMだがMだと肩が窮屈だという人もいるでしょう。また、体重の観点もあるでしょう。例えば、体重の観点を取り入れ、Lの大中小、Mの大中小、Sの大中小という9つの服を作ることもあり得ます。これは、身長ベースアプローチに加えて体重ベースアプローチも導入しているわけです。大して、LMSというのは身長だけ、つまり身長1本アプローチといえるでしょう。これで、リスクベース1本アプローチの意味がはっきりしたかと思います。
もちろん、オーダーメードの服もあるわけで、ルールもオーダーメイド、つまり各AIの特性やユーザの特性などを考え、それにピッタリ沿うように事業者が自分で適切に規制を行うというルールもあり得るでしょう。オーダーメードの場合は、どういう服・規制を作るかは事業者に任せざるを得ませんので（事前に法律などに書くことが出来ない。せいぜい、「諸事情を考えて適切に行う」）程度しか書けない、ソフトローによる規制となりやすいでしょう。
このようなリスクベース1本アプローチはわかりやすくはありますが、場合によってはうまくマッチしない場合もあるわけです。例えば、ハイリスクAIについては人間の監督が必要になりますが、例えば自動運転車の緊急ブレーキシステムが仮にハイリスクAIとしますと、少なくとも事前にプロバイダ等がAIの判定結果を再チェックするというのはナンセンスなわけです。緊急ブレーキシステムですので、そんな時間はないわけです。もっとも、既に述べた通り人間の監督といっても内容は様々ですので他の監督方法をとればよいということにはなるかと思います。また、AIの判断根拠の説明なども、リスクのみならず説明により他の利益（プライバシーや営業秘密）を害しないか、モデルの精度は高いか等という点からも説明の要否が決定されるべきものかと思いますが（このあたりについて「Q&A AIの法務と倫理」に少しだけ書いています。）、そのあたりを、いわば無視して、とりあえずハイリスクなら透明性を確保してくださいという処理になっているわけです。
このあたりからオーダーメードアプローチが良い、だとかリスクベースに立ちつつも若干の修正を許すことにするアプローチなど様々あり得ようと思います。どのようなアプローチを採るべきかは一概には言えませんが、一応様々な議論があり得るということだけは指摘しておきます。
⑶ 適合性アセスメントの形式性と実施主体
次に、適合性アセスメントについて触れておきます。適合性アセスメントとして何を実施するのかは、未実施のため不明ですが、適合性アセスメントの内容とされているAnnexを見る限り形式的な審査しか行わないのではないかと思えます。ちゃんとドキュメントは揃っているか、一定の組織や体制を作って社内規定を作っているか、技術文書通りになっているか要求事項を満たしているかという点が中心で、例えば公平性のために設けた目標数値が適切か、そもそも目標の測定方法が適切か、着目している公平性を実現する属性が適切かという点は見ないようにも思えます。
また、前文にも書いていることですが、そもそも第三者として適合性アセスメントの実施主体は少ないわけです。どこまでしっかりとしたアセスメントが出来るのかは、疑問が残るかと思います。
⑷ 報告義務
最後に報告義務について述べます。AIは新しい技術であり、また挙動はデータに依存することから、どのような事故が起こるかは予測が難しいところがあります。このため、適切なルールを作るためにも報告義務は非常に重要だと思っています。いや、最も重要といってもいいかもしれません。ただ、今回の規制案が報告義務の対象をハイリスクAIだけに限定しているのは疑問です。ハイリスクAIのリストが網羅的なものとは限りません。漏れているものもあるかもしれません。事故の報告義務を課した場合、このような漏れたハイリスクAIを把握する端緒が得られますが、ハイリスクAIに限定してしまうと得られないわけです。また、ハイリスクAIでなくても何らかの事情で重大な事故が発生することもあり得、それを把握しておくことは重要かと思います。よって、全部のAIに対して報告義務を課した方が良いかとは思うのですが、ここで問題になるのが、最初に述べたAIシステムの範囲が広すぎることです。まず、AIシステムの範囲を適切に絞って、全AIに報告義務を課すというアプローチが良いかと思っています。
今回はこれでおしまいです。長かったですねぇ・・・！！本当は他にもいろいろと言いたいことはあるのですが、止めておきましょう。いつまでも終わりません。
原稿のストックを使い切ったので、次回は少し遅れるかもしれません。ただ、重要な部分の解説は終わっているので、大丈夫かと思います！（と自分に言い聞かせている）
Annexの内容も需要があればどこかで紹介できればと思っています。お楽しみに！