前回から続き
#1. 禁止AI
次は、利用が禁止されているAIについてです。厳密には、流通させること、サービス提供、利用の3つが禁止されています（第5条）。
### ⑴ 全体像
まず、禁止AIの一覧です。以下の4つです。
①サブリミナル技術を用いるAI。要は、人間の意識外から作用して、対象者又は第三者に身体的・精神的な害を引き起こす（または引き起こす可能性がある）方法で人の行動を捻じ曲げるものです。
②特定の人物や集団の脆弱性（年齢や身体的・精神的障害）を利用するAI。これは、対象者や第三者に身体的・精神的な害を引き起こす（又は引き起こす可能性のある）方法で人の行動を捻じ曲げるために行うものです。
③公的機関またはその代理が、人間の信頼性（Trustworthiness）に関する評価や分類を社会的行動や個人特徴に基づいて行うもので、次のいずれかを満たすことになる社会スコアを用いるAI。
a. 元々データが生成又は収集された文脈とは異なる文脈における特定人又は集団全体に対する不利益な扱いを行うもの
b. 特定人又は団体に対する、社会的行動や重大性から正当化されない又は過大な不利益な取り扱い
④リアルタイムのリモート生体認証で、法執執行的で公共空間で行われるAI。
### ⑵ 生体認証に関する解説
以上の4つなのですが、生体認証については非常に詳しい規定が置かれており、若干補足をします。
まず、リモート生体認証とは何かについては、定義がありまして（3条36号）、人間の生体データを参照用データベースの生体データと比較して個人を遠隔で特定するためのAIシステムになります。事前に個人が特定できるか知っている必要はありません。
また、リアルタイムの点についても、定義規定がありまして（3条37号）、重要な遅延があるかがポイントになります。
加えて、公共空間についても定義が置かれています（3条30条）。これは、社会がアクセス可能な物理空間という意味で、私有か国有かは問いません（前文（9））。また、入場券が必要という点や入場に年齢制限が存在するというだけで公共空間でなくなるわけではありません。
さらに、例外的に利用が許される場合も定められています（5条1号d号のⅰからⅲ）。ⅰ行方不明の子供などの犯罪被害者の可能性のある人物をターゲットとして探す場合、ⅱ人間の生命や身体の安全性に対する具体的かつ重大で差し迫った脅威及びテロ攻撃を防止する場合、ⅲ一定の重大犯罪の加害者や容疑者の検出、居場所の特定や個人特定を行う場合になります。この例外的に実施できる場合には、様々な制限がついており（5条2項から4項）、特に裁判所による事前の許可が原則として必要である点などがその制限として挙げられます。
#2. 解説
若干の解説をします。
### ⑴ サブリミナルAIについて
どのように意識外からの作用であると認定するのか難しい要素が残るように思います。
### ⑵ 脆弱性利用AIについて
何が脆弱性なのかという問題は不透明といえます。例えば、ギャンブル好きというのは脆弱性なのでしょうか？ギャンブル依存症はどうでしょうか？アルコール好きや恋愛好きというのはどうでしょうか？
### ⑶ 信頼性スコアリングAIについて
また、公的機関による信用性スコアリングですが、何がこれに該当するのかはっきりとしないかと思います。中国で行っているようなソーシャル・スコアリングのようなものが該当するのは間違いないかとは思いますが、人間の信頼性の評価・分類とは何を指すのかはっきりとしないところがあります。税金をちゃんと払いそうかという点は、信頼性の評価といえるのですかね？たぶん、言えないと思いますが、その理由はどこにあるのでしょうか？おそらく、人の全般的な信頼度のようなもののスコアリングを禁止しているのかと思います。なお、規制案の前文では、汎用目的のソーシャル・スコアリングを禁止するといっています（全文（17））。
### ⑷ 生体認証AIについて
上記の生体認証AIについては、規制案の作成時に議論があったのか条文も多く、また現在用いられている可能性もあるAIであり社会への提供が大きいこともあり、章を改めます。
#3. 生体認証AIの禁止について
### ⑴ 例や禁止の背景など
まず、ここでの禁止対象たる「公共空間での・・・生体認証」のうち生体認証部分ですが、生体データを使えばすべて該当しますので、顔画像を使った顔認証はもちろん、指紋認証や静脈認証も（無駄に広い）AIシステムの定義に該当すれば生体認証ということになります。
この規制の背景ですが、おそらく最も大きいのは顔認証に関する問題だと思われます。顔認識システムが黒人や女性については精度が低下する、特に黒人女性については大きく低下することが論文で示されて以来、このような公平性・バイアスの問題が大きくクローズアップされています。また、このような公平性の問題以外にも、誰が何時何処にいるということを多数のカメラを公共の場に設置して把握できて言うことはプライバシーの侵害という批判もありました。特にバイアスの点の問題は大きく、警察が顔認識システムの結果を信用して誤認逮捕した例もあり、特にジョージ・フロイド事件及びBLM運動の高まりを受けて、警察による顔認識システムの利用に批判が生じることになりました。このあたりお点については、前回紹介した「Q&A AIの法務と倫理」という本や私の別の投稿「AIと公平性（入門編）」でも触れておりますので、ご覧ください。
### ⑵ アメリカとの比較
ここで少しアメリカの顔認識システムの禁止の状況と比べてみましょう。EUの規制の特徴が見えてくるかと思います。
アメリカでは連邦レベルの顔認識の規制はなく、州や都市レベルで条例や法律で規制している状況です。禁止の条例の動きは広がりつつあるものの、まだ到底多数という状況ではありません。当然、都市や州によって規制内容は異なりますが、どのような規制がされているのでしょうか。2021年の1月に調べて知りえた結果が次の通りです。すべて網羅しているわけではない点にはご留意ください。
・2019年05月 サンフランシスコ市
公的機関による利用を禁止
・2019年06月 サマービル市
公的機関による利用を禁止
・2019年07月 オークランド市
市当局による利用を禁止
・2019年10月 バークレー市
市当局による利用を禁止
・2019年12月 ブルラックライン市
市当局による利用を禁止
・2020年01月 ケンブリッジ市
市当局による利用を禁止
・2020年03月 ワシントン州
・2020年06月 ボストン市 サンタクルーズ市
行政当局による利用を禁止
・2020年09月 ポートランド市
公共施設における利用を禁止
・2021年01月 ニューヨーク州
学校での利用を一時禁止（私立学校を含む）
明らかなとおり公的機関による禁止を禁止するのが大半で、ポートランド市とニューヨーク州だけ一定の場所に限り私的団体も含めて禁止しているという状況です。
こういった点から今回の規制案を見てみると、一見するとポートランドに近いのですが、EUは法執行目的に限定しています。また、アメリカでは多数を占める公的機関による利用の禁止と比べても、今回の規制案は狭いわけです。というのも、今回の規制案は法執行目的に限定されていますので、公的機関の中でも警察的な機関による利用のみが禁止の対象となっているわけです。さらに、リアルタイム、リモートという点もEUでは要求されます。
### ⑶ リモート要件について
また、禁止されているのはリモートといえるものだけです。リモートとは、遠距離で人物を特定することを言います。ただ、その意味は必ずしも明確ではなく、例えば、一定のセキュリティ区画への入室に指紋認証や光彩認証を採用している場面を考えると、ドアの近くに存在する認証用デバイスが認証を行っている場合は、リモートではないといえるでしょう。では、認証用デバイスが認証を行っているのではなく、別のサーバーと通信して当該別のサーバーで認証している場合はどうでしょうか。本質的な差異があるとも思えず、同じようにリモートではないと扱うことになりそうですが、理由としては、ドア近くの認証デバイスが認証結果などを示ししいるという意味で認証を行っているといえるということでしょうか。
もう一度考えてみると、なぜリモートだけが禁止の対象なのか理由も不明確なところがあります。対象者が個人識別されていることに気づけないという点にリモート要件の根拠を求めるのなら、データ収集や認証結果の表示を対象者に示して認識させていればリモートではないということになりそうです。この点は、良く分からないところです。
### ⑷ リアルタイム要件について
また、禁止されているのはリアルタイムなものだけです。リアルタイムとは、データの収集、データベースとの比較や特定などの流れが重要な遅延がないことを意味しています。なので、とりあえず動画を撮影しておいて後日必要な時に顔認証を行うようなものはリアルタイムではないため禁止の対象ではないことになろうと思います。法執行目的での顔認識システムを提供するような場合は、ここの「重要な遅延」というものがどの程度のものなのかが重要になってくるでしょう。
### ⑸ 公共空間について
公共空間かについても簡単なようで難しいわけです。一方の端には個人の住宅のように明確に公共空間ではない場所が存在し、他方の端には公園や公道のような明確に公共空間である場所が存在するのですが、その中間が多数存在し、どこで分けるのか不明瞭な場合もあろうと思います。