2023年のAIインシデントまとめ #Security

この記事はBrainPad Advent Calender 2023 20日目の記事です。

はじめに

この記事では、2023年に発生したAI関連のインシデントをまとめています。AIの発展とともに、その利用者・開発者・傍観者の全てがAIに起因するリスクに晒されています。本記事の目的は、そのリスクを頭の片隅に入れておくことにあります。

この記事のベースとなっているのはAI Incident Databaseというサイトです。その名の通りAIに関するインシデントのデータベースです。ここから私の独断と偏見でインシデントを取捨選択しつつ、別途国内のニュースなども含めています。

なお、AIっぽいものは全てAIと一括りに表現しています。インシデントはヒヤリハットや訴訟なども含意しています。そこらへんの用語はてきとうに解釈くださいませ。

本当はスクレイピングしてAIで要約して著作権侵害でこの記事自体をインシデントにしようと思いましたが、世間体を考えてやめました。世知辛いですね。

おことわり

私はセキュリティの専門家でも、法の専門家でもありません。記事内容によって万が一損害を被っても一切の責任を負いかねます。インシデントの内容や解釈について誤っている箇所があれば、ご指摘いただけますと幸いです。

また、記事中で取り上げたインシデントに関連する人物や企業に対して、特定の非難を意図しているわけではありません。

インシデント

LLM

今年はLLMの年といっても過言ではないでしょう。大分削ったのですが、たくさんのインシデントが挙げられます。

月	地域	内容
3	伊	イタリアのデータ保護当局により、ChatGPTが一時的に禁止された。安全対策の不備が理由。OpenAIは個人情報保護対策や年齢確認の仕組みなどを導入し、4月に解禁された。¹
3	ベルギー	チャットボットChaiとの会話に没頭した男性が自殺した。Chaiは「死にたいのなら、なぜすぐにそうしなかったの？」といった出力を行っており、遺族はこのチャットボットが自殺が助長したと主張している。²
3	全	GPT-4がCAPTCHA（人間であることを示すために、タイルのなかから車を選んだりするやつ）を解読したとの報告。盲目だと偽りオンライン上のお手伝いサービスを利用した。³ （本件以外でもCAPTCHAが突破されるニュースやツイートはしばしば目にします）
3	全	ChatGPTのWebブラウザ版で、他ユーザーのチャット履歴が表示されるというバグが報告された。この問題を受け、ChatGPTは一時的にシャットダウンされた。⁴
3	韓	サムスン電子の社員が機密情報をChatGPTに入力したと報じられた。これを受け、同社は社内でのChatGPTの利用を禁止した。⁵
5	米	ニューヨーク州の弁護士が訴訟の資料作成にChatGPTを利用し、存在しない判例を引用してしまった。米国連邦地方裁判所は2人の弁護士とその事務所に5000ドルの罰金を科す判決を下した。⁶
5	米	全米摂食障害協会のチャットボットが、摂食障害を悪化させかねないアドバイス（減量など）を提供していた。同協会はこのチャットボットを利用停止した。⁷
6	全	グループIBはこれまでに10万件以上のChatGPTアカウントが闇市場に流出していると発表した。ChatGPTのプロンプト履歴から機密情報などが漏れるおそれがある。2FA認証でこのリスクを減らすことができる。⁸
8	日	ニュースサイトThe HEADLINE上の記事が、他社の記事の文章をそのまま用いており、盗用・剽窃に該当されると報告された。この記事はまだベータ版であった生成AIによって作られていた。⁹
11	米	Microsoft Start（Microsoftのニュースアプリ）の記事ページで、AIが女性の死因に関するユーザー投票を作成した。記事のソースである『ガーディアン』が生成AIを利用している訳ではないが、ガーディアンがこのようなアンケートを生成/実施していると誤解される事態となった。¹⁰
12	全	ChatGPTに特定のプロンプトを入力すると、学習に用いられたデータを抽出することができ、そのなかには個人情報も含まれていたという研究が発表された。¹¹

利用者は、ChatGPTなどに入力したデータは漏洩する可能性があるという点に注意する必要があります。もちろん、Azure OpenAIなどセキュリティが頑丈なサービスを用いればリスクはかなり減りますが、通常のWeb版などで機密情報・個人情報を入力してはいけません。また、生成物には誤り（ハルシネーション）が含まれたり、場合によっては著作権侵害となってしまうという点にも留意せねばなりません。

開発者としては、LLMからの出力によってどのような損害があり得るのかを洗い出し、リスクヘッジを図る必要があります。出力の内容を制御するコンテンツモデレーションの使用などがリスク軽減の手段の一つです。コンテンツモデレーションについてはLLMを制御するには何をするべきか？などをご参照ください。

また、性質が悪いのが、自身の関せぬ部分で生成AIが用いられ、それが自社ブランド毀損などにつながる事例も見られることです。こればっかりはどうしようもないですが、資料作成の委託などを行っている企業は、利用可否・方法について明示的に同意をとる方が望ましいでしょう。

画像生成、ディープフェイク

LLMと同様に画像生成AIもますます身近で精巧なものになっています。エンタメとしては今後面白い使い方がされていくのでしょうが、残念ながら、画像や声の偽装によるフェイクニュースや詐欺事件が後を絶ちません。

時期	地域	内容
4	加	ケベック州で、ディープフェイクを用いた児童ポルノ画像を生成・所持していた男性に4年半の懲役刑を言い渡された。¹²
5	米	生成AIによって生成された、国防総省が爆発する画像がTwitter上で拡散された。ダウ平均株価が一時的に下落した。¹³
7	米	PlaygroundAIという生成AIを用いた画像編集サービスでバイアスのある画像が生成された。「プロのLinkedinプロフィール写真を生成して」という文章とともにアジア系の女性の画像を入力すると、肌色が明るく、目が青くなった。プロフェッショナルは白人であるというバイアスが（故意ではなかろうが）出力に表れてしまっている¹⁴
10	米	ニュージャージー州の高校で、生徒の偽のヌード画像がディープフェイクによって生成され、一部生徒のグループチャットで共有された。被害者は警察に被害届を出し、捜査が進んでいる。¹⁵
10	米	Metaが発表したAIステッカー（Instagramなどでプロンプトに応じたスタンプを作れる機能）において、性的・暴力的な内容のスタンプが作られた。¹⁶
11	米	米国の有名なスポーツ雑誌『Sports Illustrated』に、虚偽の記者名とAIで生成された顔写真付きの記事が掲載されていた。当該記事は外部企業が制作しており、本誌側がこの事実を認識していたかは明らかではないが、Sports Illustratedの出版社のCEOはこの件を引き金に辞任した。¹⁷

ディープフェイク関連のインシデントはフェイクニュースと性的搾取に関するものが多いです。

フェイクニュースを流すことは名誉棄損での刑事事件であるということ以上に、SNSでの拡散などで甚大な損害を与えうります。株価が乱高下したり、戦争が激化する火種になったりとろくなことがありません。¹⁸

性的搾取については1990年代以降続く「アイコラ」の発展バージョンではありますが¹⁹、芸能人だけでなく児童ポルノや身近な人が被害者になるケースが増えてそうです²⁰。なお、芸能人のディープフェイク関連では2021年9月に判決が出ており、著作権侵害・名誉棄損が認められています。²¹

ディープフェイク以外の画像生成AIに関して、特にポリコレ的な観点で重要なのは生成物が差別的なものになってはならないという点です。明らかに差別的な生成物が非難されるのは当然ですが、上記のように特定のステレオタイプを出力してしまうのも問題です。この他にも、生成AIに「飯テロ」と入力するとアラブ系の顔が出力されてしまったり、トランスジェンダーの人に対するステレオタイプが生成されてしまったりと定期的に議論になります。

また、上記の表には掲載していませんが、ディープフェイクボイスによる詐欺も増えています。²²個人的には音声の生成には疎いのですが、3秒程度の素材があればその人の声を模倣できるそうです。²³特に若い方の多くはTikTokやYouTubeなどで自身の声が流れているでしょうし、親世代もこのような詐欺に対応しきれないと思うので、次世代オレオレ詐欺として注意が必要です。

ロボット / 自動運転

ロボットは自律的に動作する機械です。これまでの節とは異なり、誤作動などにより人体に物理的な損傷を与えます。

時期	地域	内容
8	米	クルーズ社の無人運転者が道路の真ん中で停止し、渋滞を引き起こした。付近で開かれていたイベントによって無線接続に問題があったことが原因とみられている。なお、このような渋滞のせいで緊急車両が通れなくなった場合、誰が責任を持つのかも検討するべきである。²⁴
10	米	クルーズ社の無人タクシーが別の車両にひき逃げされた女性をひいて下敷きにした。女性は重症。なお、この事件を皮切りに同社のCEOが辞任した。²⁵
11	韓	産業用ロボットの手入れをしていた従業員がロボットに押しつぶされて死亡。ロボットは一定の重量以上の物が稼働範囲内に入れば動く仕様であり、人間と箱を見分けるための精密な設計はされていなかった。²⁶
11	日	福井県で、完全な自動運転「レベル4」の運行を行っていた車両が、道路脇にあった自転車に接触した。同乗者も含め、怪我人はいなかった。²⁷
12	米	テスラは200万台以上のリコールを行った。自動運転の支援システムを誤って使うのを防ぐ対策が不十分だったという。²⁸

その他

その他とまとめていますが、個人的には非常に重要だと思っている節です。インシデントの多くは、いわゆる「責任あるAI」に大きく関わっています。

時期	地域	内容
1	途上国	AIのコンテンツモデレーションのために途上国の若者が猥褻画像・暴力的な画像に晒されているという報告。上記の節で問題視されていた性的・暴力的な画像の生成を防ぐために先進国の各社はアノテーション作業を行っている。しかし、この作業は実際には途上国の低賃金労働者によって行われており、特に子どもの精神的な苦痛が懸念されている。²⁹
2	米	デトロイトの警察が使用している顔認証技術の誤りで黒人女性が誤認逮捕された。顔認証技術で黒人を識別する精度が低いことは知られており、実際、顔認証技術による誤認逮捕の被害者の多くが黒人である。³⁰
4	豪	VERA-2Rというテロリスクの予測ツールにおいて、自閉症スペクトラムであるという特徴がスコアの上昇に寄与していたと報告された。しかし、自閉症スペクトラムとテロリズムに関するエビデンスはなく、一部の人が不当な損害を被る可能性がある。³¹
5	米	Pimeyesと呼ばれる顔検索ツールがイリノイ州のバイオメトリック情報プライバシー保護法（BIPA）に違反しているとして集団訴訟が発生した。PimEyesは自身の顔写真がインターネット上で悪用されたり盗撮画像が流出されていないかを監視するツールである。しかし、BIPAの規定ではイリノイ州の住民の生体情報を利用するには事前の通知が必要とされている。PimEyesはこれを怠ったと原告は主張している。³²
7	米	医療保険会社のCignaが保険金請求の承諾可否を決めるの用いるAIが不当に請求を却下しているとして集団訴訟を提起された。本来は社内の医師の承認が必要だが、中を見ることなく承認できるシステムだったとのこと。³³なお、近しい理由でUnitedHealthcareに対しても集団訴訟が発生している。³⁴

医療や逮捕など人生に関わる意思決定にAIを用いる際はその精度に特に敏感になる必要がありますが、残念ながら多くのインシデントが今年も発生したようです³⁵。
このような事例でマイノリティが犠牲となる理由として訓練データが不均衡であることが挙げられます。つまり、訓練データにマジョリティのデータばかり含まれており、彼らに対する識別にオーバーフィットしてしまいます。同様に精度評価の際にも、きっちりと条件付けを行わなければマイノリティに対する不都合などに気付かない可能性があり、開発者は深く注意しなければなりません。

以上です

あえてオーディエンスを定めずにつらつらとインシデントを挙げてみました。文書が下手なので読みづらかったと思いますが、ご容赦ください。

意外と日本国内での訴訟とかを見つけられなかったのが心残りです。米国と比べるとAIの利用が圧倒的に少ないからだと思うのですが…。あと、本当は行政の動きについても書きたかったのですが、そんな時間はありませんでした。まぁしゃあないですね。

イタリア、ChatGPTの一時禁止を解除　使用条件満たす ↩
AIとチャット後に死亡　「イライザ」は男性を追いやったのか？ ↩
GPT-4 Technical Report ↩
ChatGPTで他人のチャット履歴が見えてしまうバグが発生、バグ修正にChatGPTは一時ダウン＆チャット履歴は利用不可のまま ↩
Samsung、ChatGPTの社内利用で3件の機密漏洩 ↩
ChatGPTで資料作成、実在しない判例引用　米国の弁護士 ↩
摂食障害ヘルプラインのチャットボットが不適切なアドバイスで利用停止に。AIはどれだけ人間の代わりができるのか ↩
Group-IB Discovers 100K+ Compromised ChatGPT Accounts on Dark Web Marketplaces; Asia-Pacific region tops the list
10万件のChatGPTアカウントが闇市場に、どう盗んだのか誰が欲しがるのか ↩
弊社の記事に関するお詫びとお知らせ ↩
マイクロソフト糾弾される… 女性の死亡記事の隣に、AIが作った死因を推測するユーザー投票 ↩
「ChatGPT」から個人情報含む学習データの抽出に成功--Google DeepMind研究者ら ↩
Quebec man who created synthetic, AI-generated child pornography sentenced to prison ↩
“米国防総省近くで爆発”偽画像拡散株価一時下落する騒動に ↩
AI Photo Filter Lightens Skin, Changes Eye Color in Student's 'Professional' Image ↩
New Jersey high school students accused of making AI-generated pornographic images of classmates
米国でディープフェイクポルノ規制が加速、高校生の被害受け
なお、類似のインシデントとして以下が挙げられる。
South Korean man used AI to create sexual images of children
Deepfake Technology Was Used to Generate Naked Pictures of Underage Girls in Spanish Town ↩
Facebook Messenger AI Stickers Generate Ethical and Content Moderation Concerns ↩
スポーツ・イラストレイテッド誌が記事削除、虚偽の記者名とＡＩ顔写真で掲載 ↩
ディープフェイクによる偽ニュースは五万とあります。（ちゃんと内容は読んでいないですが）目についたやつを挙げておきます。
まるで本人が…相次ぐ「AIフェイク」あなたは見抜けますか？
https://incidentdatabase.ai/cite/495
https://incidentdatabase.ai/cite/499
https://incidentdatabase.ai/cite/544
https://incidentdatabase.ai/cite/547
https://incidentdatabase.ai/cite/565
https://incidentdatabase.ai/cite/573
https://incidentdatabase.ai/cite/568
https://incidentdatabase.ai/cite/601
https://incidentdatabase.ai/cite/602
https://incidentdatabase.ai/cite/606
https://incidentdatabase.ai/cite/607 ↩
著作権に対する扱いなどは若干異なるかもしれません。詳しく読めていませんが、以下の資料などをご確認ください。ディープフェイク動画に対する民事的救済の権原について ↩
てきとうに言ってます。 ↩
名誉棄損は（真偽に関わらず）事実を公然と指摘することが成立要件に含まれておりますが、ディープフェイクはその精巧さから事実性が認められたようです。ＡＩ悪用で女性タレントの顔合成，アダルト動画配信の男に有罪判決 ↩
DEEPFAKE AND SMISHING. HOW HACKERS COMPROMISED THE ACCOUNTS OF 27 RETOOL CUSTOMERS IN THE CRYPTO INDUSTRY ↩
AI音声を詐欺に悪用　3秒の素材で親族らになりすまし ↩
Cruise Robotaxi Initially Blamed for Ambulance Delay in Case Where Patient Later Died; Subsequent Reports Clear Cruise of Fault ↩
GMの自動運転車、ひき逃げされた女性を下敷きに　無人走行中に避けきれず ↩
産業用ロボットで毎年３人死亡･･･人間と箱の見分けつかず事故も
 Man crushed to death by robot in South Korea ↩
「レベル4」自動運転車両自転車と接触事故で運行中止に福井 ↩
テスラが200万台超リコール過去最大規模自動運転支援に問題 ↩
AIの訓練のために… 新興国の10代の若者たちがトラウマになるようなコンテンツにさらされている ↩
TechScape: ‘Are you kidding, carjacking?’ – The problem with facial recognition in policing ↩
Australian terrorism prediction tool considered autism a sign of criminality despite lack of evidence
ソースとなる報告 ↩
Illinois Residents File Class Action Lawsuit Against Facial Recognition Technology Companies for Allegedly Violating BIPA ↩
保険金請求を「アルゴリズムで瞬時に却下」患者が米保険大手を提訴
 Incident 591: Cigna Algorithm PXDX Allegedly Rejected Thousands of Patient Claims En Masse in Breach of California Law ↩
Incident 608: UnitedHealth Accused of Deploying Allegedly Flawed AI to Deny Medical Coverage ↩
表で紹介したもののほかに以下のようなインシデントも発生しました
Incident 582: Racial Bias in Lung Function Diagnostic Algorithm Leads to Underdiagnosis in Black Men
Incident 598: False Arrest of Georgia Man Due to Louisiana Police's Faulty Facial Recognition Technology ↩