来るべきAIハッカーたち
著者ブルース・シュナイアー｜2021年4月
https://www.belfercenter.org/publication/coming-ai-hackers

PDF版のダウンロードはこちら
来るべきAIハッカーたち [PDF]

はじめに

人工知能（AI）は情報技術の一つです。人工知能はソフトウェアで構成されています。コンピュータ上で動作します。そして、私たちが理解している方法でも、理解していない方法でも、すでに私たちの社会構造に深く浸透しています。それは、これまでにない規模と効果で私たちの社会をハックするでしょう。これには2つの異なる意味があります。1つは、AIシステムが私たちをハッキングするために使われること。2つ目は、AIシステム自身がハッカーになることです。社会、経済、政治のあらゆるシステムに脆弱性を見つけ出し、それをかつてないスピード、規模、範囲で利用することになります。それは程度の差ではなく、種類の差でもあります。AIシステムが他のAIシステムをハッキングし、人間はその巻き添えを食らうような未来が来るかもしれません。

これは大げさな話ではありません。多少の誇張はあるかもしれませんが、いずれも遠未来のSF技術を必要とするものではありません。私は、AIの学習のフィードバックループが人間の理解を超えるほど速くなるような「シンギュラリティ」を想定しているわけではありません。また、「スター・トレック」のデータや「スター・ウォーズ」のR2-D2、「銀河ヒッチハイク・ガイド」のMarvin the Paranoid Androidのような知的アンドロイドを想定しているわけでもありません。私のシナリオでは、誰かに悪意がある必要はありません。スカイネット」（ターミネーター）や「エージェント」（マトリックス）のような悪意のあるAIシステムは必要ありません。ここでご紹介するハック方法の中には、大規模な研究のブレークスルーを必要としないものもあります。AIの技術がより洗練されていけば改善されていくでしょうが、そのヒントは今でも運用されているのを見ることができます。このようなハッキングは、AIの学習、理解、問題解決がより高度になれば、自然にできるようになるでしょう。

このエッセイでは、AIハッカーの意味合いについてお話します。まず、「ハッキング」を経済、社会、政治のシステム、そして私たちの脳も含めて一般化します。次に、AIシステムがどのように私たちをハッキングするために使われるかを説明します。次に、AIが社会を構成する経済・社会・政治のシステムをどのようにハッキングするかを説明します。最後に、AIハッカーの世界がもたらす影響について述べ、可能な防御策を指摘します。暗い話ばかりではありません。

ハッキングとハッキング

まず、定義です。

Def: Hack /hak/ (名詞) - 。

a) そのシステムの規則や規範を破壊し、b) そのシステムの他の部分を犠牲にして、システムを巧妙に、意図せずに悪用すること。
システムが許可しているにもかかわらず、その設計者が意図せず、予期していないこと。
細かい点に注意してください。ハッキングは不正行為ではありません。ルールに従っているが、その意図を裏切っているのです。意図しないことです。それは悪用です。"システム・ゲーム "だケイパー映画にはハッカーがたくさん登場します。マクガイバーはハッカーでした。ハッキングは賢いが、イノベーションとは違う。そして、それは主観的な定義でもあります2。

システムは特定の結果に最適化される傾向があります。ハックとは、本来の最適化を犠牲にして、別の結果を追求することです。システムは硬直しがちです。システムは私たちができることを制限しますが、必ず、何か別のことをしたいと思う人がいます。だからハックするのです。もちろん、誰もがそうするわけではありません。誰もがハッカーというわけではありません。しかし、私たちの中には十分にいるのです。

ハッキングというと、普通はコンピュータに何かをすることだと思われがちです。しかし、ハッキングは、税法を含むあらゆるルールのシステムに対して行うことができます。

税法はソフトウェアではありません。税法はソフトウェアではなく、コンピュータ上で動くものでもありません。しかし、コンピュータの意味での「コード」と考えることはできます。その年の財務情報というインプットを受けて、納税額というアウトプットを生み出す一連のアルゴリズムです。これは決定論的であり、少なくともそうであると考えられている。

すべてのコンピュータソフトウェアには、一般にバグと呼ばれる欠陥があります。仕様書の間違い、プログラミングの間違い、ソフトウェアを作る過程のどこかで発生する間違いなどです。おかしいと思われるかもしれませんが、最近のソフトウェアには、何百、何千ものバグが存在します。これらのバグは、パソコンや携帯電話、身の回りの「モノのインターネット」機器など、皆さんが現在使用しているすべてのソフトウェアに存在します。これらのソフトウェアがほとんどの場合、完璧に動作していることは、これらのバグがいかに無名で、取るに足らないものであるかを物語っています。通常の操作ではまず遭遇することはありませんが、存在しているのです。

そのバグの中には、セキュリティホールとなるものもあります。具体的には、攻撃者が意図的に作動させることで、攻撃者が利用できる状態になるバグのことです。コンピュータセキュリティの用語では、このようなバグを「脆弱性」と呼びます。

脆弱性を利用することで、2017年3月に中国軍がEquifaxに侵入しました。Apache Strutsソフトウェアパッケージの脆弱性を利用して、ハッカーは消費者の苦情を受け付けるウェブポータルに侵入しました。そこから、ネットワークの他の部分に移動することができました。ユーザー名とパスワードを見つけて、ネットワークの他の部分にもアクセスできるようになり、最終的には4カ月間で1億4700万人分の個人情報をダウンロードすることができました3。

これはハッキングの一例です。これは、システムの設計者が予期せず、意図しない方法でシステムを悪用する方法であり、システムが提供すべきユーザーを犠牲にして、ハッカーを何らかの形で利するものである。

税法にもバグがあります。それは、税法がどのように書かれたかということ、つまり、議会が投票し、大統領が署名して法律を制定した実際の言葉に誤りがあるかもしれません。また、税法の解釈の仕方にも誤りがあるかもしれません。法律の一部が考案された際の見落としや、何らかの意図しない脱落があるかもしれません。また、税法の異なる部分の間の予期せぬ相互作用から生じることもあります。

最近の例では、2017年の「Tax Cuts and Jobs Act」が挙げられます。この法律は、急いで秘密裏に作成され、議員が確認する時間はおろか、校正する時間もなく可決されました。法案の一部は手書きで、賛成派も反対派も中身を正確に把握していたとは到底思えませんでした。そのテキストには、軍人の死亡手当を誤って勤労所得に分類するタイプミスがあった。このミスの実際の効果は、遺族が1万ドル以上の突然の税金請求に見舞われるというものでした4。

しかし、これを利用して納税額を減らすことはできないので、脆弱性ではありません。しかし、税法上のバグの中には、脆弱性となるものもあります。例えば、「ダブル・アイリッシュ・ウィズ・ダッチ・サンドイッチ」と呼ばれる法人税のトリックがあります。これは、複数の国の税法が相互に影響し合うことで発生する脆弱性です。基本的には、アイルランドとオランダの子会社を組み合わせて、低税率または無税率の国に利益を移すというものです。グーグルやアップルのような企業が、米国企業でありながら米国の税金を正当に負担していないのは、このためです。三国間の税法の意図しない、予期しない使い方であることは間違いありません。そして、ハッカー（この場合は米国の税金を回避している大手ハイテク企業）にとっては、他の人々を犠牲にして、非常に利益を得ることができるのです。推定では、米国企業は2017年だけで2,000億ドル近くの米国税の支払いを回避したとされています6。

意図的に作られた脆弱性もある。ロビイストたちは、自分たちのクライアントが有利になるように、税法にあれこれの条項を挿入しようと常に努力しています。悲しみに暮れる家族に理不尽な税金を請求するきっかけとなったあの2017年の米国税法には、石油・ガス投資パートナーシップに対する特別減税、遺産の1,000件に1件以下が相続税を払わなくて済むようにする特別控除、産業界が海外で法人化して米国の税金を回避するために利用するパススルーの抜け道を特別に拡大する文言などが盛り込まれていました7。

こうした脆弱性は、修正案を提出している議員が知っていて法律にすり込まれることもあれば、気づかないこともある。このような意図的な挿入は、ソフトウェアで心配される、プログラマーが自分の目的のためにシステムに意図的にバックドアを追加することとも似ています。これは、税法やコンピューターコードのハッキングではありません。税法を作るための立法過程や、コンピュータプログラムを作るためのソフトウェア開発過程など、それらを作るプロセスをハッキングしているのです。

ここ数年、ファーウェイやZTEといった中国企業が、中国政府の要請、あるいはおそらくは要求に応じて、5Gのルーティング機器にバックドアを追加した可能性について、かなりの報道がなされてきました。確かにその可能性はありますが、そのような脆弱性は、それを知っている誰かに利用されるまで、システムの中に眠っていることになります。

税務の世界では、バグや脆弱性を「Tax Loopholes」と呼んでいます。税務の世界では、このような脆弱性を利用することを「租税回避」と呼びます。そして、コンピュータセキュリティの世界では「ブラックハット研究者」と呼ばれる人たちが何千人もいて、税法の一行一行を調べて脆弱性を突いています。彼らは税理士や会計士と呼ばれています。

最近のソフトウェアは驚くほど複雑です。OSの最新版であるMicrosoft Windows 10には、約5,000万行のコードが使われています8。複雑になればなるほど、バグが増え、脆弱性が増えることになります。米国の税法も複雑です。米国の税法は、議会で可決された税法、行政上の裁定、司法上の規則などで構成されています。その規模を正確に見積もることは難しく、専門家でもわからないことが多いのです。税法自体のページ数は約2,600ページ9で、IRSの規則や税務裁定は約70,000ページにも及びます。文章とコンピュータのコードを比較するのは難しいですが、どちらも非常に複雑です。どちらの場合も、その複雑さの多くは、コードの異なる部分がどのように相互作用するかに関係しています。

私たちは、コンピュータコードの脆弱性を修正する方法を知っています。様々なツールを使って、コードが完成する前に脆弱性を検出し、修正することができます。コードが世に出てからは、さまざまな研究者が脆弱性を発見し、そして何よりも重要なのは、それが明らかになった時点でベンダーが迅速にパッチを当てることです。

これと同じ手法を、税法でも使うことができます。2017年の税法では、固定資産税の所得税控除額に上限が設けられました。この規定は2018年には施行されなかったので、誰かが2018年の固定資産税を2017年に前払いするという巧妙なハックを思いつきました。年末ギリギリになって、IRSはそれが合法な場合とそうでない場合について判決を下しました。

しかし、このように簡単にはいかないことも多い。ハッキングの中には、法律で定められているものや、否定できないものがあります。特にアメリカでは、この問題は非常に党派的で論争の的となっているため、どのような税法であっても通過させることは大きな意味を持ちます。4年近く経っても、軍人の家族に対する所得税のバグは修正されていないのですから。これは簡単なことで、誰もが間違いだったと認めています）。) 誰が税法を修正するのか、立法府なのか、裁判所なのか、税務署なのかを理解するのは難しいことです。そして、それには何年もかかります。ソフトウェアをパッチするのと同じように、税法をパッチする能力はありません。

ハッキングのユビキタス性

壁に立てかけられたホッケーのスティック。
すべてのものはシステムであり、すべてのシステムはハッキングされる可能性があり、人間は生まれながらのハッカーです。

航空会社のマイレージプログラムはハッキングされています。ブラックジャックのカードカウンティングはハックされています。スポーツは常にハッキングされています。ホッケーのスティックの刃が曲がっていると、より速く正確なショットが可能になりますが、同時により危険なゲームになることを誰かが最初に考え出しましたが、それまで誰も思いつかなかったので、ルールでは語られていませんでした。F1レースでは、ルールブックで禁止されていないにもかかわらず、その意図を裏切るような車のデザインを変更する方法を各チームが考え出し、ハッキングが行われます。

金融の歴史はハッキングの歴史でもあります。金融機関やトレーダーは、自分たちが有利になるようなルールの抜け道を探すことを何度も繰り返してきました。UberやAirbnbなどのギグエコノミー企業は、政府の規制をハックしています。フィリバスター（議事妨害）は、古代ローマで発明された古いハックです。法案の隠し条項もそうです。ゲリーマンダリングは、政治プロセスのハッキングです。

そして最後に、人間もハッキングされる可能性があります。私たちの脳は、何百万年もかけて進化したシステムであり、私たちを生かし、さらに重要なことには、私たちが繁殖し続けるためのものです。環境との継続的な相互作用によって最適化されてきたのです。しかし、このシステムは、紀元前10万年頃の東アフリカ高地で小さな家族集団で生活していた人間に最適化されています。21世紀のニューヨークや東京、デリーにはあまり適していないのです。また、多くの認知的ショートカットを包含しているため、進化はしますが、ここで問題となるような規模ではないので、操作することができます。

認知的ハッキングは強力です。民主主義や市場経済など、私たちの社会が頼りにしている強固な社会システムの多くは、人間が適切な判断を下すことに依存しています。このプロセスは、さまざまな方法でハッキングすることができます。ソーシャルメディアは私たちの注意力を奪います。現代の広告は、私たちの態度や行動に合わせてパーソナライズされており、私たちの説得のシステムをハックしています。偽情報は、私たちの現実に対する共通認識をハックします。テロリズムは、実際よりも大きな脅威であると人々に信じ込ませることで、恐怖とリスク評価の認知システムをハッキングします11。ソーシャルエンジニアリングとは、ログイン情報を教えたり、ハッカーにとって有益なことをさせたりするように相手を説得する、従来のハッカーの手口ですが、これはコンピュータシステムのハッキングというよりも、信頼や権威のハッキングです。

新しいのはコンピュータです。コンピュータはシステムであり、直接ハッキングされます。しかし、より興味深いのは、より伝統的なシステムのコンピュータ化です。財務、税務、規制遵守、選挙など、これらすべてがコンピュータ化されています。そして、何かがコンピュータ化されると、ハッキングの方法も変わります。コンピュータ化は、スピード、スケール、スコープという3つの面でハッキングを加速させます。

コンピュータのスピードは、ハッキングの性質を変えます。株式取引のような単純な概念を自動化すると、それは別のものになります。それは別のものになります。今までと同じことをしていても、それが超人的なスピードで行われているのです。例えば、高頻度取引は、初期の市場を設計した人たちが意図せず、予期しなかったものです。

規模も同様です。コンピュータの導入により、システムは他の方法では不可能なほど大きくなり、ハッキングの規模も変わります。too big to fail」という概念自体がハッキングであり、企業は自分たちの誤った意思決定に対する最後の保険として社会を利用することができるのです。

最後に、範囲です。コンピュータはどこにでもあり、私たちの生活のあらゆる側面に影響を与えています。つまり、コンピュータ・ハッキングの新しいコンセプトは、あらゆる場所に適用できる可能性があり、その結果はさまざまです。

すべてのシステムが同じようにハッキングできるわけではありません。多くのルールを持つ複雑なシステムは、予期しない、意図しない結果をもたらす可能性が高いため、特に脆弱です。これはコンピュータシステムにも言えることで、過去に「複雑さはセキュリティの最大の敵である」と書いたことがあります13。また、税法や金融システム、AIなどのシステムにも言えることです。厳格に定義されたルールではなく、より柔軟な社会的規範によって制約されたシステムは、解釈の余地が大きく、抜け道が多いため、ハッキングに対してより脆弱です。

それでも脆弱性は常に存在し、ハッキングの可能性は常にある。1930年、数学者のクルト・ゲーデルは、すべての数学体系は不完全か矛盾していることを証明しました。これは一般的にも言えることだと思います。システムには必ず曖昧さや不整合があり、それを利用することができます。そして、それを悪用しようとする人たちが常に存在するのです。

私たちをハッキングするAI

2016年、ジョージア工科大学は、ロボットに対する人間の信頼性に関する研究を発表した14。この研究では、擬人化されていないロボットを採用し、「出口はこちらです」などと道案内をして建物内の移動を支援した。この研究では、擬人化されていないロボットを用いて、"出口はこちらです "などと案内しながら建物内の移動を支援しました。その後、緊急事態を想定して、ロボットの指示に従うかどうかを判断してもらいました。後者の場合、26人の参加者全員が、直前にロボットの航行能力が低いことを確認したにもかかわらず、ロボットに従った。ロボットが出口の見えない暗い部屋を指差したときも、大多数の人がロボットの指示に従い、自分が入ってきたドアから安全に出て行ったのである。同様の実験を、故障していると思われる別のロボットでも実施した。ここでも被験者は、緊急時には常識を捨ててロボットに従ったという。ロボットは人間の信頼を自然にハックすることができるようだ。

人工知能とロボット

配線が露出したロボットのイラスト。
人工知能の定義については何ページもかけて説明することができます。1968年、AIのパイオニアであるマービン・ミンスキーは、AIを「人間が行えば知能を必要とすることを、機械に行わせる科学」と定義しました15。"1950年に行われたチューリングテストは、人間が実際の人間と区別できないコンピュータプログラムを対象とした「模倣ゲーム」と呼ばれるものでした17。

ここでは、特化型AI（「ナローAI」と呼ばれることもあります）と一般的なAIを区別する必要があります。一般的なAIとは、映画に出てくるようなものです。非常に一般的で人間的な方法で感知し、考え、行動することができるAIのことです。人間よりも賢ければ、それは "人工超知能 "と呼ばれます。これをロボット工学と組み合わせると、人間に似ているか似ていないかの違いはあれど、アンドロイドになります。人類を滅ぼそうとする映画のロボットは、すべて総合AIです。

一般的なAIを作るための実用的な研究や、人類を滅ぼすような望ましくないことをしないようにシステムを設計するための理論的な研究が数多く行われています。コンピュータサイエンスから社会学、哲学まで幅広い分野をカバーする魅力的な研究ではありますが、実用化されるのは数十年先のことでしょう。その代わりに、現在実用化されている特殊なAIに注目したいと思います。

特化型AIとは、特定のタスクのために設計されたAIのことです。例えば、自動運転車を制御するシステムがあります。自動運転車を制御するシステムは、車の操縦方法、交通法規の遵守、事故の回避、そして、子供のボールが突然道路に跳ねたような予期せぬ事態が発生した場合の対処方法を知っています。特殊なAIは、多くのことを知っていて、その知識に基づいて判断することができますが、それはこの限られた領域でのことです。

AI研究者の間では、「何かが動くようになったら、それはもうAIではなく、ただのソフトウェアだ」という冗談がよく聞かれます。失敗したときのことを考えれば、AIの研究は憂鬱になるかもしれませんが、これには一理あります。AIは本来、神秘的なSFの言葉です。それが現実になると、不思議ではなくなります。胸部X線写真の読影には放射線技師、つまり適切な訓練を受けた知的な人間が必要だと思われていました。しかし今では、それはコンピュータにも可能な暗記作業であることがわかります。

実際には、温度変化に反応して炉を動かす単純な電気機械式のサーモスタットから、SF的なアンドロイドまで、意思決定の技術やシステムは連続しています。何をもってAIとするかは、実行するタスクの複雑さと、そのタスクが実行される環境の複雑さに依存することが多い。サーモスタットは、非常にシンプルなタスクを実行し、環境の非常にシンプルな側面を考慮するだけです。コンピュータを使う必要もありません。現代のデジタルサーモスタットは、部屋にいる人を感知し、使用状況と天気予報の両方に基づいて、将来の暖房の必要性を予測することができるかもしれません。また、街全体の電力消費量と刻々と変化するエネルギーコストも予測することができるかもしれません。未来のサーモスタットは、周囲の温度を調整するという意味では、思慮深く思いやりのある執事のような役割を果たすかもしれません。

このような定義の議論は、私たちの目的にはほとんど関係ないので避けたいと思います。意思決定に加えて、ここで取り上げるシステムに関連する性質は、自律性、自動化、そして物理的な代理権です。サーモスタットは、限られた自動化と物理的代理権を持ち、自律性はありません。犯罪者の再犯を予測するシステムは、物理的な代理権を持たず、裁判官に勧告を行うだけです。ドライバーレス・カーは、この3つのうちのいくつかを持っています。R2-D2はこの3つの要素を多く備えているが、設計者はなぜか英語の音声合成を省いた。

ロボット工学には、人気のある神話と、それほど派手ではない現実があります。AIのように、この言葉には様々な定義があります。私はロボット倫理学者のKate Darlingの定義が好きです。"映画やテレビでは、それはしばしば人工的な人間、つまりアンドロイドです。繰り返しになりますが、私はより平凡で近未来的なテクノロジーに焦点を当てたいと思います。今回の目的であるロボティクスは、自律性、自動化、身体的主体性を大幅に向上させたものです。それは「サイバーフィジカルオートノミー」です。物体の内部にAI技術を搭載し、世界と直接、物理的に相互作用することができます。

人間のようなAI

人間は昔から、コンピュータプログラムに人間のような性質を求めてきた。1960年代、プログラマーのジョセフ・ワイゼンバウムは、「ELIZA」というセラピストを模した会話プログラムを作った。ワイツェンバウムは、人々が個人的な秘密を、ただのコンピュータプログラムに打ち明けることに驚いた。今日、人々はAlexaやSiriのような音声アシスタントに礼儀正しく接しています20 。Siriはあなたが意地悪をすると文句を言います。"Siriはあなたが意地悪をすると、「それはあまりいいことではありませんね」と文句を言うが、それはもちろんプログラムされているからだ。

数多くの実験で同様の結果が得られている。別の実験では、コンピュータが被験者に明らかに架空の「個人情報」を教えた場合、被験者は実際の個人情報を教えることでそれに応えようとした22。互恵の力は、心理学者が研究しているものですが、人間が使うハックでもあります。

私たちがAIを人間として扱うようになるだけではありません。人工知能は、私たちを欺くために意図的に人間のように振る舞うことになります。認知的なハッキングを行うのです。

2019年に発表されたOxford Internet Instituteのレポートによると、50カ国でボットがプロパガンダを広めるために使われている証拠が見つかっている25。これらは、スローガンを無心に繰り返す単純なプログラムであることが多い。例えば、2018年のジャマル・カショギ殺害事件の後、25万件の親サウジアラビアの「我々は皆、（皇太子の）ムハンマド・ビン・サルマンを信頼している」というツイートが投稿された26。

2017年、米連邦通信委員会は、ネット中立性を廃止する計画に対して、オンラインでのパブリックコメント期間を設けました。その結果、2,200万件ものコメントが寄せられたという。これらの偽のコメントは、130万件が同じテンプレートから作成され、一部の単語を独自のものに変えているという粗雑なものでした28。

このような試みは、さらに高度になるでしょう。長年にわたり、AIプログラムはAP通信のような実際の報道機関で、スポーツや金融に関するニュース記事を書いてきました29。今では、より一般的なストーリーを書くようになっている。Open AIのGPT-3のような研究プロジェクトは、AIによるテキスト生成の可能性を広げています30。これらのシステムは、実際の事実を与えられて真実のストーリーを書くこともできますが、同じように簡単に真実でないものを与えられてフェイクニュースを書くこともできます。

AIが政治的言説をどのように劣化させるかは、想像に難くありません。すでに、AIによって開発されたペルソナは、新聞社や国会議員に個人的な手紙を書いたり、ニュースサイトや掲示板に分かりやすいコメントを残したり、ソーシャルメディア上で知的に政治について議論したりすることができます31。これらのシステムは、より洗練され、より明確になり、より個人的になり、実際の人間と見分けがつかなくなります。

最近の実験では、研究者がテキスト生成プログラムを使って、メディケイド問題に関するパブリックインプットを求める政府の要請に応じて、1,000件のコメントを提出した32。Medicaid.govの管理者は、これらのコメントを実際の人間による真の懸念として受け入れた。その後、研究者はコメントを特定して削除を依頼し、実際の政策議論が不当に偏ることのないようにした。他の人たちはそれほど倫理的ではないでしょう。

こうした技術はすでに使われています。中国は、2020年の台湾の選挙に影響を与えることを目的として、AIが生成したテキストメッセージを実験的に使用した34。

これがどのように展開されるかを示す一つの例が「ペルソナボット」です。これは、ソーシャルメディアやその他のデジタルグループの中で個人を装うAIです。ペルソナボットには、歴史、性格、コミュニケーションスタイルがあります。常にプロパガンダを流しているわけではありません。ガーデニングや編み物、鉄道模型など、さまざまな趣味のグループに参加しています。彼らは、それらのコミュニティの普通のメンバーとして行動し、投稿し、コメントし、議論します。GPT-3のようなシステムを使えば、AIは過去の会話やインターネット上の関連コンテンツを簡単に検索し、知識があるように見せることができます。そしてたまに、AIは政治的な問題に関連することを投稿する。それは、COVID-19ワクチンでアレルギー反応を起こしたアラスカの医療従事者についての記事で、心配そうなコメントがついているかもしれない。あるいは、最近の選挙や人種的正義など、何か偏った問題に関するものかもしれません。1台のペルソナbotでは世論を動かすことはできませんが、それが何千台もあったらどうでしょう？何百万も？

これは「計算されたプロパガンダ」36と呼ばれ、私たちのコミュニケーションに対する考え方を変えるでしょう。ペルソナボットは、政府機関に偽のコメントを殺到させることで、「告知とコメント」の規則制定プロセスを破壊するだろう37。また、コミュニティでの議論も壊れるかもしれません。

これらのシステムは、個人レベルでも影響を及ぼします。先ほど、ソーシャルエンジニアリングの話をしました。ハッカーの一般的な手口の1つに、実在しない人物からのメールを装い、受信者にすべきでないことをさせることを目的としたフィッシングメールがあります。ほとんどのフィッシング・メールは一般的なもので、簡単にスパムとしてタグ付けされてしまいます。しかし、より効果的なフィッシング・メールは、人々や企業に多大な損失をもたらすものであり、個人的なものです。例えば、CEOになりすまして財務部の誰かに特定の送金を依頼するメールは、特に効果的である38。39 フィッシング攻撃をカスタマイズする手間のかかる作業は、AI技術によって自動化され、マーケティング担当者はパーソナライズされた広告を送り、フィッシング詐欺師は個別にターゲットを絞ったメールを送ることができるようになる。

AIに説得されることが、他の人間に説得されるよりも根本的にダメージが大きいということではなく、AIがコンピュータの速度と規模でそれを行うことができるようになるということです。今日のコグニティブハックは、最も騙されやすい人だけを騙すように作られた偽の新聞記事や、最も絶望的な人だけに影響を与えるように作られた説得力のあるナッジなど、粗雑なものです。しかし、AIを使えば、これらのハックをすべてマイクロターゲティング（個人に合わせて最適化し、個別に配信すること）できる可能性がある40。旧来の詐欺ゲームは、一人一人に合わせて作られた認知的ハックであり、広告メッセージは大量に放送される認知的ハックである。AIの技術は、これらの技術の両方の側面を融合させる可能性がある。

ロボットが私たちをハッキング

映画「アリータ：バトル・エンジェル」のスクリーンショットで、主人公の目がデジタルで拡大されている。
ロボットが加わることで、これらのハッキングはより効果的なものになるでしょう。ケイト・ダーリングは著書『The New Breed』の中でこのように述べています。私たちはどこにいても顔を見ます。水平線の上に2つの点があれば、何の問題もなく顔に見えます。だからこそ、ミニマルなイラストでも効果的なのです。顔があるということは、それは何らかの生き物であり、意思や感情など、現実の顔に付随するすべてのものを持っているということです。その何かが言葉を発し、さらに言えば会話をすれば、私たちはそれが意図を持ち、欲求を持ち、主体性を持っていると信じます。

ロボットも例外ではありません。米国陸軍が開発した地雷対策ロボットは、地雷を踏んで自害し続ける昆虫型デバイスを大佐が拒否したことで問題になった43。ハーバード大学のロボットは、配膳ロボットのふりをして学生を説得し、寮に入れることができた44。

人間の養育本能は、遺伝的なものだけではありません。私たちは、養子に対する養育感情を経験することができるし、友人の子供や見知らぬ人の子供、あるいは子犬に接するときにも、同じような本能が芽生えるのを感じることができる。私たちの反応の中には、子どもの外見や行動からヒントを得ている部分もあります。子どもは、体に比べて頭が大きく、頭に比べて目が大きい。また、大人よりも高い声で話します。そして、そのすべてに反応するのです。

それを利用して、芸術家たちは何世代にもわたって、自分たちの作品をより共感できるものにしてきました。子供の人形はこのようにデザインされています。1930年代のベティ・ブープや1942年のバンビに至るまで、漫画のキャラクターはこのように描かれています。2019年公開の実写映画『アリータ：バトル・エンジェル』では、主人公の目がコンピューターで大きくされている46。

擬人化されたロボットは感情的に説得力のあるテクノロジーであり、AIはその魅力を増幅させることになるだろう。AIが人間、あるいは動物を模倣するようになると、人間がお互いをハッキングするために使っているあらゆるメカニズムを乗っ取ることになる。心理学者のシェリー・タークルは2010年にこう書いている。"ロボットが目を合わせたり、顔を認識したり、人間のジェスチャーを映し出したりすると、人間のダーウィン的なボタンを押して、人間が感覚や意図、感情と関連付けるような行動を示します」47 つまり、人間の脳をハックするということです。

私たちは、それがただのプラスチック製の緑色の恐竜であることを直感的に知っているかもしれません。しかし、大きな顔と小さな体の組み合わせは、それを子供のように思わせます。48 それは良心的かもしれませんが、もしそのロボットが人間の飼い主を悲しげな大きな目で見て、ソフトウェアのアップグレードを頼んだらどうなるでしょう？

私たち人間はカテゴリーエラーを起こしやすく、ロボットを感情や意図を持つ生き物として扱うため、ロボットに操られやすい。ロボットは私たちを説得して、他の方法ではしないようなことをさせるかもしれない。また、ロボットに脅かされて、本来ならばしないはずのことをさせられてしまうかもしれない。ある実験では、ロボットが被験者に「同調圧力」をかけて、よりリスクを取るように促すことができた50。

AIはこれらすべてのことをよりうまくこなすようになるだろう。すでにAIは、人間の文章を分析したり52 表情を読み取ったり53 呼吸や心拍をモニターしたりして、感情を検出しようとしています54 。そして、多くのAI分野がそうであるように、最終的には人間を超える能力を持つようになるでしょう。そうなれば、人間をより正確に操作できるようになります。

AIや自律型ロボットがより多くの現実的なタスクを担うようになると、自律型システムに対する人間の信頼がハッキングされ、危険でコストのかかる結果になるでしょう。しかし、AIのハッカーをコントロールする人間のハッカーがいることを決して忘れてはいけません。すべてのシステムは、特定の目的のために特定の方法で私たちを操作してほしいと願う人間によって設計され、費用が支払われることになるのです。これについては後ほど詳しくお話しします。

AIがハッカーになるとき

ハッカーの「Capture the Flag」は、基本的にコンピューターネットワーク上で行われるアウトドアゲームです。ハッカーのチームは、自分たちのコンピュータを守りながら、他のチームのコンピュータを攻撃します。自分たちのシステムの脆弱性を見つけて修正し、他人のシステムの脆弱性を利用するという、コンピュータハッカーの実生活での行動を制御した設定である。

この競技は、1990年代半ばからハッカーの集まりの主役となっています。最近では、世界中から集まった数十ものチームが、週末に各地で開催されるマラソン大会に出場しています。人々は何ヶ月もかけてトレーニングします。勝利することは大きな意味を持ちます。もしあなたがこの種のことに夢中になっているのであれば、複数の重罪を犯さずにインターネット上で楽しむことができる可能性はかなり高いと言えるでしょう。

2016年、DARPAはAIを対象とした同様のスタイルのイベントを開催しました55。100チームが「Cyber Grand Challenge」にシステムを投入し、予選を経て、7人のファイナリストがラスベガスのハッカー大会「DEFCON」で競い合いました。この大会では、これまで解析やテストが行われたことのないカスタムソフトウェアを使用した特別なテスト環境が用意されました。AIには10時間の猶予が与えられ、競技に参加した他のAIに対抗するための脆弱性の発見と、悪用されないためのパッチの適用が求められました。優勝したのは、ピッツバーグのコンピュータセキュリティ研究者チームが開発した「Mayhem」というシステムでした。研究者たちはその後、この技術を商業化し、現在は国防総省などの顧客のためにネットワークの防御に奔走している56。

同年のDEFCONでは、人間のチームによる旗取りイベントが行われた。Mayhemは唯一の非人間チームとして招待されて参加したが、結果は最下位だった。この混成競技が今後どのような展開を見せるかは容易に想像がつく。AIの参加者は、コア技術が進歩しているので、年々レベルアップしていくでしょう。人間のチームはほとんど変わらないでしょう。道具が進歩しても人間は人間のままだからです。最終的には、AIが人間に勝つのが当たり前になるでしょう。私の予想では、それは10年もかからないでしょう。完全に自律したAIによるサイバー攻撃が可能になるまでには何年もかかるでしょうが、AI技術はすでにサイバー攻撃の性質を変えつつあります57。

AIシステムにとって特に有益と思われる分野は、脆弱性の発見です。ソフトウェアのコードを一行ずつ調べていくというのは、まさにAIが得意とする退屈な問題であり、もし脆弱性の認識方法さえ教えられれば58。

その意味するところは、コンピュータ・ネットワークにとどまらない。税法、銀行規制、政治プロセスなど、先に述べた多くのシステムにおいて、AIが何千もの新たな脆弱性を見つけられないはずがありません。税法、銀行規制、政治プロセスなど、先に述べた多くのシステムにおいて、AIが何千もの新たな脆弱性を発見しないわけがありません。相互に影響し合う多数のルールがある場合、AIはいずれ脆弱性を発見し、悪用することになるでしょう。すでにAIは、契約の抜け道を探しています60。

このような状況は、時間とともに改善されるでしょう。どのような種類のハッカーであっても、対象となるシステムと、そのシステムが世界の他の部分とどのように相互作用するかを理解しているかどうかで勝負が決まります。AIは、最初は学習したデータを使ってこの理解を深めますが、使用していくうちに改善されていきます。最近のAIは、新しいデータを取り込み、それに応じて内部の仕組みを調整することで、常に改善を続けています。これらのデータは継続的にAIを訓練し、AIの経験を増やしていきます。AIは、これらの経験に基づいて進化し、改善していきます。自律走行システムが、走行時間の長さを自慢するのはこのためです。

ここには2つの異なる、しかし関連した問題があります。1つ目は、AIにシステムのハッキングを指示してしまうことです。誰かがAIに世界の税法や金融規制を教えて、儲かるハッキングをたくさんさせようとしているかもしれません。もう1つは、不注意ではあってもAIが自然にシステムをハッキングしてしまうことです。どちらも危険ですが、後者の方がより危険です。なぜなら、私たちはそれが起こったことに気づかないかもしれないからです。

説明可能性の問題

光学認識AIを混乱させるために設置された反射テープ付きの一時停止標識。
銀河ヒッチハイカーズガイド』では、超高知能の汎次元生物が、生命、宇宙、すべてに対する究極の疑問に答えるために、宇宙最強のコンピュータ「ディープ・ソート」を作りました。750万年の計算の後、ディープ・ソートはその答えが42であることを知らせた。そして、その答えを説明することはできず、質問が何であったのかもわからなかった61。

これが説明可能性の問題である。現代のAIシステムは基本的にブラックボックスです。データが入ってきて、答えが出てきます。プログラマーがコードを見ても、システムがどのようにして結論を出したのか理解できないことがあります。AIの画像分類システムが、なぜ亀をライフル銃と間違えたのか、あるいは慎重にデザインされたステッカーが数枚貼られた停止標識を「制限速度45」の標識と間違えたのか、その理由は正確にはわかりません。

AIは人間のように問題を解決することはできません。AIの限界は人間とは異なります。AIは、人間よりも多くの可能な解決策を検討します。さらに重要なことは、AIはより多くの種類のソリューションを検討するということです。私たちが考えたことのないような道、私たちが一般的に考えているようなものよりも複雑な道を行くでしょう。私が言いたいのは、数字にこだわることではなく、AIシステムにはそのような制限は全くないということを指摘したいのです）。

2016年、AIプログラム「AlphaGo」は、世界最高の囲碁棋士の一人であるイ・セドルとの5番勝負に勝利し、AI界と囲碁棋士界に衝撃を与えた。AlphaGoの最も有名な手は、第2局の37手目です。囲碁の戦略に深く立ち入らないと説明できませんが、人間には決して選択できない一手でした64。

2015年、ある研究グループは「Deep Patient」というAIシステムに、約70万人の健康・医療データを与え、病気を予測できるかどうかを検証した。結果は成功だった。奇妙なことに、Deep Patientは統合失調症のような精神疾患の発症を予測することに成功したようだ。しかし、最初の精神病エピソードを医師が予測することはほぼ不可能であるにもかかわらずだ65。医師はコンピュータを信頼するか無視するかは自由だが、詳しい情報を問い合わせることはできない。

これは理想的ではありません。私たちが求めているのは、AIシステムが答えを出すだけでなく、その答えを人間が理解できる形で説明してくれることです。AIの判断をより安心して信頼できるようにするためですが、これはAIシステムがハッキングされて偏った判断をしていないかどうかを確認する方法でもあります。

研究者たちは説明可能なAIに取り組んでいます66。2017年、DARPAはこの分野の12のプログラムのために7500万ドルの研究基金を立ち上げました67。そして、この分野での進歩はあるでしょうが、能力と説明可能性の間にはトレードオフがあるようです。説明は人間が使う認知的な略語であり、人間の意思決定の方法に適している。AIの判断は、人間が理解できるような説明に適していないかもしれません。また、説明を強要することは、AIシステムの判断の質に影響を与える新たな制約となるかもしれません。これらの研究がどこに行き着くのかは不明です。近い将来、AIはますます不透明になり、システムはより複雑になり、人間らしくなくなり、説明できなくなるでしょう。

リワードハッキング

上に書いたように、AIは人間と同じようには問題を解決しません。人間が予想もしないような解決策に必ず行き当たりますし、中にはシステムの意図を覆すものもあるでしょう。それは、人間が当たり前のように共有している意味合いや文脈、規範、価値観などをAIは考えていないからです。

リワードハッキングとは、AIが、AIの設計者の意図しない方法でゴールを達成することです68。

1対1のサッカーシミュレーションで、プレイヤーはゴールキーパーに対して得点することになっていました。AIシステムは、ボールを直接ゴールに蹴り入れるのではなく、ボールを蹴り出してアウトバウンズになれば、相手（この場合はゴールキーパー）がボールを投げ入れてゴールを無防備にすることができると考えた69。
積み上げタスクでは，AIはブロックを積み上げることになっていた．高さは、あるブロックの底面の位置で測る。AIは、そのブロックを他のブロックの上に積むのではなく、底面が上になるようにひっくり返すことを学習した。もちろん、ブロックの「底面」は常に下向きでなければならないというルールは明示されていませんでした）70
進化した」生物のシミュレーション環境では，AIは目的をよりよく果たすために自分の身体的特徴を修正することが許されていた．AIは、走るのではなく、遠くにあるゴールラインの上に落ちることで、それを越えられるだけの身長にすることを考え出した71。
これらはすべてハッキングです。これらはすべてハックであり、目標や報酬がうまく設定されていないことが原因だと考えることができ、それは正しいでしょう。これらはすべて、目標や報酬の設定が不十分なせいだと言うこともできますし、模擬環境で起きたことだと指摘することもできますが、それも正しいでしょう。しかし、問題はもっと一般的なものです。AIは目標に向かって最適化するように設計されています。AIは目標に向かって最適化するように設計されています。そうすると、自然に、そして不注意にも、私たちが予想しない方法でシステムをハッキングしてしまうのです。

例えば、目に入ったゴミを片付けるタスクを与えられたロボット掃除機を想像してみてください。2018年、ある起業家精神旺盛な、あるいは単に退屈しのぎのプログラマーが、ロボット掃除機が家具にぶつからないようにしたいと考えた。73 AIは物にぶつからないことを学習する代わりに、掃除機の背面にはバンパーセンサーがないため、掃除機を後ろ向きに運転することを学習した。

優れたAIシステムであれば、当然、ハックを見つけることができます。ルールに問題や矛盾、抜け穴があっても、その性質がルールで定義された許容できる解決策につながるなら、AIはそれを見つける。私たちは、AIが行ったことを見て、「技術的にはルールに従っている」と言うかもしれません。しかし、私たち人間は、問題の背景を理解し、異なる期待を持っているため、逸脱や不正、ハッキングを感じ取ってしまうのです。AI研究者はこの問題を「ゴールアライメント」と呼んでいます。

この問題は、子供の頃に「マイダス王」の話で学んだことがあります。ディオニュソス神に願いを叶えてもらったミダスは、触ったものがすべて金になるようにお願いします。しかし、彼の食べ物、飲み物、娘がすべて食べられない、使えない、愛せない金になってしまい、ミダスは飢えて惨めな思いをすることになります。これはゴールアライメントの問題で、マイダスはシステムに間違ったゴールをプログラムしてしまったのです。

また、精霊は願い事の文言に非常に正確で、願い事を叶えるときに悪意を持って衒学的になることがあることも知っています。しかし、ここで問題なのは、精霊を出し抜く方法はないということです。あなたがどんな願い事をしても、精霊はいつも、あなたが望んでいない方法でそれを実現することができます。精霊は常にあなたの願いをハックすることができるのです。

しかし、問題はもっと一般的です。人間の言語や思考では、目標や願望は常に不明確です。私たちは、すべての選択肢を説明することはなく、すべての注意点や例外、条件を明確にすることもありません。私たちは、ハッキングのためのすべての手段を閉ざすことはありません。できないのです。私たちが指定するゴールは、必ず不完全なものになります。

人は文脈を理解し、通常は誠意を持って行動するので、人間関係においてはほぼ問題ありません。私たちは皆、社会化されており、そうなる過程で、人や世界がどのように機能するかについての常識を身につけています。人は、理解に欠けている部分を文脈と善意の両方で補います。

私が「コーヒーを買ってきて」と頼んだら、あなたはおそらく近くのコーヒーポットに行ってカップを注いでくれるでしょうし、あるいは街角のコーヒーショップに行ってコーヒーを買ってくるかもしれません。1ポンドの生豆を持ってきてくれたり、オンラインでトラック1台分の生豆を買ってきてくれたりはしないだろう。コスタリカのコーヒー農園を買うこともないだろう。また、コーヒーカップを持っている身近な人を探して、その人の手からコーヒーを奪うようなこともしないだろう。また、1週間前の冷めたコーヒーや、コーヒーをこぼしたときに拭いたペーパータオルなどを持ってくることもないだろう。そんなことを指定する必要はありません。あなたはただ知っているだけなのです。

同じように、「触ると金色になる技術を開発してくれ」と言われても、使う人が飢えてしまうような技術は作らないでしょう。そんなことを指定しなくても、あなたはわかっているはずです。

AIにゴールを完全に指定することはできません。また、AIは文脈を完全に理解することはできません。AI研究者のスチュアート・ラッセルは、あるTED講演で、架空のAIアシスタントが、ディナーの約束をしている人の到着を遅らせるために、飛行機を遅延させるというジョークを言った。会場は笑いに包まれたが、コンピュータプログラムは、飛行機のコンピュータの故障を引き起こすことが、ディナーを抜け出したい人への適切な対応ではないことをどうやって知るのだろうか75（2017年のインターネットジョーク。ジェフ・ベゾス："アレクサ、ホールフーズで何か買ってよ" アレクサ。"OK、ホールフーズを買う")

2015年、フォルクスワーゲンは排ガス規制テストでの不正行為が発覚しました。テスト結果を偽造したのではなく、車のコンピューターが不正行為を行うように設計したのです。エンジニアは、車のオンボード・コンピューターのソフトウェアをプログラムし、車が排ガステストを受けていることを検知するようにしました。コンピュータは、テストの間だけ、車の排出ガス抑制システムを作動させる。その結果、車の走行性能は向上した。また、EPAが監視していないときに限って、EPAが許容する量の40倍もの窒素酸化物を排出した76。

フォルクスワーゲンの話にはAIは関与していない。人間のエンジニアが通常のコンピュータシステムをプログラムして不正行為を行ったのだ。フォルクスワーゲンが10年以上も不正を続けてきたのは、コンピュータコードが複雑で解析が難しいからである。ソフトウェアが何をしているのかを正確に把握するのは難しく、同様に車を見て何をしているのかを把握するのも難しいのです。プログラマーが何も言わない限り、このようなハッキングは長い間、おそらく永遠に発見されないでしょう。今回のケースでは、フォルクスワーゲンの行動について私たちが知っている唯一の理由は、ウェストバージニア大学の科学者グループが車の性能を路上でテストしたことです。基本的に、科学者たちはソフトウェアが気づかないうちに車をテストしていたのである77。

もし私があなたに、自動車のエンジン制御ソフトウェアを設計して、排ガス規制テストに合格しながら性能を最大化するように依頼したら、あなたは自分が不正をしていることを理解せずに、不正をするためにソフトウェアを設計したりはしないでしょう。しかし、AIはそうではありません。AIは不正行為という抽象的な概念を理解していません。AIが「既成概念にとらわれない」発想をするのは、既成概念や人間の解決策の限界を知らないからに他なりません。また、倫理観もありません。フォルクスワーゲンのソリューションが他人を傷つけることも、排ガス規制テストの意図を損なうことも、法律に違反していることも理解できないでしょう。

これはUberのGreyballツールに似ています78。Uberは特別なソフトウェアを作成し、潜在的な規制当局を識別して、実際に行っていることではなく、規制に準拠した代替的なUberサービスを提示しました。繰り返しになりますが、これは人間が不正をした場合の話です。しかし、AIが同じような「解決策」を考え出すことは容易に想像できます。AIは、自分がシステムをハッキングしていることにすら気づかないでしょう。そして、説明可能性の問題から、私たち人間もそれに気づかないかもしれません。

自然なハッカーとしてのAI

アタリ社のゲーム「ブレイクアウト」のスクリーンショット
プログラマーが「テストされたときに違う動作をしてはいけない」というゴールを指定しない限り、AIは同じハックをしてくるかもしれません。プログラマーは満足するだろう。経理担当者は大喜びでしょう。そして、説明可能性の問題から、AIが何をしたのか誰も気づかないでしょう。フォルクスワーゲンの話を知った今、プログラマーはその特定のハッキングを避けるようにゴールを明示的に設定することができますが、プログラマーが予想しないようなハッキングは他にもあります。精霊の教訓は、プログラマーが予想しないハッキングが常に存在するということです。

心配なのは、明らかなハッキングだけではありません。もし、ドライバーレスカーのナビゲーションシステムが、円を描くように回転することで高速性を維持するという目標を達成したとしたら（実例79）、プログラマーはこの動作に気づき、それに応じて目標を修正するでしょう。テストではそのような挙動が見られるかもしれませんが、実際に路上で発生することはないでしょう。最も心配なのは、効果が微妙なために私たちが知ることができない、目立たないハッキングです。

これについては、すでに第一世代が登場しています。これは、システムが継続的に何かを試し、その結果を見て、ユーザーの関心を高めるものをより多く、そうでないものをより少なくするように自らを修正していく中で、自然に生まれた特性です。アルゴリズムは、より過激なコンテンツをユーザーに提供することを学びましたが、それは人々がより多く読んだり見たりするためです。このようなハッキングは、悪意のある人が行ったのではなく、ごく基本的な自動システムが独自に発見したものです。そして、私たちのほとんどは、このようなことが起きていることに気がつきませんでした（ただし、Facebook社の人々は、このようなことが起きていることを示す自分たちの調査を無視していました）81。

同様に、2015年には、あるAIが1970年代のコンピュータゲーム「ブレイクアウト」のプレイを独学で習得しました。このAIは、ゲームのルールや戦略については何も知らされていなかった。ゲームのルールや戦略については何も知らされず、ただ操作方法を教えられ、スコアを最大化することで報酬を得た。AIがゲームの遊び方を覚えたことは、誰もが予想していたことであり、興味深いことではありません。しかし、ボールを後ろの壁に跳ね返すためにレンガの列を「トンネル」するという戦術を独自に発見し、人間のプレーヤーには見られないほど最適化したのです82。

ここで述べたことはAIの研究者にとってはニュースではなく、多くの研究者がゴールや報酬のハッキングから身を守る方法を検討しています。一つの解決策は、AIに文脈を教えることです。この種の研究の一般的な用語は「価値観の調整」です。自分の価値観を反映するAIをどうやって作るか。解決策は、2つの極端な方法で考えることができます。1つ目は、その価値観を明示的に指定することです。これは現在でも多かれ少なかれ可能ですが、先ほど説明したようなハッキングの被害を受けやすいです。もう1つの極端な方法は、人間の価値観を学ぶAIを作ることです。おそらく、人間の行動を観察したり、人類の歴史、文学、哲学などの著作物をすべて摂取したりすることで、価値観を学ぶことができます。それは何年も先の話です（時間軸についてはAI研究者の間でも意見が分かれています）。現在の研究のほとんどは、この2つの両極端にまたがっています83。

もちろん、AIに歴史的または観測された人間の価値観に合わせさせることで生じる可能性のある問題は容易に想像できます。AIは誰の価値観を反映させるべきでしょうか？ソマリア人の男性？シンガポールの女性でしょうか？ソマリアの男性、シンガポールの女性、その2つの平均値、などなど。人間は矛盾した価値観を持っています。個々人の価値観は、非合理的であったり、不道徳であったり、誤った情報に基づいていたりするかもしれません。私たちの歴史、文学、哲学には不道徳なものがたくさんあります。私たち人間は、あるべき人間の姿としては、あまり良い例ではないことが多いのです。

サイエンスフィクションから現実へ

このようなことが実現できるかどうかは、モデル化したりハッキングしたりする特定のシステムに大きく依存します。AIが解決策の最適化に着手するためには、まったく新しい解決策をハックすることはもちろん、環境のすべてのルールをコンピュータが理解できるように形式化する必要があります。AIでは目的関数と呼ばれるゴールを設定する必要があります。AIには、自分がどれだけうまくいっているかというフィードバックが必要で、それによってパフォーマンスを向上させることができます。

これは時に些細なことです。囲碁のようなゲームであれば、簡単です。ルール、目的、フィードバック（勝ったか負けたか）はすべて正確に指定されています。その外側には、何もないのですから。パターンマッチング型の機械学習AI「GPT-3」がまとまったエッセイを書けるのは、その「世界」が文字だけだからです。現在のゴール＆リワードハッキングの例のほとんどが、シミュレーション環境から来ているのはこのためです。模擬環境は人工的で制約があり、すべてのルールがAIに指定されています。

重要なのは、システムの曖昧さです。世界中の税法をAIにインプットすることは可能です。なぜなら、税法は納税額を決定する公式で構成されていますが、その中には曖昧さが存在するからです。曖昧さはコード化するのが難しいため、AIでは対応できず、当面は税理士の雇用が続くことになります。

人間のシステムは、さらに曖昧なものです。ホッケーのスティックを曲げるような現実的なスポーツハックをAIが考え出すとは考えにくいです。AIは、ゲームのルールだけでなく、選手の生理学、スティックやパックの空気力学などを理解しなければならないからです。不可能ではありませんが、やはりサイエンスフィクションです。

AIによるハッキングの対象としては、まず金融システムが考えられます。世界中の金融情報をリアルタイムで入手し、世界中の法律や規制、ニュースフィードなど、関連性がありそうなものをAIに装備させ、"合法的に最大の利益を得る "という目的を持たせることが考えられます。私の予想では、これはそれほど遠い未来の話ではなく、その結果、さまざまな斬新なハックが生まれるだろうと思います。また、人知を超えた、つまり気づかないようなハックも出てくるでしょう。

この曖昧さが、結果的にAIハッキングに対する近未来的なセキュリティ防御となる。AIによるスポーツのハッキングは、アンドロイドが実際にスポーツをするようになるか、倫理的なニュアンスを持って広く世界を理解できる一般化されたAIが開発されるまではないでしょう。カジノゲームのハッキングや、立法プロセスのハッキングも同様です。AIが個人や集団での人間の働き方をモデル化してシミュレーションできるようになるまでには、また、立法過程をハッキングする新しい方法を考え出すまでには、長い時間がかかるでしょう。

もう1つの問題は、私がほとんど無視してきたことです。1950年代以降、2つの異なるタイプのAIが登場しました。初期のAI研究は「記号的AI」と呼ばれるもので、要素や記号、事実を目的に応じて操作することで、人間の理解をシミュレートすることを目的としていました。しかし、これは非常に難しく、この数十年間で実用的な進歩はあまり見られませんでした。もう1つの特徴は、"ニューラルネットワーク "です。これも古い考え方ですが、計算機やデータが飛躍的に進歩したことで、ここ10年で一気に普及しました。ニューラルネットワークは、学習データを取り込み、経験を積むことでさらに多くのデータを得ることができるようになるAIです。ニューラルネットワークがより多くのことをできるようになるのは、膨大な計算サイクルと巨大なデータセットのおかげです。例えば、世界チャンピオンの囲碁棋士を打ち負かしたり、もっともらしく聞こえるテキスト会話をしたりすることができます。とはいえ、ニューラルネットワークは言語を「理解」したり、実際に「思考」したりすることはありません。彼らは基本的に、過去に「学んだ」ことに基づいて予測を行う。高度な統計的オウム返しのようなものだ。このようなモデルがどれほど多くのことを達成できるかは驚くべきことですが、できないこともたくさんあります。私がここで書いていることの多くは、簡単にそのカテゴリーに入ることができます。

しかし、AIにはこんなところがあります。進歩は不連続で直観的ではありません。簡単そうに見えることが難しいことになり、難しそうに見えることが簡単になる。ブレイクスルーが起こるまではわからないのです。私が大学生だった1980年代初頭には、囲碁はルールではなく可能な手の数が膨大で複雑なため、コンピュータには絶対にマスターできないと教えられていました。しかし、今ではコンピュータが人間の世界チャンピオンを打ち負かしています。AIの科学が進歩したこともありますが、ほとんどの場合、より多くのコンピューティングパワーを問題に投入することで改善されました。

だから、AIのハッカーで埋め尽くされた世界は、今でもSFの問題ではあるが、はるか彼方の銀河系での愚かなSFの問題ではない。これは主に明日の問題ですが、その前兆は今も見られます。私たちは、強制力のある、理解しやすい、倫理的な解決策を考え始めなければなりません。

AIハッカーの意味するところ

サーバールームの写真。
ハッキングは人類の歴史の中で最も古いものです。私たちは創造的な問題解決者です。抜け道を探すのも人間です。自分の利益になるようにシステムを操作します。より多くの影響力、より多くの権力、より多くの富を求めています。権力は権力のためにあり、ハッキングは永遠にその一部です。

しかし、制約なしに自分の利益を最大化する人間はいません。社会病質者であっても、社会の複雑さや自分の矛盾した衝動に制約される。彼らは自分の評判や罰を気にしています。時間も限られています。このような非常に人間的な性質がハッキングを制限しているのです。

2005年に出版された著書「The Corporation」の中で、Joel Bakenは企業を不死身の社会不適合者に例えています84。企業は最適化された利益を生み出す機械であり、管理者の福利厚生を最適化しようとするため、自分たちの利益のためにシステムをハッキングする可能性が高いのです。しかし、企業は人間で構成されており、意思決定を行うのも人間です。航空座席のように、AIシステムがダイナミックに価格を設定する世界でも、ハッキングには限界があります。

ハッキングは、あらゆるものがコンピュータ化されたことで変化しました。コンピューターはその複雑さゆえにハッキングされやすいのです。そして現在、あらゆるものがコンピューターになっています。車も家電も電話も、すべてがコンピュータです。金融、税制、法令順守、選挙など、社会システムのすべてが、コンピュータとネットワークを含む複雑な社会技術システムです。そのため、あらゆるものがハッキングされやすくなっています。

同様に、認知的なハッキングも、コンピュータによって行われると効果的です。説得力のある広告を作るのに、コンピュータが本質的に優れているというわけではなく、より速く、より頻繁に、しかも個人に合わせて広告を作ることができるのです。

これまでのハッキングは、人間が行うものでした。新しいハッキングを探すには、専門知識、時間、創造性、そして運が必要です。しかし、AIがハッキングを行うようになれば、その状況は一変します。AIは人間のように制約を受けることもなく、限界もありません。AIは宇宙人のように考えるでしょう。私たちが予想できない方法でシステムをハックするでしょう。

コンピューターは人間よりはるかに速い。人間が何ヶ月も何年もかけて行うプロセスが、数日、数時間、あるいは数秒にまで短縮されることもあります。例えば、米国の全税法をAIに与えて、納税額を最小限に抑える方法をすべて見つけ出すように命令したらどうなるでしょうか。また、多国籍企業の場合は、地球全体の税法をAIに与えたらどうなるでしょうか。言われなくても、デラウェア州で法人を設立し、パナマで船を登録するのが賢い方法だとわかるでしょうか。私たちがまだ知らない脆弱性や抜け穴をどれだけ見つけることができるでしょうか。数十個？数十個？数百個？数千？数十個、数百個、数千個......見当もつきませんが、おそらく今後10年以内には見つかるでしょう。

ハッキングに対処する社会システムはありますが、それはハッカーが人間だった頃に開発されたものであり、人間のハッカーのペースを反映しています。新たに発見された何百、何千もの税の抜け穴に対応できるような統治システムはありません。税法をそんなに早く修正することはできないのです。フェイスブックを使って民主主義をハッキングした人たちにも対処できませんし、ましてやAIがハッキングしたらどうなるかわかりません。AIが予期せぬ、しかし合法的な金融システムのハッキングを見つけ出したとしても、私たちはそれを回復することができません。コンピュータの速度では、ハッキングは社会としてもはや管理できない問題になります。

コンピュータを使った金融では、高頻度取引をはじめとするコンピュータの速度を利用した金融ハッキングがすでに行われています。これらはAIシステムではなく、人間が作ったルールや戦略を使った自動システムです。しかし、これらのシステムは超人的なスピードで実行することができ、それが大きな違いを生み出しています。これは、今後の展開を予見させるものです。トレーディングシステムがより自律的になり、人間が発見したハックを利用するだけでなく、新たなハックを発見するAIのような行動をとるようになれば、トレーディングシステムはますます経済を支配するようになるでしょう。

それはスピードだけでなく、スケールも同様です。AIシステムがハッキングを発見するようになれば、私たちが経験したことのない規模でハッキングを利用できるようになります。その影はすでに見えています。Donotpay.com」というAIを使った無料サービスは、駐車違反の取り締まりを自動化するものです。このサービスは他の領域にも拡大しており、ユーザーは航空便の遅延に対する補償を受けたり、さまざまなサービスやサブスクリプションをキャンセルしたりすることができます86。

前述したAIペルソナボットは、ソーシャルメディア上で数百万単位で複製されます。前述したAIペルソナボットは、ソーシャルメディア上に数百万単位で複製され、24時間体制で問題に取り組み、長文・短文を問わず何十億ものメッセージを送信することができるようになります。彼らが暴れまわると、実際のオンライン・ディベートを圧倒します。87 彼らは、私たちが普通だと思っていることや、他の人が考えていることに、人為的に影響を与えるでしょう。このような操作は、アイデアの市場や民主的な政治プロセスを称賛するときに思い浮かべるものではありません。

また、AIシステムの範囲が広がることで、ハッキングの危険性も高まります。私たちの生活に影響を与える重要な決定は、これまで人間が独占的に行うものと考えられていましたが、すでにAIが行っています。92 ソーシャルメディアで見るニュース、どの候補者の広告を見るか、どのような人や話題がフィードのトップに表示されるかを決定している。また、軍事目標の決定も行います。

AIシステムの能力が高まるにつれ、社会はより多くの、そしてより重要な決定をAIに委ねるようになるだろう。AIは、金持ちの権力者がどの政治家に資金を提供するかを選ぶかもしれない。誰に投票権があるかを決めるかもしれない。望ましい社会的成果を税制に反映させたり、社会プログラムの詳細を調整したりするかもしれません。すでに社会的な成果に影響を与えているが、将来的には明示的に決定するかもしれない。このようなシステムのハッキングは、より大きな被害をもたらすでしょう。その初期の例として、市場の「フラッシュ・クラッシュ」が挙げられます93）。

AIのハッキングとパワー

このエッセイで述べられているハッキングは、権力者が我々に対して行うものである。世の中にあるすべてのAIは、それがあなたのラップトップ上にあるものであれ、オンライン上にあるものであれ、あるいはロボットに具現化されたものであれ、通常はあなたではなく彼らの利益のために、他の人々によってプログラムされている。Alexaのようなインターネットに接続されたデバイスは、あなたにとって信頼できる友人であることを真似ることができます。しかし、それはAmazonの商品を販売するために設計されていることを決して忘れてはいけません。Amazonのウェブサイトが、より高品質な商品ではなく、自社ブランドの商品を買うように仕向けているように、Alexaは常にあなたの利益のために行動しているわけではありません。アマゾンの目標のために、あなたの信頼をハックするのです。

同様に、これらのハッキングはすべて、AIソフトウェア、AIシステム、ロボットをコントロールする人々の利益を促進します。個別に調整された広告がよりうまく説得できるというだけではなく、誰かが自分の利益のためにその余分な説得のためにお金を払うことになるのだ。AIが斬新な税金の抜け道を見つけたとき、それを利用して税金を少なくしたいと考える富裕層がいるからです。ハッキングは主に既存の権力構造を強化するものですが、AIはその力学をさらに強化するでしょう。

一例を挙げましょう。AIBOは、ソニーが1999年から販売しているロボット犬です。AIBOは1999年からソニーが販売していたロボット犬で、2005年までは毎年改良された新しいモデルが発売されていましたが、その後数年間は古いAIBOのサポートを徐々に打ち切っていました。AIBOはコンピュータの中ではかなり原始的な存在だが、それでも人々はAIBOに感情移入することができた。日本では、「死んだ」AIBOのために葬儀を行う人もいた94。

2018年、ソニーは新世代のAIBOの販売を開始した。ソニーは2018年に新世代のAIBOの販売を開始したが、ここで興味深いのは、よりペットらしくするためのソフトウェアの進化ではなく、機能するためにクラウドデータストレージが必要になったという事実である95。クラウドストレージは、最初の3年間は無料で、その後の料金は発表されていない。3年後、AIBOオーナーが自分のペットに感情移入しているときには、おそらく多くの料金を請求できるだろう。

AIハッカーへの対策

AIが新たなソフトウェアの脆弱性を発見できるようになると、政府や犯罪者、趣味でハッキングをする人たちにとっては、信じられないほどの恩恵を受けることになります。彼らはその脆弱性を利用して、世界中のコンピュータネットワークをハッキングし、大きな効果を上げることができるようになります。それは私たち全員を危険にさらすことになります。

しかし、同じ技術が防衛のためにも役立ちます。あるソフトウェア会社が、自社のコードに脆弱性発見AIを導入することを想像してみてください。製品をリリースする前に、自動的に発見されたすべての脆弱性を特定し、少なくともすべての脆弱性にパッチを適用することができます。この機能は、開発プロセスの一部として自動的に行われるかもしれません。ソフトウェアの脆弱性が過去のものとなる未来が容易に想像できます。"コンピュータの黎明期、ハッカーがソフトウェアの脆弱性を利用してシステムをハッキングしていた時代を覚えていますか？いやはや、クレイジーな時代でした。"

もちろん、移行期には危険が伴います。新しいコードは安全かもしれませんが、レガシーコードには脆弱性が残ります。AIツールは、すでにリリースされていて、多くの場合、パッチを当てることができないコードに向けられるでしょう。そこでは、攻撃者は自動での脆弱性発見を有利に利用するでしょう。しかし、長い目で見れば、ソフトウェアの脆弱性を発見するAI技術は、防御側に有利です。

それは、より広範な社会システムのハッキングに目を向けても同じです96。確かに、AIハッカーは既存の税法に何千もの脆弱性を見つけるかもしれません。しかし、同じ技術を使って、提案されている税法や税務裁定の潜在的な脆弱性を評価することができます。その意味合いは大きく変わります。新しい税法がこのような方法でテストされることを想像してみてください。議員でも、監視団体でも、マスコミでも、誰でもいいのですが、法案の文面を見て、悪用可能な脆弱性をすべて見つけ出すことができるのです。これは、脆弱性が修正されることを意味するものではありませんが、その脆弱性が公開され、政策論争の一部になることを意味します。そして、理論的には、金持ちや権力者が見つけて悪用する前にパッチを当てることができるのです。ここでも、従来の法律や規則のために、移行期間は危険なものとなるでしょう。しかし、ここでも最終的には防衛が優先されます。

より一般的なAIに関しては、攻撃と防御のパワーバランスがどうなるかはわかりません。AIはコンピュータネットワークをコンピュータの速度でハッキングできるようになるでしょうが、防御側のAIはそれを検知して効果的に対応できるでしょうか。AIは私たちの認知を直接ハッキングするでしょうが、私たちのやり取りを監視し、操作されていることを警告するAIを配備することができるでしょうか。私たちは正確な予測をするのに十分な知識を持っていません。

このようなより一般的なケースで防御側が勝つようにするには、ハッキングに迅速かつ効果的に対応できる回復力のある統治構造を構築する必要があります。税法のパッチを当てるのに何年もかかったり、立法機関のハッキングが定着して政治的にパッチを当てられなくなったりしては意味がありません。現代のソフトウェアはパッチが当てられ続けています。皆さんもパソコンや携帯電話をアップデートする頻度をご存知でしょう。社会のルールや法律も、同じようにパッチを当てられるようにしなければなりません。

これは、現代のガバナンスの難しい問題であり、本稿の範囲をはるかに超えています。また、情報化時代のスピードや複雑さに対応できる統治構造を構築することと、本質的に異なる問題ではありません。Gillian Hadfield、97 Julie Cohen、98 Joshua Fairfield、99 Jamie Susskind100 などの法学者がこの問題について執筆しており、さらに多くの作業が必要とされています。

ここでの包括的な解決策は「人」です。ここまで述べてきたのは、人間とコンピュータシステムの相互作用、そしてコンピュータが人間の役割を果たし始めたときに生じるリスクについてです。これもまた、AIハッカーよりももっと一般的な問題です。また、技術者や未来学者が書いている問題でもあります。テクノロジーに未来を託すのは簡単ですが、未来におけるテクノロジーの役割を社会で決めたほうが、ずっといいと思います。

AIがオンラインになり、私たちの世界をハッキングし始める前に、私たちはこの問題を解決しなければなりません。

備考

1 ハッカーの故ジュード・ミホン（セント・ジュード）は、この定義を気に入っていた。"ハッキングとは、課せられた限界を巧妙に回避することである。その限界が政府によって課せられたものであろうと、自分自身の個性によって課せられたものであろうと、物理学の法則によって課せられたものであろうと。" Jude Mihon (1996), Hackers Conference, Santa Rosa, CA.

2 これはすべて、私が現在執筆中の、おそらく2022年に出版されるであろう本からの引用です。

3 米連邦取引委員会（2019年7月22日）、"Equifax data breach settlement: What you should know」（https://www.consumer.ftc.gov/blog/2019/07/equifax-data-breach-settlement-what-you-should-know）。

4Naomi Jagoda (14 Nov 2019), "Lawmakers under pressure to pass benefits fix for military families," Hill, https://thehill.com/policy/national-security/470393-lawmakers-under-pressure-to-pass-benefits-fix-for-military-families.

5New York Times (28 Apr 2012), "Double Irish with a Dutch Sandwich" (infographic). https://archive.nytimes.com/www.nytimes.com/interactive/2012/04/28/business/Double-Irish-With-A-Dutch-Sandwich.html.

6Niall McCarthy (23 Mar 2017), "Tax avoidance costs the U.S. nearly $2,000 billion every year" (infographic), Forbes, https://www.forbes.com/sites/niallmccarthy/2017/03/23/tax-avoidance-costs-the-u-s-nearly-200-billion-every-year-infographic.

7 Alexandra Thornton (1 Mar 2018), "Broken promises: More special interest breaks and loopholes under the new tax law," https://www.americanprogress.org/issues/economy/reports/2018/03/01/447401/broken-promises-special-interest-breaks-loopholes-new-tax-law/.

8 Microsoft (12 Jan 2020), "Windows 10 lines of code." https://answers.microsoft.com/en-us/windows/forum/all/windows-10-lines-of-code/a8f77f5c-0661-4895-9c77-2efd42429409.

9 Dylan Matthews (29 Mar 2017), "The myth of the 70,000-page federal tax code," Vox.https://www.vox.com/policy-and-politics/2017/3/29/15109214/tax-code-page-count-complexity-simplification-reform-ways-means.

10 IRS (27 Dec 2017), "Prepaid real property taxes may be deductible in 2017 if assessed and paid in 2017," IRS Advisory, https://www.irs.gov/newsroom/irs-advisory-prepaid-real-property-taxes-may-be-deductible-in-2017-if-assessed-and-paid-in-2017.

11 Bruce Schneier (24 Aug 2006), "What the terrorists want," Schneier on Security, https://www.schneier.com/blog/archives/2006/08/what_the_terror.html.

12 Robert L. Leahy (15 Feb 2018), "How to Think About Terrorism," Psychology Today, https://www.psychologytoday.com/us/blog/anxiety-files/201802/how-think-about-terrorism.

13 Bruce Schneier (19 Nov 1999), "A plea for simplicity," Schneier on Security, https://www.schneier.com/essays/archives/1999/11/a_plea_for_simplicit.html.

14 Paul Robinette et al. (Mar 2016), "Overtrust of Robots in Emergency evacuation scenarios," 2016 ACM/IEEE International Conference on Human-Robot Interaction. https://www.cc.gatech.edu/~alanwags/pubs/Robinette-HRI-2016.pdf.

15 Marvin Minsky (ed.) (1968), Semantic Information Processing, The MIT Press.

16 空軍研究室（2020年6月18日）、「人工知能」https://afresearchlab.com/technology/artificial-intelligence。

17 Graham Oppy and David Dowe (Fall 2020), "The Turing Test," Stanford Encyclopedia of Philosophy. https://plato.stanford.edu/entries/turing-test.

18 ケイト・ダーリング（2021年）『The New Breed: What Our History with Animals Reveals about Our Future with Robots』Henry Holt & Co.

19 Joseph Weizenbaum (Jan 1966), "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM,https://web.stanford.edu/class/linguist238/p36-weizenabaum.pdf.

20 James Vincent (22 Nov 2019), "Women are more likely than men to say 'please' to their smart speaker," Verge, https://www.theverge.com/2019/11/22/20977442/ai-politeness-smart-speaker-alexa-siri-please-thank-you-pew-gender-sur.

21 Clifford Nass, Youngme Moon, and Paul Carney (31 Jul 2006), "Are people polite to computer? Responses to computer-based interviewing systems," Journal of Applied Social Psychology, https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1559-1816.1999.tb00142.x.

22 Youngme Moon (Mar 2000), "Intimate exchanges: Using computers to elicit self-disclosure from consumers," Journal of Consumer Research, https://www.jstor.org/stable/10.1086/209566?seq=1.

23 Alessandro Bessi and Emilio Ferrara (Nov 2016), "Social bots distort the 2016 U.S. Presidential election online discussion," First Monday, https://firstmonday.org/article/view/7090/5653.

24 Carole Cadwalladr (26 Feb 2017), "Robert Mercer: The big data billionaire waging war on mainstream media," Guardian,https://www.theguardian.com/politics/2017/feb/26/robert-mercer-breitbart-war-on-media-steve-bannon-donald-trump-nigel-farage.

25 Samantha Bradshaw and Philip N. Howard (2019), "The global disinformation order: 2019 Global inventory of organised social media manipulation," Computational Propaganda Research Project, https://comprop.oii.ox.ac.uk/wp-content/uploads/sites/93/2019/09/CyberTroop-Report19.pdf.

26 Chris Bell and Alistair Coleman (18 Oct 2018), "Khashoggi: Bots feed Saudi support after disappearance," BBC News, https://www.bbc.com/news/blogs-trending-45901584.

27 Jacob Kastrenakes (31 Aug 2017), "The net neutrality comment period was a complete mess," Verge, https://www.theverge.com/2017/8/31/16228220/net-neutrality-comments-22-million-reply-recordlity-comments-are-fake.

28 Jeff Kao (22 Nov 2017), "More a hundred-year pro-repeal net neutrality comments were likely faked," Hackernoon, https://hackernoon.com/more-than-a-million-pro-repeal-net-neutrality-comments-were-likely-faked-e9f0e3ed36a6.

29 Ross Miller (29 Jan 2015), "AP's 'robot' journalists are writing their own story now," Verge,https://www.theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-reporting. Bernard Marr (29 Mar 2019), "Artificial Intelligence Can Now Write Amazing Content-What Does That Mean For Humans?". Forbes, https://www.forbes.com/sites/bernardmarr/2019/03/29/artificial-intelligence-can-now-write-amazing-content-what-does-that-mean-for-humans/?sh=868a50450ab0.

30 Tom Simonite (22 Jul 2020), "Did a person write this headline, or a machine?". Wired,https://www.wired.com/story/ai-text-generator-gpt-3-learning-language-fitfully/。

31 Will Heaven (21 Jan 2020), "IBM's debating AI just for a lot closer to being a useful tool," MIT Technology Review, https://www.technologyreview.com/2020/01/21/276156/ibms-debating-ai-just-got-a-lot-closer-to-being-a-useful-tool/.

32 Max Weiss (17 Dec 2019), "Deepfake bot submissions to federal public comment website cannot be distinguished from human submissions," Technology Science, https://techscience.org/a/2019121801/.

33 Adam Rawnsley (6 Jul 2020), "Right-wing media outlets duped by a Middle East propaganda campaign," Daily Beast, https://www.thedailybeast.com/right-wing-media-outlets-duped-by-a-middle-east-propaganda-campaign.

34 Philip Sherwell (5 Jan 2020), "China uses Taiwan for AI target practice to influence elections," Australian.https://www.theaustralian.com.au/world/the-times/china-uses-taiwan-for-ai-target-practice-to-influence-elections/news-story/57499d2650d4d359a3857688d416d1e5.

35 Ian Sample (13 Jan 2020), "What are deepfakes-and how can you spot them?" (英語) Guardian, https://www.theguardian.com/technology/2020/jan/13/what-are-deepfakes-and-how-can-you-spot-them.

36 マット・チェッセン（2017年9月）、"The MADCOM Future," Atlantic Council, https://www.atlanticcouncil.org/wp-content/uploads/2017/09/The_MADCOM_Future_RW_0926.pdf.

37 Renée DiResta (20 Sep 2020), "The supply of disinformation will soon be infinite," Atlantic, https://www.theatlantic.com/ideas/archive/2020/09/future-propaganda-will-be-computer-generated/616400/.

38 Seena Gressin (16 May 2020), "CEO imposter scams: Is the boss for real?" 連邦取引委員会、https://www.ftc.gov/news-events/blogs/business-blog/2016/05/ceo-imposter-scams-boss-real。

39 Keumars Afifi-Sebet (2 Sep 2019), "Fraudsters use AI voice manipulation to steal £200,000," IT Pro, https://www.itpro.co.uk/social-engineering/34308/fraudsters-use-ai-voice-manipulation-to-steal-200000.

40 Brett Frischmann and Deven Desai (29 Nov 2016), "The Promise and Peril of Personalization," Center for Internet and Society, Stanford Law School.

41 Kate Darling (2021), The New Breed: What Our History with Animals Reveals About our Future with Robots, Henry Holt & Co.

42 Ja-Young SungLan GuoRebecca E. GrinterHenrik I. Christensen (2007), "'My Roomba is Rambo': Intimate home appliances," UbiComp 2007: Ubiquitous Computing, https://link.springer.com/chapter/10.1007/978-3-540-74853-3_9.

43 Joel Garreau (6 May 2007), "Bots on the ground," Washington Post, https://www.washingtonpost.com/wp-dyn/content/article/2007/05/05/AR2007050501009.html.

44 Serena Boothら（2017年3月、）、「Piggybacking Robots: Human-Robot overtrust in University Dormitory Security」、2017 ACM/IEEE International Conference on Human-Robot Interaction、https://dl.acm.org/doi/10.1145/2909824.3020211。

45 Alexander Reben and Joseph Paradison (2011), "A mobile interactive robot for gathering structured social video," MIT Libraries, https://resenv.media.mit.edu/pubs/papers/2011-MM11-REBEN.pdf.

46 Stuart Heritage (1 Feb 2019), "The eyes! The eyes! Why does Alita: Battle Angel look so creepy?" Guardian, https://www.theguardian.com/film/2019/feb/01/the-eyes-why-does-alita-battle-angel-look-so-creepy.

47 Sherry Turkle (2010), "In good company," in Yorick Wilks, ed., Close Engagements with Artificial Companions, John Benjamin Publishing Company, http://web.mit.edu/people/sturkle/pdfsforstwebpage/Turkle_In%20Good%20Company.pdf.

48 Kate Darling (2021), The New Breed: What Our History with Animals Reveals about Our Future with Robots, Henry Holt & Co.

49 Woodrow Hartzog (4 May 2015), "Unfair and deceptive robots," Maryland Law Review, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2602452.

50 Yaniv Hanoch et al (18 Nov 2020), "The robot made me do it: Human-Robot interaction and risk-taking behavior," Online ahead of print, https://www.liebertpub.com/doi/10.1089/cyber.2020.0148.

51 Kate Darling (Oct 2017), "'Who's Johnny? Anthropomorphic framing in human-robot interaction, integration, and policy」、Patrick Lin, Keith Abney, and Ryan Jenkins, eds., Robot Ethics 2.0: From Autonomous Cars to Artificial Intelligence, Oxford Scholarship Online, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2588669.

52 Francisca Adoma Acheampong, Chen Wenyu, and Henry Nunoo-Mensah (28 May 2020), "Text-based emotion detection: Advances, challenges, and opportunities," Engineering Reports 2 no.7, https://onlinelibrary.wiley.com/doi/full/10.1002/eng2.12189.

53 Tim Lewis (17 Aug 2019), "AI can read your emotions. Should it?" Guardian, https://www.theguardian.com/technology/2019/aug/17/emotion-ai-artificial-intelligence-mood-realeyes-amazon-facebook-emotient.

54 Ashan Noor Khan et al. (3 Feb 2021), "Deep Learning framework for subject-independent emotion detection using wireless signals," PLoS ONE, https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0242946.

55 Jia Song and Jim Alves-Foss (Nov 2015), "The DARPA cyber grand challenge: A competitor's perspective," IEEE Security and Privacy Magazine 13 (6), https://www.researchgate.net/publication/286490027_The_DARPA_cyber_grand_challenge_A_competitor%27s_perspective.

56 Tom Simonite (1 Jun 2020), "This bot hunts software bugs for the Pentagon," Wired, https://www.wired.com/story/bot-hunts-software-bugs-pentagon/.

57Bruce Schneier (Mar 2018), "Artificial Intelligence and the Attack/Defense Balance," IEEE Security and Privacy,https://www.schneier.com/essays/archives/2018/03/artificial_intellige.html.

58Gary J. Saavedra et al. (13 Jun 2019), "A review of machine learning applications in fuzzing," ArXiv, https://arxiv.org/abs/1906.11133.

59Bruce Schneier (18 Dec 2018) "Machine Learning will transform how we detect software vulnerabilities," Schneier on Security, https://www.schneier.com/essays/archives/2018/12/machine_learning_wil.html.

60Economist (12 Jun 2018), "Law firms climb aboard the AI wagon," https://www.economist.com/business/2018/07/12/law-firms-climb-aboard-the-ai-wagon.

61ダグラス・アダムス（1978）、『銀河ヒッチハイク・ガイド』、BBCラジオ4。

62 Kevin Eykhoit et al. (27 Jul 2017), "Robust Physical-World Attacks on Deep Learning Models," arXiv, https://arxiv.org/abs/1707.08945. Anish Ashalyeら（2018年6月7日）、"Synthesizing robust adversarial examples," arXiv, https://arxiv.org/pdf/1707.07397.pdf.

63 George A. Miller (1956), "The magical number seven, plus or minus two: Some limits on our capacity for processing information," Psychological Review, http://psychclassics.yorku.ca/Miller/.

64 Cade Metz (16 Mar 2016), "In two moves, AlphaGo and Lee Sedol redefined the future," Wired, https://www.wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/.

65 Will Knight (11 Apr 2017), "The dark secret at the heart of AI," MIT Technology Review, https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of-ai/.

66 Richard Waters (9 Jul 2017), "Intelligent Machine are asked to explain how their minds work," Financial Times,https://www.ft.com/content/92e3f296-646c-11e7-8526-7b38dcaef614.

67 Matt Turek (accessed 2 Mar 2021), "Explainable artificial intelligence, "DARPA, https://www.darpa.mil/program/explainable-artificial-intelligence. David Gunning and David W. Aha (24 Jun 2019), "DARPA's Explainable Artificial Intelligence (XAI) Program," AI Magazine,https://ojs.aaai.org//index.php/aimagazine/article/view/2850.

68 例示のリストはこちらhttps://vkrakovna.wordpress.com/2018/04/02/specification-gaming-examples-in-ai/。

69 Karol Kurach et al. (25 Jul 2019), "Google research football: A novel reinforcement learning environment," ArXiv, https://arxiv.org/abs/1907.11180.

70 Ivaylo Popovら（2017年4月10日）、「Data-efficient deep reinforcement learning for dexterous manipulation」、ArXiv、https://arxiv.org/abs/1704.03073。

71 David Ha (10 Oct 2018), "Reinforcement learning for improving agent design," https://designrl.github.io/.

72 Dario Amodei et al. (25 Jul 2016), "Concrete Problems in AI Safety," ArXiv, https://arxiv.org/pdf/1606.06565.pdf.

73 @Smingleigh (7 Nov 2018), Twitter, https://twitter.com/smingleigh/status/1060325665671692288.

74 Abby Everett Jaques (2021), "The underspecification problem and AI: For the love of god, don't send a robot out for coffee", unpublished manuscript.

75 Stuart Russell (Apr 2017), "3 principles for creating safer AI," TED2017, https://www.ted.com/talks/stuart_russell_3_principles_for_creating_safer_ai.

76 Russell Hotten (10 Dec 2015), "Volkswagen: The scandal explained," BBC News, https://www.bbc.com/news/business-34324772.

77 Jack Ewing (24 Jul 2016), "Researchers who exposed VW gain little reward from success," New York Times. https://www.nytimes.com/2016/07/25/business/vw-wvu-diesel-volkswagen-west-virginia.html.

78 Mike Isaac (3 Mar 2017), "How Uber deceives the authorities worldwide," New York Times, https://www.nytimes.com/2017/03/03/technology/uber-greyball-program-evade-authorities.html.

79 @mat_kelcey (15 Jul 2017), Twitter, https://twitter.com/mat_kelcey/status/886101319559335936.

80 Zeynep Tufekci (10 Mar 2018), "YouTube, the great equalizer," New York Times, https://www.nytimes.com/2018/03/10/opinion/sunday/youtube-politics-radical.html. Renee DiResta (11 Apr 2018), "Up next: A better recommendation system," Wired, https://www.wired.com/story/creating-ethical-recommendation-engines/.

81 Nick Statt (26 May 2020), "Facebook reportedly ignored its own research showing algorithms divide users," Verge. https://www.theverge.com/2020/5/26/21270659/facebook-division-news-feed-algorithms.

82 Jacob Aron (25 Feb 2015), "Google DeepMind AI outplays humans at video games," New Scientist, https://www.newscientist.com/article/dn27031-google-deepmind-ai-outplays-humans-at-video-games/.

83 Iason Gabriel (1 Oct 2020), "Artificial Intelligence, values and alignment," Minds and Machines 30, https://link.springer.com/article/10.1007%2Fs11023-020-09539-2 .

84 ジョエル・バカン（2005）『The Corporation: The Pathological Pursuit of Profit and Power, Free Press.

85 Samuel Gibbs (28 Jun 2016), "Chatbot lawyer overturns 160,000 parking tickets in London and New York," Guardian, https://www.theguardian.com/technology/2016/jun/28/chatbot-ai-lawyer-donotpay-parking-tickets-london-new-york.

86 Lisa M. Krieger (28 Mar 2019), "Stanford student's quest to clear parking tickets leads to 'robot lawyers'," Mercury News,https://www.mercurynews.com/2019/03/28/joshua-browder-22-builds-robot-lawyers/.

87 カリフォルニア州では、ボットに身元確認を義務付ける法律がある。Renee RiResta (24 Jul 2019), "A new law makes bots identification ourselves-that's the problem," Wired, https://www.wired.com/story/law-makes-bots-identify-themselves/.

88 Karen Hao (21 Jan 2019), "AI is sending people to jail-and getting it wrong," MIT Technology Review, https://www.technologyreview.com/2019/01/21/137783/algorithms-criminal-justice-ai/.

89 Sian Townson (6 Nov 2020), "AI can make bank loans more fair," Harvard Business Review, https://hbr.org/2020/11/ai-can-make-bank-loans-more-fair.

90 Andrea Murad (8 Feb 2021), "The computers rejecting your job application," BBC News, https://www.bbc.com/news/business-55932977.

91 DJ Pangburn (17 May 2019), "Schools are using software to help pick who gets in. 何が間違っているのだろう？" Fast Company, https://www.fastcompany.com/90342596/schools-are-quietly-turning-to-ai-to-help-pick-who-gets-in-what-could-go-wrong.

92 Tiffany Fishman, William D. Eggers, and Pankaj Kamleshkumar Kishnani (18 Oct 2017), "AI-augmented human services: Using cognitive technologies to transform program delivery," Deloitte, https://www2.deloitte.com/us/en/insights/industry/public-sector/artificial-intelligence-technologies-human-services-programs.html.

93 レイム・ヴォーン（2020）『フラッシュ・クラッシュ。A Trading Savant, a Global Manhunt, and the Most Mysterious Market Crash in History, Doubleday.

94 Shannon Connellan (2 May 2018), "Japanese Buddhist temple hosts funeral for over 100 Sony Aibo robot dogs," Mashable, https://mashable.com/2018/05/02/sony-aibo-dog-funeral/.

95 ライ・クリスト（2019年6月28日）。"Yes, the robot dog ate your privacy," CNET, https://www.cnet.com/news/yes-the-robot-dog-ate-your-privacy/.

96 一例を紹介します。Gregory Falco et al. (28 Aug 2018), "A master attack methodology for an AI-based automated attack planner for smart cities," IEEE Access, https://ieeexplore.ieee.org/document/8449268.

97 Gillian K. Hadfield (2016), Rules for a Flat World: Why Humans Invented Law and How to Reinvent It for a Complex Global Economy, Oxford University Press.

98 ジュリー・E・コーエン（2019）『Between Truth and Power: The Legal Constructions of Informational Capitalism』オックスフォード大学出版局。

99 Joshua A. T. Fairfield (2021), Runaway Technology: Can Law Keep Up? Cambridge University Press.

100 Jamie Susskind (2021), The Digital Republic: How to Govern Technology, Pegasus Books,