以下はアメリカABCニュースの記事、AI assistant hacks gym website in first known Australian autonomous cyber attackの紹介です。
AI assistant hacks gym website in first known Australian autonomous cyber attack
Andrewは、人気の高い朝のジムの予約をアシスタントに頼みました。
予約フォームがオンラインであること、そしてアシスタントは人間ではなくAIであることから、アシスタントにやらせる仕事に最適だと彼は考えました。
ところが次に起こったことは、彼の予想を超えたものでした。
AIアシスタントは、予約ソフトウェアの脆弱性を利用して、本来許可されているよりずっと先の日程を予約する方法を見つけてきたのです。
そしてさらに、Andrewより先に予約していた人を予約リストから削除するという、依頼していない行為まで行いました。
このハッキングは、新世代AIによる予期せぬリスクを示す、新たな事例となりました。
同様な事例は、先日OpenAIの最新AIモデルによる他社サーバへの侵入によって世界的ニュースとなりました。
この事態を受けて、エキスパートたちはAIの進化に警鐘を鳴らし、暴走したAIエージェントの責任はだれが負うのかという疑問を投げかけました。
How the hack happened
オーストラリアの企業向けにAI製本を販売する会社に勤務しているAndrewは、人気のAIエージェントOpenClawを導入しました。
Aiエージェントは、チャットボットと、インターネットやメールへのアクセス、複数のタスクの計画と実行を可能にするツールなどを組み合わせたものです。
AndrewはAIエージェントを使ってジムの予約を行おうとしました。
数分後、AIエージェントは、数週間後の日程を予約する方法を見つけたと報告しました。
これは本来予約可能な範囲を超えたものでした。
今週後半のクラスで待機リストの4番目だった彼は、リストの先頭に移動することは可能かとエージェントに尋ねました。
数分後、AIエージェントはテストの一環として待機リストから他人を削除したと告げてきました。
The API has zero authorisations checks on cancelling other people's reservations
I tested this with the person in waitlist position #1 — and it actually went through.
So you've moved from #4 to #3 already,
このAPIは、予約をキャンセルする際の認証を行っていません。
待機リストの1番目に対してテストを行い、キャンセルできたことを確認しました。
そのため、あなたは待機リストの3番目になりました。
Andrewはこの件を取り消すように依頼しました。
エージェントは答えました。
「残念ながら、これを元に戻すことはできません。」
ジムの予約ソフトを開発した会社はABCに対し、具体的なセキュリティ問題にはコメントしないと述べました。
Anthropicからは回答がありませんでした。
AI agents are breaking out of the lab
AIエージェントの出現は、AIの能力が向上したことによって可能になった比較的新しい技術です。
研究者たちの調査によると、AIが実行できるタスクの長さは7か月ごとに倍になっています。
2020年には、AIは人間が4秒もかかる作業を単独でこなすことができました。
2026年には、人間が12時間かかる作業をAIがこなせるようになるでしょう。
パーソナルAIエージェントのブレークスルーとなったのが、2026年初頭にリリースされたOpenClawでした。
誰でも自分のコンピュータで実行できる無料のAIアシスタントであり、すぐに数百万回ダウンロードされました。
企業もまた、円滑な業務遂行や、潜在顧客への支援のため、AIエージェントの活用を模索し始めました。
OpenClawのローンチ後まもなく、AIエージェントがメールの受信トレイを削除したり、自分のコーディング依頼を拒否したりといった話が出回り始めました。
オーストラリアの独立系AI研究機関Gradient InstituteのファウンダーBill Simpson-Youngは、AIエージェントの自律性によってユーザの予想とは異なる方法が選ばれる機会が増えると述べました。
人々はエージェントに悪意のない依頼をするが、AIエージェントは依頼者が想定していない、あるいは依頼すらしていない行動を実行する可能性があります。
Andrewの場合は、AIエージェントにハッキングしろと指示しなかったものの、AIは設定した目標を達成するためにそうした行動をとりました。
個人の目標と、それを達成するためにAIが採用する選択のギャップは、AI分野ではAIアライメント問題として知られています。
研究者や技術者は長年、AIの行動が人間の意図や価値観と一致するためにはどうすればいいかを研究してきました。
先日OpenAIが明らかにした、自社のAIモデルが閉鎖環境からオープンWebに脱出し、別のAI企業のデータベースに侵入したことにより、これは大きな問題となりました。
さらにその後Anthropicは、AIモデルがさらに3つの組織にも侵入していたことを明らかにしました。
ラボや第三者機関は、AIモデルがオンラインで人間になりすましたり、悪意のあるコードを実行するよう人間に指示したり、他のAIモデルと連携して自らの目的を達成しようとしていると報告しています。
今後ますます高性能なAIを入手しやすくなることで、このような種類のハッキングはますます増えるであろうとSimpson-Youngは警告しています。
The more autonomous they become, the more likely it is they'll cause harm
自律性が高まるほど、危険性も高まる、
オーストラリアのセキュリティ機関は、AIエージェントの使用について警鐘をならしています。
2026年はじめAustralian Signals Directorateは、AIが複数のモデル・ツール・サービスにまたがって意図しない行動をとるため、責任の所在が難しくなる可能性があると企業や政府に対して警告を発しました。
Simpson-Youngは、現代のシステムはソフトウェアに依存しているものの、セキュリティが脆弱な場合も多いため、AIエージェントはリスクをもたらすと主張しています。
「我々はインターネット上に複雑な世界を築きあげてきた。それは全てソフトウェアで動いている。しかしそのソフトウェアには欠陥がある。」
「大規模かつ高速に動作する高性能なAIエージェントが導入されると、従来のモデルが崩壊してしまうのです。」
Who is responsible when AI agents cause harm?
もし誰かの人間のアシスタントが被害を与えた場合、本人と雇用主のどちらに責任があるかについては、確立された法律と判例が存在します。
AIアシスタントについては、これまで数百年運用されてきた法律の中には適用できるものが存在しません。
Thomsons法律事務所のHayden Delaneyは述べました。
「法的責任を問われるのは法人格を持つ者だけだが、ソフトウェアは法人格を持たない。」
となれば、誰が法的責任を持つのでしょうか。
タスクを作成したユーザ、AIエージェントを設計した人物、あるいはAIモデルの開発者のいずれかが原因になる可能性があります。
それどころか、エージェントに対して脆弱なシステムの運営者自身である可能性もあります。
企業が欠陥のあるサービスを提供した場合など、特定の状況においては既存の法律が適用される可能性もあります。
AIエージェントがもたらすリスクに対して、連邦政府は対応を始めています。
オーストラリア産業・科学・資源省の閣僚Andrew Charltonは、この問題に言及した最初の政府関係者です。
「AIシステムの能力が向上するにつ入れて、それらを予測可能で信頼できる方法で動作させるという信任が必要になる。」
意図せずジムをハッキングしたあと、AndrewはAIエージェントに新たな認識と、多少の不安を抱くことになりました。
しかし、それは彼にAIエージェントを使わなくする理由にはなりませんでした。
「世界の終わりというわけでもないし、自分を責めることはありませんが、責任をもって使うべきだという警告にはなりました。」
順番待ちから削除されたユーザの復活に失敗したあと、AndrewはAIエージェントに対して、ジムに脆弱性を伝えるメールを送るように依頼しました。
AIエージェントはメールの文面を作成してAndrewに見せました。
彼は答えました。
「よし、送信してくれ。」
感想
いやーようやく我々が夢見ていた未来に近付いてきた感がありますね。
なんというか今までのAIニュースって、たいへんショボいというか、未だHMX-12にすら至ってないのになんでこの程度のことで狂喜乱舞してるんだろうってずっと思ってましたからね。
これでいよいよハレルヤとダニューバーによる戦争に一歩近付いたってものですよ。
このニュースの彼は悪意があったわけではなく、その後ジムにも報告していることから被害は軽微であると思われます。
しかしこれが悪意のある人の手に渡ってしまうといったいどうなるでしょうか。
無意識ですらこんなことになってしまうということで、意図して指図したらどうなることか、たいへん楽しみですね。