生成AIで"ウイルス"を作成して逮捕された事例についてのまとめ

はじめに

この記事は、法律についてWikipediaを読みかじった程度の知識しか持たない素人が、参考文献をもとにまとめたものです。

できる限り正しい内容を書くように心がけていますが、正確性については何も保証しません。何か間違いや苦情等がありましたら、コメントや編集リクエストを頂けると嬉しいです。

注意事項

この記事は、今回紹介する事例に関係する方に対して批判や名誉を傷つける目的で書いていないこと、また、コンピューターウイルスを作成することを勧める内容では決してないことを、ここに宣言しておきます。コメントされる場合も留意をお願いします。

何があったのか

生成AIで"ウイルス"を作成し、検挙された全国初の事例

2024年5月27日¹、生成AIを使用してランサムウェアのソースコードを作成したことが、「不正指令電磁的記録に関する罪」の「不正指令電磁的記録作成」にあたるとして、警視庁が男性を再逮捕しました。

各メディアでは、男性がランサムウェアを作成した理由についても報道されていますが、これはあくまで「警視庁が発表している男性の供述」なので、中立性に欠けると判断し、この段落では扱いません（記事後半ではメディアの比較で扱っています）。

日本経済新聞の記事が簡潔にまとめられていたので、リンクを置いておきます。
他メディアの記事については、記事の最後にある参考文献から見ることもできます。

不正指令電磁的記録に関する罪とは

2011年に施行された、刑法に定められている罪です。

具体的には、コンピューターウイルス（定義するのが難しいので、ここではこの表記にしてあります）をコンピューターの使用者の意図に反して実行させる目的で、作成・提供・供用・取得・保管した場合に、この罪に該当します。

有名な「Coinhive事件」や「アラートループ事件」も、この容疑で捜査されていました。

以下に警視庁による解説記事を示しますが、「罪の定義があいまいだ」ということが立法当時から言われていたりします。

今回の事例では、「作成」の容疑で逮捕されたとのことです。

なぜ逮捕に至ったのか

AIによって生成された内容がどのようにして警視庁のものに届いたのか、テレビのニュースでは紹介されておらず、疑問に思っていました。

調べてみると、今回の事例の男性は、既に別の詐欺事件で逮捕されており、その事件の捜査中に今回の事件で問題とされているコードが見つかったため、新たな罪で「再逮捕」されたとのことです。

同庁は今年3月、林容疑者を偽造の身分証を使って携帯電話用SIMカードを不正に契約した詐欺容疑などで逮捕。捜査の過程で同容疑者が作成したウイルスを確認した。

(同庁とは警視庁のこと)

したがって、サイバーパトロールなどの警察の活動により発見され、逮捕されたというわけではありません。

各メディアの内容の違い

インターネット上で閲覧できる記事をいくつか収集し、比較しました。
なお、朝日新聞は有料記事のため、無料で閲覧できる部分のみ確認しています。

表中の項目については、各メディアから引用しています。
ただし、個人名が記載されていた部分については「(男性)」に置き換えています。

また、産経新聞の「同課」とは警視庁サイバー犯罪対策課のことです。

Markdown版 スマホだと読みにくいです

	日経	NHK	時事	読売	朝日	産経	東京
供述内容	「昔からランサムウエア（身代金要求型ウイルス）を作って楽に金を稼ごうと思っていた」と容疑を認めている	「金を稼ぎたかった。ＡＩに聞けば何でもできると思った」などと容疑を認めている	容疑を認め、「ＡＩを使えば何でもできると思った。楽に稼ぎたかった」と話している	ランサムウェアを作成しようとしたと供述している	「AIなら何でもできる。（身代金を要求する）ランサムウェアを作って楽して稼ごうと思った」と容疑を認めている	「ランサムウェアを使って楽に稼ぎたいと思っていた」「ＡＩを使えばできると思った」などと容疑を認めている	容疑を認めており、「ランサムウエア（身代金要求型ウイルス）を作って楽に金を稼ごうと思った。ネットで検索すれば出てくる無料の生成AIを複数使った」と供述
作成について	ネット上には対策が不十分な生成AIが存在するとされる。(男性)はこうした生成AIを複数使い、悪用目的を隠してAIに指示しウイルスを作成していたもよう	不正なプログラムの情報を引き出すために複数の生成ＡＩにアクセスしていたということですが、いずれも自主規制が行われているものではなく、作成者や詳しい性能も公開されていなかった	生成ＡＩは、ウイルスを作成したり、犯罪につながりかねなかったりする悪質な質問に回答しない対策がされていることが多い。 (男性)はこれを回避するため、ネット上に無料で公開されている複数の生成ＡＩを利用。ウイルス作成について遠回しの質問を繰り返すことで回答を得ていた	悪用されたのは「チャットＧＰＴ」などの大手サービスではなく、作成者が不明な状態でインターネット上に公開されていた複数の対話型ＡＩだったとみられる	ネット上で無料公開されている複数の対話型生成AIにアクセス。不正プログラムの設計図となる「ソースコード」を作り、企業が持つデータを破壊するウイルスを作成した	作成者などが不明な生成ＡＩを利用していた。同課は大手の生成ＡＩに備え付けられている犯罪に関連する指示を拒否する機能を避けようとしたとみている	AIの回答を別のAIに質問してさらに回答を得るなどし、プログラムを修正していったという。使われたAIは少なくとも3種類で、悪質な命令に応じない対策（ガードレール）が付いていない、非公式のものだった
コードの状態	ソースコードはウイルスとして使用可能な段階であったという	攻撃対象のデータを暗号化したり暗号資産を要求したりするプログラムが組み込まれていた	身代金要求のため、攻撃対象のデータを暗号化する「ランサムウエア」のようなものだった。実用化のためのプログラムは入手できなかった	(記載なし)	作られたウイルスには、企業などが持つデータを暗号化し、身代金を要求するためのプログラムの設計図が含まれていた。他のプログラムと組み合わせるなどすれば、企業や団体の持つデータに損害を与えられた可能性がある	ウイルスは侵入先のデータを暗号化、破壊したり、メッセージを表示して暗号資産を要求したりするものだった	作成された設計図には、標的となるデータを暗号化（破壊）したり、身代金として暗号資産を要求する機能があった
URL	https://www.nikkei.com/article/DGXZQOUE2802U0Y4A520C2000000/	https://www3.nhk.or.jp/shutoken-news/20240528/1000104962.html	https://www.jiji.com/jc/article?k=2024052800315	https://www.yomiuri.co.jp/national/20240528-OYT1T50021/	https://www.asahi.com/articles/ASS5X3HCHS5XUTIL00HM.html	https://www.sankei.com/article/20240528-CLYUFZRCP5KSFDC4VXAEP72BZU/	https://www.tokyo-np.co.jp/article/329884

各メディアで、内容や説明がかなり異なっている部分があります。
今回の事例について何か検討される際は、普段よりも多くのメディアから情報を収集するべきだと思います。

感想

個人的には、コードの状態に関する表現、つまり実際に「ランサムウェアとして使用可能だったか」という点について、各メディアで大きく異なっているところ、「犯罪に利用できるような回答をしないように制御していない生成AI」のことを、東京新聞が「非公式のもの」と表現しているところが気になっています。

また、今回の容疑はウイルスの「保管」ではなく「作成」とのことで、生成AIによって書かれたコードについて、警察は「あくまで人間が作成させたもの」という認識を持っていると考えられそうです。

この点については、生成AIにコードを書かせる（もちろん正当なものですが）ことがある私たちエンジニアにもある程度関連してくる可能性があるのかな、と思っています。

最後に

改めて書いておきますが、この記事はコンピューターウイルスの作成、つまり不正指令電磁的記録に関する罪に触れるようなプログラムの作成を勧めるものではありません。

最後までお読みいただきありがとうございました。

参考文献

ニュース記事

過去の事件

警視庁の解説

おまけ：不正指令電磁的記録に関する罪について

（この記事では直接取り扱っていない内容です）

「不正指令電磁的記録に関する罪における反「意図」性の判断」

Coinhive事件についての最高裁判所の判例
「令和２年（あ）第４５７号 不正指令電磁的記録保管被告事件」

1. 多くのメディアで5月28日と書かれていますが、逮捕は5月27日付とのことです。 ↩