はじめに
生成AIの普及は、ソフトウェア開発やコンテンツ制作だけでなく、サイバー攻撃の世界にも大きな変化をもたらしています。「AI支援ハッキング」とは、攻撃者がLLM（大規模言語モデル）や音声・画像生成AIを使い、フィッシング、偵察、ソーシャルエンジニアリング、マルウェア準備などを効率化・高度化する一連の動きを指します。
一方で、防御側もAIを活用することで、検知・対応・教育を加速できる時代に入りました。本記事は、攻撃と防御の両面を整理し、エンジニアやセキュリティ担当者が押さえておきたい全体像を、初学者にもわかる言葉で解説します。
想定読者：セキュリティに関心のある初学者から、AIと脅威の関係を体系的に把握したい中級者まで。
目次
- 対象読者
- この記事でわかること
- 前提知識
- 全体像
- 基本概念
- 攻撃者がAIを使う4つのパターン
- AIシステム自体への新しい攻撃
- 防御側の活用と現実的な対策
- 研究・業界動向
- よくある落とし穴と対策
- まとめと次のステップ
対象読者
- AIとセキュリティの交差領域に興味があるエンジニア・初学者
- 自社や自分のサービスのセキュリティをアップデートしたい開発者・運用担当者
- 「AIで攻撃が増える」と聞いて、具体的に何が変わるのか整理したい方
- CISO・セキュリティリーダーで脅威モデルを更新したい方
- AIアプリ開発者で、自分の作るシステムへの攻撃面を把握したい方
この記事でわかること
- AI支援ハッキングという言葉の定義と範囲
- 攻撃者がAIを使うことで何が「速く」「安く」「うまく」なるのか
- 代表的な攻撃カテゴリ（フィッシング、ソーシャルエンジニアリング、偵察、コード関連）の概要
- AIシステム自体への攻撃（プロンプトインジェクション、ジェイルブレイク）の基礎
- 防御側がAIをどう活用しているか
- 押さえておきたい主要フレームワーク（MITRE ATLAS、OWASP Top 10 for LLM Applications、NIST AI RMF）
- 個人・組織レベルで今日から取り組める対策
前提知識
知らなくても読み進められますが、頭の片隅にあると理解が早まります。
- LLM（大規模言語モデル）：ChatGPT、Claude、Geminiなど、自然言語で対話できるAI
- フィッシング：偽のメールやサイトで認証情報などを盗む攻撃
- ソーシャルエンジニアリング：技術ではなく「人」を騙して情報や行動を引き出す攻撃
- 脆弱性：ソフトウェアの欠陥で、悪用されるとセキュリティ被害につながるもの
- ディープフェイク：AIで生成した本物そっくりの音声・動画
全体像
AI支援ハッキングは「攻撃者がAIを使う」だけの話ではありません。3つの軸で捉えると整理しやすくなります。
ポイントは、AIがまったく新しい攻撃手法を生み出したというより、既存の攻撃を桁違いに効率化・大規模化したことです。フィッシングメール自体は昔からありますが、AIによって「大量に」「自然な多言語で」「個別最適化されて」生成できるようになった、というのが本質的な変化です。
なお、3つの軸は完全に独立しているわけではありません。たとえば「攻撃者がAIを使ってAI自体を攻撃する」（間接プロンプトインジェクションなど）は複数の軸が重なる典型例です。現実の攻撃では組み合わせが起きることも念頭に置いておきましょう。
基本概念
なぜ「AI支援ハッキング」が脅威として注目されるのか
本質的な変化は3つあります。
- コスト劇減：高度な攻撃に必要だった専門知識や時間を、AIが肩代わりする
- スケール拡大：一人の攻撃者でも数千通の個別最適化メールを送れる
- 品質向上：日本語が不自然で見破れていたフィッシングが、自然な日本語に進化
結果として、攻撃者の参入障壁が下がり、防御側の検知難易度が上がるという非対称が生まれています。
「AI支援ハッキング」と「AIへの攻撃」の違い
混同しやすいですが別の概念です。
| 観点 | AI支援ハッキング | AI自体への攻撃 |
|---|---|---|
| 何が起きるか | AIを道具に既存システムを攻撃 | AI製品・サービスそのものが標的 |
| 例 | LLMでフィッシング文面を量産 | 社内チャットボットへのプロンプトインジェクション |
| 守る対象 | 従来のIT資産 | AIアプリ・モデル・データ |
| 参考フレームワーク | MITRE ATT&CK | MITRE ATLAS、OWASP Top 10 for LLM Applications |
両者は地続きで、現実の攻撃ではしばしば組み合わせて使われます。
攻撃者がAIを使う4つのパターン
ここでは「具体的な手口」を提供するのではなく、どんなカテゴリの脅威が増えているかを整理します。
1. コンテンツ生成系：フィッシング・詐欺・偽情報
最も普及しているカテゴリです。
- 自然な多言語フィッシングメール
- 役職・業界に合わせて個別最適化された文面（標的型攻撃、BEC：ビジネスメール詐欺）
- 偽のウェブサイトやSNS投稿の量産
「日本語が変だから怪しい」というシグナルが弱まり、人による目視チェックの精度が下がっています。
2. 偵察・情報収集の自動化
公開情報（OSINT）の整理・要約をAIが代行することで、ターゲット分析が短時間で進みます。組織図、技術スタック、従業員のSNS発信の関連付けなどが、これまでより手早く可能になりました。
3. コード関連：脆弱性発見と悪意あるスクリプト
両刃の剣の典型例です。
- 防御側：脆弱性スキャナ、コードレビュー支援、ファジング補助
- 攻撃側：マルウェアのバリエーション生成、難読化、既知エクスプロイトの調整
主要なLLM提供者は安全機構によってマルウェア作成を拒否しますが、ジェイルブレイクされたモデルや、犯罪フォーラムで売買される派生モデルも存在します。2023年以降、WormGPTやFraudGPTといった犯罪用途を謳うモデルが繰り返し登場しており、実態としてはジェイルブレイクされた汎用LLMのバリエーションであるケースが多いとされています。
4. ソーシャルエンジニアリングの高度化
- 音声クローンによる「上司を装った電話」（CEO詐欺の進化版）
- ディープフェイク動画を使ったオンライン会議でのなりすまし
- リアルタイム翻訳と組み合わせた多言語詐欺
2024年2月、香港警察が発表した事案として、多国籍企業の従業員がディープフェイクのビデオ会議に騙され、約2,500万米ドルが詐取されたケースが報じられ、業界に大きな衝撃を与えました。
AIシステム自体への新しい攻撃
LLMアプリやAIエージェントが企業に広がるにつれ、それ自体が新しい攻撃面になっています。
プロンプトインジェクション
LLMに対し、開発者の意図を上書きする命令を入力する攻撃です。
- ダイレクト型：プロンプト入力欄を介して、モデルへの命令が直接届く形態（攻撃者が直接入力するケースに加え、利用者が意図せず悪意ある文字列を貼り付けるケースも含む）
- インダイレクト型：AIが読み込むウェブページや文書、メールの中に命令を仕込む
特にインダイレクト型は、エージェント型AIや社内RAG（外部文書を参照するAI）で深刻な問題になります。
機密情報の漏洩
社内データを参照するAIアシスタントに対し、巧妙な質問で本来表示すべきでない情報を引き出す攻撃。アクセス制御がモデル任せになっていると起こりやすくなります。
モデルのジェイルブレイク
安全機構を回避し、本来生成しないはずの出力をさせる手法。adversarial trainingやConstitutional AIといった対策が各ベンダーにより進められていますが、継続的に新しい技法が研究されており、ベンダーとのいたちごっこが続いています。
これらを体系的に学ぶには、OWASP Top 10 for LLM Applications（以下、OWASP LLM Top 10）が最良の出発点です。
防御側の活用と現実的な対策
攻撃者だけでなく、防御側もAIで強化されつつあります。
防御側のAI活用例
- ログ・アラートの要約と優先順位付け（SOCの効率化）
- フィッシングメール検知の精度向上
- 異常検知（ふるまい分析）
- 社員向けフィッシング訓練コンテンツの自動生成
- インシデント対応レポートのドラフト作成
個人レベルでできる対策
- 「AIだから本物っぽい」が前提。メール・電話・動画をまず一度疑う
- 重要な指示は別チャネル（電話、対面、社内チャット）で必ず確認する
- 多要素認証（MFA）を有効にする
- パスワードマネージャの利用
- SNSへの過剰な業務情報の発信を控える
組織レベルでできる対策
- 役員・経理など狙われやすい役職向けの追加訓練
- AI利用ポリシーの策定（生成AIへの機密情報入力禁止など）
- 社内でAIアプリを作るときの設計レビュー（OWASP LLM Top 10 をチェックリスト化）
- ログとアラートの整備、検知ルールの継続チューニング
- ディープフェイク前提の本人確認プロセス（合言葉、コールバック確認など）
研究・業界動向
押さえておきたいフレームワーク・取り組みを整理します。
| 取り組み | 提供元 | 概要 |
|---|---|---|
| MITRE ATLAS | MITRE | AIシステムへの攻撃手法を体系化したナレッジベース |
| OWASP Top 10 for LLM Applications | OWASP | LLMアプリ特有のリスクと対策をまとめたガイド（最新版：2025年版） |
| NIST AI RMF | NIST | AIシステムのリスク管理フレームワーク |
| 主要LLMベンダーの安全性評価レポート | Anthropic、OpenAI、Google など | System Card / Frontier Safety Framework 等として各社が公開 |
各ベンダーは「Frontier Model」の悪用可能性を継続的に評価・公開しており、最新の攻撃シナリオはこれらのレポートからも追えます。
よくある落とし穴と対策
落とし穴1：「AIは攻撃の万能ツール」と過大評価する
実際には、AIは既存攻撃を効率化する側面が強く、まったく新種の攻撃を魔法のように生むわけではありません。MFA、パッチ管理、最小権限といった基本対策は、これまで通り最も費用対効果の高い投資です。
落とし穴2：「うちは小さいから狙われない」
AIによって攻撃コストが下がった結果、これまで採算が合わなかった中小組織や個人も標的になりやすくなっています。「割に合わない」防壁は崩れつつあります。
落とし穴3：社内AI導入時にセキュリティ視点が抜ける
便利な社内AIアシスタントが、機密情報の漏洩経路になることもあります。導入時にOWASP LLM Top 10 などをチェックリスト化すると漏れが減ります。
落とし穴4：「AIで自動検知すれば安心」と任せきりにする
防御AIも誤検知・見逃しはあります。AIを過信せず、人によるレビューと組み合わせる運用設計が重要です。
落とし穴5：従業員教育を一度きりで終える
ディープフェイクや音声クローンの進化は速く、半年前の常識ではすぐ追いつかなくなります。定期的な教育とアップデートが欠かせません。
まとめと次のステップ
要点を整理します。
- AI支援ハッキングは新種の攻撃というより、既存攻撃の高速・大規模・高品質化
- 「AIで攻撃する」「AIが攻撃される」「AIで守る」の3軸で整理すると見通しが立つ
- 個別最適化フィッシング、音声クローン詐欺、プロンプトインジェクションは要注目
- 防御の基本は変わらない。MFA・教育・ポリシー・検知の組み合わせが効く
- MITRE ATLAS / OWASP LLM Top 10 / NIST AI RMF を出発点に体系的に学ぶ
次に学ぶと良いリソース
- OWASP Top 10 for LLM Applications（公式サイト）
- MITRE ATLAS（公式サイト）
- NIST AI Risk Management Framework（公式サイト）
- JPCERT/CC — AIに関するセキュリティ情報
- IPA — 情報処理推進機構（AIセキュリティ関連の注意喚起）
- 主要LLMベンダー（Anthropic、OpenAI、Google など）が公開するSystem Card / Frontier Safety Framework 等の安全性評価レポート
AIは攻撃者にも防御者にも大きな力を与えます。脅威の構造を理解した上で、自分たちが守る範囲のリスクを冷静に評価し、できるところから対策を積み上げていきましょう。
免責事項: 本記事は当社が確認した時点の情報に基づく参考情報であり、正確性・完全性・最新性を保証せず、利用により生じたいかなる損害についても弊社は責任を負いません。