AIセキュリティ何から勉強すりゃええの？
目次
はじめに
「AI活用で業務効率化！」「AI駆動開発で爆速コーディング！」
最近SNSでも社内でもそんな話ばかりで正直少しお腹いっぱいです。
自分はかなりひねくれた性格をしているので、
「AIが便利なのは分かったけど、クラウド黎明期がそうであったように、AIも導入が先行し後からセキュリティの重要性が浮き彫りになるんじゃないか？」と思いAIセキュリティについて調べてみました。
ぶっちゃけ、知的好奇心もありますが、「単純に需要に対して供給が追いついていない分野になりそう（＝儲かりそう）」という下心が大多数を占めています。
軽く自己紹介
先日レガシーシステムの保守を卒業した元ニートです。
敷居高そうな分野なので、逆に自分みたいな人が学習を進める際に役立つと思い記録に残すことにしました。
有識者の方は優しく教えてくれると助かります。本当に。
調べたソース・用語
まずは何から手をつけるべきか、現時点で必要だと感じた情報をリストアップしました。
-
OWASP Top 10 for LLM
- LLM利用システムにおける脆弱性のバイブル的存在。
-
プロンプトインジェクション（Prompt Injection）
- 上記のOWASP Top 10 for LLMで「最も警戒すべきリスク」とされた攻撃手法。圧倒的MVP。
- 特に「間接プロンプトインジェクション」は、RAG環境を標的とする可能性が高く、検証も現実的で非常に面白いテーマです。
-
arXiv（アーカイヴ）
- 最新の攻撃手法を知るための一次ソース。査読前の論文が公開される世界最大のプレプリントサーバーです。
- 周知された脆弱性は既に修正済みであることが多いため、最新の手法を追う必要があります。
-
デジタル庁「AIガイドライン」・「先進的AI利活用アドバイザリーボード」
- 行政レベルでどのような基準が作られているかを知ることで、ビジネス実装時の落とし所を理解します。
直近の学習計画
1. 論文の読み込み（一次ソースの収集）
まずは良質な一次ソースに当たります。Gemini君と相談しながら、以下の3本から着手することにしました。
- A Survey of Attacks on Large Language Models（全体像の把握）
- Indirect Prompt Injection in the Wild for LLM Systems（具体的な攻撃事例）
- Benchmarking Poisoning Attacks against Retrieval-Augmented Generation（RAG特有の脅威）
2. 検証環境の構築
ローカルにWSL+Dockerの環境があるので、まずは簡単なRAGの挙動とプロンプトインジェクションの実験環境を作ります。
ある程度慣れてきたら、クラウドでの検証に移行しようと考えています。クラウドの費用面やIaCの管理に戸惑うこともあると思いますが、そこを「レガシー環境出身エンジニアがいかにモダンな開発環境を乗りこなすか」という文脈で発信していこうと思います。
3. ブログ・技術記事によるアウトプット
冒頭でもお伝えしましたが、これからAIのセキュリティを勉強しようとしている人に役立つ、そんな内容にしたいと考えています。
理想の学習サイクル
将来的には以下のサイクルを回していきたいと考えています。
1. 一次ソースの収集（arXivの論文を読む）
AI分野の論文の数、多すぎませんかね？ 時代の流れも早すぎて、手動でキャッチアップしていたら秒で溺れます。
いずれはスクリプトやRSSなどを駆使して情報の収集から要約までを自動化（システム化）していきたいところです。
ただ、最初から完璧なパイプラインを作ろうとすると間違いなく挫折するので、まずは手動で泥臭く読みつつ、徐々に省力化していく方針でいこうと思います。
2. 検証の実施
論文を読んで「へー、すごいな」で終わらせず実際に手を動かしたいのですが、毎回手動で検証環境を作って……とやっていると、これまた時間が溶けてしんどくなりそうです。
コンテナやIaCの力を借りて、検証のセットアップからテストまでをサクッと回せる仕組み（半自動化）を早い段階で構築したいと考えています。
3. 対策を考えてみる
「システム全体の権限はどうするか」「怪しい挙動をどう検知・運用でカバーするか」といった、システム構成や運用の落としどころ（現実的な落とし所）を自分なりに考えてみようと思います。
ここはシステムエンジニアとしてのセンスが問われるところなので、将来ベストプラクティスとして採用されていたらドヤれるポイントですねぇ。
さいごに
今回はほぼ決意表明みたいな内容になってしまいました。
失踪しない程度に頑張るので、生暖かい目で見守っていただけると嬉しいです。(過去2回失踪済み)
それではまた！