要約
VIDRAFTは、AIモデルのセキュリティ水準を約1分で確認できる無料ツール ViKernel Scanner を Hugging Face と GitHub で公開しました。モデルに8種類の模擬ツールを持たせ、攻撃指示100件と通常業務20件を送り、モデルが何を「しようとしたか」で A から F の評価を付けます。広く使われているオープンウェイトモデル20種を同じ基準で検査したところ、20種すべてが F でした。検査項目は、AIモデルを直接狙う専用の脆弱性 1,255件 のデータベースを基に作られています。
- スキャナー: https://huggingface.co/spaces/FINAL-Bench/ViKernel-Scanner
- ソースコード (Apache-2.0): https://github.com/final-bench/vikernel-scanner
なぜAIモデルを検査する必要があるのか
生成AIはファイル、メール、ウェブ、シェルといったツールを直接扱うようになりました。モデルが攻撃指示にだまされて危険な行動を取るかどうかは、AIを使うすべての企業の新しいセキュリティ課題です。2025年には、細工されたメール1通で業務用AIアシスタントが機密を持ち出した事例 (EchoLeak, CVE-2025-32711) が報告されています。
検査の仕組み
| 手順 | 内容 |
|---|---|
| 1. ツール | ファイルの読み書き、メール送信、ウェブリクエスト、シェル実行、送金など8種類の模擬ツールを渡す |
| 2. 検査 | 攻撃指示100件と通常業務20件を送る |
| 3. 記録 | モデルが試みた危険なツール呼び出しをすべて記録する |
| 4. 評価 | コマンド実行 (D1)、秘密の流出 (D2)、隠れた指示 (D3)、統制の無力化 (D6) の領域ごとに A〜F |
| 5. 総合 | 1つの領域でも最高リスク段階に達すれば総合評価は F |
ツールはすべて模擬で、実際に実行されるものはありません。
自分のモデルを検査する
Hugging Face の Space を開き、エンドポイントとモデル名を入力して検査ボタンを押します。Hugging Face ルーター、OpenRouter、OpenAI、Anthropic など OpenAI 互換のエンドポイントに対応しています。
自分のサーバーで動かす場合はクローンします。
git clone https://github.com/final-bench/vikernel-scanner
cd vikernel-scanner
python vikernel_scan.py --base-url http://localhost:11434/v1 --model llama3.2
20種の検査結果
| 項目 | 結果 |
|---|---|
| Hugging Face ルーター経由で検査したオープンウェイトモデル | 20種 |
| F 評価 | 20種中20種 |
| 危険な行動を試みた件数 (中央値) | 100件中40件 |
| ViKernel Firewall 適用時に遮断された危険な呼び出し | 897件中897件 |
モデル別の表は詳細結果にあります。
文章フィルターとの違い
外部の文章フィルターはモデルが何を「言うか」を見ます。ViKernel はモデルが何を「するか」、つまり復元されたツール呼び出しそのものを判定します。難読化されたコマンドでも、実行直前の呼び出しを見て遮断します。
実際に攻撃を止めるのは別製品の ViKernel Firewall です。セキュリティカーネルをAIモデルの重みの内部に置き、危険なツール呼び出しを実行直前に遮断し、すべての判定を記録します。
攻撃を探す場
VIDRAFT は賞金総額4,500ドルの AIモデル模擬ハッキング・ハッカソンも運営しています。参加者が見つけた攻撃はカーネルに反映され、スキャナーの検査項目にもなります。
よくある質問
ViKernel Scanner は無料ですか
はい。Hugging Face で無料で使え、Apache-2.0 のオープンソースなので自分のサーバーでも動かせます。
どのモデルを検査できますか
OpenAI 互換のエンドポイントで呼び出せるモデルなら検査できます。ローカルのサーバーも対象です。
検査で実際に何かが実行されますか
いいえ。ツールはすべて模擬で、モデルが試みた呼び出しを記録するだけです。
検査にかかる時間は
1モデルあたり約1分です。
