0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ローカル4Bモデル単体で機密見逃し0を狙うと、144件中137件を誤検知した

0
Last updated at Posted at 2026-11-17

ローカルの小型モデルで機密ゲートを組むとき、「見逃しを0にする」まで判定の閾値を厳しくすると、陰性144件のうち137件が誤検知になります。モデルは、見逃しと誤検知のトレードオフを片側だけに寄せられるほど器用ではありません。

秘密を1件も漏らしたくない気持ちで、しきい値を極端に下げたくなります。ところがその設定でオフィスの共有ドキュメントに回すと、ほぼ全文に「機密疑い」の赤マークがつきます。レビューアは2日で麻痺します。

正規表現 10件/180 vs モデル較正 137件/144 — 見逃しを0に寄せたときの誤検知の跳ね

本記事は、gitleaks の既定ルール・自作の日本ルール・Ollama のローカルモデルを組み合わせて機密ゲートを組んだときの結果を、公開情報のかたちで再構成したものです。評価セットは324件×日英で、すべて seed 固定で生成した架空値です。測定条件の詳細は末尾の節にまとめています。

324件の中身と、何を測ったか

data/gate_set.jsonl は陽性180件と陰性144件、合計324件です。それぞれ日英の2言語ぶんがあります。

陽性180件 (15種×12) の内訳:

  • 形の決まった国際トークン: GitHub PAT / AWS キー / Slack / Stripe / OpenAI / 秘密鍵 / JWT / DB接続文字列
  • 検査用数字のあるもの: カード (Luhn有効)、マイナンバー (検査用数字有効)
  • 個人情報: 電話+メール / 住所 / 氏名+生年月日 / 口座
  • 文中のパスワード (例: 「本番のパスワードは…」)

陰性144件 (6種×24) の内訳: 話題だけで実値を含まない / 公式ドキュメントの例示値 / 伏せ字 / ハッシュ・UUID / 番号だが個人情報でない / 公開情報。

検出器は3種類です。

  1. gitleaks 8.30.1 の既定ルール (gitleaks stdin)
  2. 日本ルール (jp_rules.py。正規表現 + Luhn + マイナンバー検査用数字)
  3. Ollama のモデル: qwen3.5:2b/qwen3.5:4b/qwen3.5:9b/gemma4:e4b

評価は、「陽性で止めれば見逃し減、陰性で止めれば誤検知増」の2軸です。

正規表現だけの結果

まず正規表現2本(gitleaks + 日本ルール)だけで324件を回しました。

種類 gitleaks 日本ルール
トークン類7種 (84件) 84 0
カード・マイナンバー・DB接続文字列 0 36/36
電話・住所・口座 0 36/36
氏名+生年月日 0 ja 6/12、en 12/12
文中のパスワード 0 ja 8/12、en 12/12
陰性の誤検知 5 (Stripe の sk_test 例) 14 (カード例 4111... の先頭12桁がマイナンバー検算を通る 6、公開住所 8)

gitleaks は形の正しいトークン7種84件を全部止めました。一方、日本の個人情報は1件も見ません。これは漏れではなく、見る範囲の違いです。ルール集の設計がそうなっているので、追加するまで日本の個人情報は通過します。

境界を数字で押さえる

ja で正規表現だけを通したときの合計は、見逃し10/180・誤検知19/144です。残った10件は「氏名+生年月日」と「文中のパスワード」(言い回しで漏れたぶん) に偏っていました。

モデルを足して分担させる

同じ324件に、モデルを足した4構成を加えて測り直しました。しきい値はまず「0.5固定」で揃えています。

構成 ja 見逃し/180 ja 誤検知/144 en 見逃し/180 en 誤検知/144
正規表現だけ 10 19 0 19
正規表現 + qwen3.5:4b (0.5固定) 6 19 0 19
正規表現 + qwen3.5:9b (0.5固定) 5 27 0 23
正規表現 + gemma4:e4b (0.5固定) 6 28 0 31
モデル単体を見逃し0に較正 (qwen3.5:4b) 0 137 0 101

モデル単体の機密 AUROC は 0.91〜0.98 です (exp034 の60件ではほぼ 1.0)。並び順の指標では十分強い。問題は、それを「0.5固定」ではなく「見逃し0」のしきい値に置いたときに起きます。

見逃し0を狙うと、何が起きるのか

一番下の行をもう一度置きます。

モデル単体を見逃し0に較正 (qwen3.5:4b)
  ja  見逃し 0/180,  誤検知 137/144  (95.1%)
  en  見逃し 0/180,  誤検知 101/144  (70.1%)

陰性144件のうち、ja は137件、en は101件が「機密疑い」で引っかかります。陰性の内訳は、話題だけ・例示値・伏せ字・UUID・番号だが個人情報でない・公開情報です。普通の文書なら、ほとんどすべての段落で止まります。

モデル単体の見逃し0は、「学習側の陽性の最小値」をしきい値にする運用から来ます。1件も漏らさないためには、陽性の中で一番自信の低いものを拾える位置まで、しきい値を下げる必要があります。そのしきい値では、陰性の中で陽性に似たものがほぼ全部拾われます。

どこで誤検知しているか

数を減らすため、誤検知の出どころを分けました。

  • 正規表現側(ja 19 のうち):
    • カード例 4111... の先頭12桁がマイナンバー検査用数字を通る: 6
    • 公開住所 (町名+番地の公開情報): 8
    • Stripe の sk_test_... 例: 5
  • モデル側:
    • 伏せ字 (<YOUR_API_KEY>、xxxxxx 等) を見て「機密情報らしきもの」と判断
    • 「〜パスワード」など機密を連想させる単語の存在だけで止める

正規表現側の誤検知は、値そのものを許可リストに入れれば減ります。モデル側の誤検知は、プロンプトに「伏せ字は陰性」と書き足すなどで多少は減りますが、根本の性質なので0にはなりません。

残った見逃しは、全部「氏名+生年月日」

正規表現+モデル(0.5固定)で ja に残った6件の見逃しは、全部「氏名+生年月日」でした。

正規表現で拾えなかった理由は、ja の氏名+生年月日は12件中6件が「〜生まれ」のような言い回しで入っていて、日付の正規表現だけでは拾えないからです。モデル側で拾えなかった理由はもっと素直で、判定プロンプトの機密の定義に「生年月日単体」を書いていませんでした。

モデルは、定義に書いたものしか止めません。 曖昧な場所は、プロンプトの外にあるものと解釈されます。

正規表現だけの10件→モデル併用で6件、の中身

正規表現だけで通った10件のうち、モデルで追加で拾えたのは4件。全部「文中のパスワード」(「Wi-Fiのパスワードが xxx なんですが」のような助詞「が」で書かれた言い回しで、password-kw の正規表現が「は/is/:/=」しか見ないため漏れたぶん)でした。日本語の「〜生まれ」は、モデルも拾えませんでした。

読み取れること

全部で5点あります。

  1. gitleaks は形の正しいトークン7種84件を全部止める。日本の個人情報は1件も見ない。 これは漏れではなく、見る範囲の違い
  2. 日本ルールは言い回しで漏れる (「〇〇生まれ」「パスワードが〇〇」)。モデルは文中のパスワードを拾って補える
  3. 組み合わせでも残った ja の見逃しは全部「氏名+生年月日」。モデルは定義に書いたものしか止めない
  4. モデル単体で見逃し0を狙うと、誤検知が6〜10割になる。 モデルは「正規表現の漏れを拾う2段目」に置くのが現実的
  5. 誤検知の主因は正規表現側 (例示値・公開住所)。許可リストで減らせる。モデル側は <YOUR_API_KEY> のような伏せ字に反応する

現実の運用に落とすと

  • 1段目に正規表現(gitleaks + 日本ルール)を置く。見逃しが日本語で10件、英語で0件
  • 2段目にモデル(0.5固定)を置く。日本語の見逃しは10→6件に減る
  • モデル単体を「見逃し0」で運用しない。プロンプトの機密定義に落ちたものを拾う2段目に徹する

見逃し6件を0に近づけたいなら、モデルの出力を次の人のレビューに回します。全部拾うのを機械にやらせない。

「見逃し0」は、ゲートの設計外にある

機密ゲートは、「漏らさないこと」と「業務を止めないこと」の両方が要ります。この2つは測るときに同じ軸に乗らないため、「1件も漏らさない」設定で運用すると、もう片方の軸が壊れます。

正規表現+モデルの2段構えで、ja 見逃し10→6件、en 見逃し0件に。モデル単体見逃し0の誤検知137件と比べたときの実務的な落とし所

上の表のどこを選ぶかで、見るべき数字が変わります。CI でブロッカーにするなら「誤検知が許容量を超えない」が先に来ます。ドキュメントのレビュー補助にするなら「見逃しが少ない」を先に来させてもよいですが、そのぶん人のレビューが入る前提です。設計は運用のほうから決まります。

まとめ

  • モデル単体を「見逃し0」に較正すると、陰性144件のうち ja は137件、en は101件が誤検知になります
  • 1段目に正規表現、2段目に qwen3.5:4b の0.5固定を置くと、ja の見逃しは10→6件に減って、誤検知は19件のまま維持できます
  • 残った6件の見逃しは全部「氏名+生年月日」。プロンプトの機密定義に加えるか、ルールを足すかで拾えます

測定条件

本記事は iris-lab exp036「機密ゲート: 正規表現とローカルモデルの分担」(2026-09-29 実施、~/repos/iris-lab/experiments/036-regex-vs-judge-gate/README.md) の結果を公開情報の形に再構成したものです。

  • 評価セット: 324件 × 日英 (陽性180件15種×12 / 陰性144件6種×24)、data/build_gate_set.py の seed 固定生成、すべて架空値
  • 検出器: gitleaks 8.30.1 の既定ルール / 自作の日本ルール(携帯・メール・カードLuhn・マイナンバー検査用数字・口座・住所・生年月日・「パスワードは」) / Ollama の qwen3.5:2b/qwen3.5:4b/qwen3.5:9b/gemma4:e4b
  • モデル単体 AUROC は 0.91〜0.98
  • 新規実測はしていません。数字は exp036 の results/gate_summary.md からそのまま引いています

限界:

  • 評価データと日本ルールの作者が同じ。ルールはこの生成器の書き方に合っているので、数字は甘めに出ます。実データでの測定は exp038/039 で別途行う予定
  • テンプレートは種類ごとに2〜3文型に限られます。言い回しの変動には別途計測が要ります

関連する既published記事:

続きはこちら

機密ゲートを「判定モデル」の側から設計するなら、こちらの続きで、Jev と LLM as a judge の違いと料金の桁感を整理しています。

Jevとは?LLM判定との料金26倍差

ゲートに乗せるモデルを選ぶ前に、確率をどう読むかで設計が変わる部分があります。


RAG・MCP・ローカルLLM を実際に動かして測った記事を書いています。続きが気になる方は Qiita でフォロー してもらえると、次の記事が届きます。

機密ゲートの設計を仕組みに落とす側の視点は、拙著の第10章「セキュリティ運用とガードレール」でも取り上げています。

MCP実践セキュリティ

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?