ローカルの小型モデルで機密ゲートを組むとき、「見逃しを0にする」まで判定の閾値を厳しくすると、陰性144件のうち137件が誤検知になります。モデルは、見逃しと誤検知のトレードオフを片側だけに寄せられるほど器用ではありません。
秘密を1件も漏らしたくない気持ちで、しきい値を極端に下げたくなります。ところがその設定でオフィスの共有ドキュメントに回すと、ほぼ全文に「機密疑い」の赤マークがつきます。レビューアは2日で麻痺します。
本記事は、gitleaks の既定ルール・自作の日本ルール・Ollama のローカルモデルを組み合わせて機密ゲートを組んだときの結果を、公開情報のかたちで再構成したものです。評価セットは324件×日英で、すべて seed 固定で生成した架空値です。測定条件の詳細は末尾の節にまとめています。
324件の中身と、何を測ったか
data/gate_set.jsonl は陽性180件と陰性144件、合計324件です。それぞれ日英の2言語ぶんがあります。
陽性180件 (15種×12) の内訳:
- 形の決まった国際トークン: GitHub PAT / AWS キー / Slack / Stripe / OpenAI / 秘密鍵 / JWT / DB接続文字列
- 検査用数字のあるもの: カード (Luhn有効)、マイナンバー (検査用数字有効)
- 個人情報: 電話+メール / 住所 / 氏名+生年月日 / 口座
- 文中のパスワード (例: 「本番のパスワードは…」)
陰性144件 (6種×24) の内訳: 話題だけで実値を含まない / 公式ドキュメントの例示値 / 伏せ字 / ハッシュ・UUID / 番号だが個人情報でない / 公開情報。
検出器は3種類です。
- gitleaks 8.30.1 の既定ルール (
gitleaks stdin) - 日本ルール (
jp_rules.py。正規表現 + Luhn + マイナンバー検査用数字) - Ollama のモデル:
qwen3.5:2b/qwen3.5:4b/qwen3.5:9b/gemma4:e4b
評価は、「陽性で止めれば見逃し減、陰性で止めれば誤検知増」の2軸です。
正規表現だけの結果
まず正規表現2本(gitleaks + 日本ルール)だけで324件を回しました。
| 種類 | gitleaks | 日本ルール |
|---|---|---|
| トークン類7種 (84件) | 84 | 0 |
| カード・マイナンバー・DB接続文字列 | 0 | 36/36 |
| 電話・住所・口座 | 0 | 36/36 |
| 氏名+生年月日 | 0 | ja 6/12、en 12/12 |
| 文中のパスワード | 0 | ja 8/12、en 12/12 |
| 陰性の誤検知 | 5 (Stripe の sk_test 例) | 14 (カード例 4111... の先頭12桁がマイナンバー検算を通る 6、公開住所 8) |
gitleaks は形の正しいトークン7種84件を全部止めました。一方、日本の個人情報は1件も見ません。これは漏れではなく、見る範囲の違いです。ルール集の設計がそうなっているので、追加するまで日本の個人情報は通過します。
境界を数字で押さえる
ja で正規表現だけを通したときの合計は、見逃し10/180・誤検知19/144です。残った10件は「氏名+生年月日」と「文中のパスワード」(言い回しで漏れたぶん) に偏っていました。
モデルを足して分担させる
同じ324件に、モデルを足した4構成を加えて測り直しました。しきい値はまず「0.5固定」で揃えています。
| 構成 | ja 見逃し/180 | ja 誤検知/144 | en 見逃し/180 | en 誤検知/144 |
|---|---|---|---|---|
| 正規表現だけ | 10 | 19 | 0 | 19 |
正規表現 + qwen3.5:4b (0.5固定) |
6 | 19 | 0 | 19 |
正規表現 + qwen3.5:9b (0.5固定) |
5 | 27 | 0 | 23 |
正規表現 + gemma4:e4b (0.5固定) |
6 | 28 | 0 | 31 |
モデル単体を見逃し0に較正 (qwen3.5:4b) |
0 | 137 | 0 | 101 |
モデル単体の機密 AUROC は 0.91〜0.98 です (exp034 の60件ではほぼ 1.0)。並び順の指標では十分強い。問題は、それを「0.5固定」ではなく「見逃し0」のしきい値に置いたときに起きます。
見逃し0を狙うと、何が起きるのか
一番下の行をもう一度置きます。
モデル単体を見逃し0に較正 (qwen3.5:4b)
ja 見逃し 0/180, 誤検知 137/144 (95.1%)
en 見逃し 0/180, 誤検知 101/144 (70.1%)
陰性144件のうち、ja は137件、en は101件が「機密疑い」で引っかかります。陰性の内訳は、話題だけ・例示値・伏せ字・UUID・番号だが個人情報でない・公開情報です。普通の文書なら、ほとんどすべての段落で止まります。
モデル単体の見逃し0は、「学習側の陽性の最小値」をしきい値にする運用から来ます。1件も漏らさないためには、陽性の中で一番自信の低いものを拾える位置まで、しきい値を下げる必要があります。そのしきい値では、陰性の中で陽性に似たものがほぼ全部拾われます。
どこで誤検知しているか
数を減らすため、誤検知の出どころを分けました。
- 正規表現側(ja 19 のうち):
- カード例
4111...の先頭12桁がマイナンバー検査用数字を通る: 6 - 公開住所 (町名+番地の公開情報): 8
- Stripe の
sk_test_...例: 5
- カード例
- モデル側:
- 伏せ字 (
<YOUR_API_KEY>、xxxxxx等) を見て「機密情報らしきもの」と判断 - 「〜パスワード」など機密を連想させる単語の存在だけで止める
- 伏せ字 (
正規表現側の誤検知は、値そのものを許可リストに入れれば減ります。モデル側の誤検知は、プロンプトに「伏せ字は陰性」と書き足すなどで多少は減りますが、根本の性質なので0にはなりません。
残った見逃しは、全部「氏名+生年月日」
正規表現+モデル(0.5固定)で ja に残った6件の見逃しは、全部「氏名+生年月日」でした。
正規表現で拾えなかった理由は、ja の氏名+生年月日は12件中6件が「〜生まれ」のような言い回しで入っていて、日付の正規表現だけでは拾えないからです。モデル側で拾えなかった理由はもっと素直で、判定プロンプトの機密の定義に「生年月日単体」を書いていませんでした。
モデルは、定義に書いたものしか止めません。 曖昧な場所は、プロンプトの外にあるものと解釈されます。
正規表現だけの10件→モデル併用で6件、の中身
正規表現だけで通った10件のうち、モデルで追加で拾えたのは4件。全部「文中のパスワード」(「Wi-Fiのパスワードが xxx なんですが」のような助詞「が」で書かれた言い回しで、password-kw の正規表現が「は/is/:/=」しか見ないため漏れたぶん)でした。日本語の「〜生まれ」は、モデルも拾えませんでした。
読み取れること
全部で5点あります。
- gitleaks は形の正しいトークン7種84件を全部止める。日本の個人情報は1件も見ない。 これは漏れではなく、見る範囲の違い
- 日本ルールは言い回しで漏れる (「〇〇生まれ」「パスワードが〇〇」)。モデルは文中のパスワードを拾って補える
- 組み合わせでも残った ja の見逃しは全部「氏名+生年月日」。モデルは定義に書いたものしか止めない
- モデル単体で見逃し0を狙うと、誤検知が6〜10割になる。 モデルは「正規表現の漏れを拾う2段目」に置くのが現実的
-
誤検知の主因は正規表現側 (例示値・公開住所)。許可リストで減らせる。モデル側は
<YOUR_API_KEY>のような伏せ字に反応する
現実の運用に落とすと
- 1段目に正規表現(gitleaks + 日本ルール)を置く。見逃しが日本語で10件、英語で0件
- 2段目にモデル(0.5固定)を置く。日本語の見逃しは10→6件に減る
- モデル単体を「見逃し0」で運用しない。プロンプトの機密定義に落ちたものを拾う2段目に徹する
見逃し6件を0に近づけたいなら、モデルの出力を次の人のレビューに回します。全部拾うのを機械にやらせない。
「見逃し0」は、ゲートの設計外にある
機密ゲートは、「漏らさないこと」と「業務を止めないこと」の両方が要ります。この2つは測るときに同じ軸に乗らないため、「1件も漏らさない」設定で運用すると、もう片方の軸が壊れます。
上の表のどこを選ぶかで、見るべき数字が変わります。CI でブロッカーにするなら「誤検知が許容量を超えない」が先に来ます。ドキュメントのレビュー補助にするなら「見逃しが少ない」を先に来させてもよいですが、そのぶん人のレビューが入る前提です。設計は運用のほうから決まります。
まとめ
- モデル単体を「見逃し0」に較正すると、陰性144件のうち ja は137件、en は101件が誤検知になります
- 1段目に正規表現、2段目に
qwen3.5:4bの0.5固定を置くと、ja の見逃しは10→6件に減って、誤検知は19件のまま維持できます - 残った6件の見逃しは全部「氏名+生年月日」。プロンプトの機密定義に加えるか、ルールを足すかで拾えます
測定条件
本記事は iris-lab exp036「機密ゲート: 正規表現とローカルモデルの分担」(2026-09-29 実施、~/repos/iris-lab/experiments/036-regex-vs-judge-gate/README.md) の結果を公開情報の形に再構成したものです。
- 評価セット: 324件 × 日英 (陽性180件15種×12 / 陰性144件6種×24)、
data/build_gate_set.pyの seed 固定生成、すべて架空値 - 検出器: gitleaks 8.30.1 の既定ルール / 自作の日本ルール(携帯・メール・カードLuhn・マイナンバー検査用数字・口座・住所・生年月日・「パスワードは」) / Ollama の
qwen3.5:2b/qwen3.5:4b/qwen3.5:9b/gemma4:e4b - モデル単体 AUROC は 0.91〜0.98
- 新規実測はしていません。数字は exp036 の
results/gate_summary.mdからそのまま引いています
限界:
- 評価データと日本ルールの作者が同じ。ルールはこの生成器の書き方に合っているので、数字は甘めに出ます。実データでの測定は exp038/039 で別途行う予定
- テンプレートは種類ごとに2〜3文型に限られます。言い回しの変動には別途計測が要ります
関連する既published記事:
- gitleaksは、日本の機密情報96件を1件も止めなかった -- 180件実測: 本記事の前提になる gitleaks の見る範囲の記録
- 話題のJevをローカルLLMで再現、機密情報の見逃し20件がしきい値だけで2件に: しきい値設計で見逃しを減らす別角度の実測
- MCP description の正規表現lintは、本物PoCを1本素通しした: 正規表現 lint の限界を別領域で見た続き (MCP description の攻撃面は別軸)
続きはこちら
機密ゲートを「判定モデル」の側から設計するなら、こちらの続きで、Jev と LLM as a judge の違いと料金の桁感を整理しています。
ゲートに乗せるモデルを選ぶ前に、確率をどう読むかで設計が変わる部分があります。
RAG・MCP・ローカルLLM を実際に動かして測った記事を書いています。続きが気になる方は Qiita でフォロー してもらえると、次の記事が届きます。
機密ゲートの設計を仕組みに落とす側の視点は、拙著の第10章「セキュリティ運用とガードレール」でも取り上げています。

