0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIにC/C++コードを読ませたい!ローカルONNXモデル「ssl-jp/pii-ja-ner-onnx」で開発者の人名だけを仮名化・復元するツールを作った話 〜ニュートンさんは守る〜

0
Posted at

はじめに:AIにソースコードを読ませたい、でも「所属先+担当者名」は個人情報になる

社内に長年蓄積されたC/C++のレガシーコードを生成AI(LLM)に読み込ませて、リファクタリングやドキュメント化、仕様解析を行いたいケースは多いと思います。

しかし、業務で書かれたC/C++ソースコードには、ヘッダやコメント内に次のような情報が含まれています。

// Copyright (c) SampleSoft Corp. All rights reserved.
// 2008/05/12 作成者: 磯野波平
// 修正: M.Fuguta (ニュートン法による収束判定のトレランス調整)
// N.Isono 確認済:ここはラグランジュ補間を使用する
// Author: Masuo Fuguta, Isasaka

ここで意識したいのが 個人情報の定義 です。
日本の個人情報保護法において、個人情報とは「特定の個人を識別することができる情報」を指します。一見すると「磯野」「M.Fuguta」といった 名字やイニシャル単体では、同姓同名が多数存在するため特定の個人まで一意に絞れない ケースも多いです。

しかし、業務用のプログラムソースコードには、先頭のコピーライト表記や名前空間・ファイルプレフィックスなどによって 「社名(所属先)」がセットで含まれています 。結果として、ソースコード全体では 「所属先(社名・顧客名)+名前」が揃うため、特定の個人を識別可能な立派な「個人情報」に該当する という実務上の問題が発生します。

したがって、外部のLLMサービスへそのままソースコードを送信するわけにはいかず、事前の匿名化が必須となります。しかし、正規表現だけで「漢字の名字」「カタカナ」「ローマ字イニシャル」を網羅しようとすると誤検知・漏れが避けられませんし、個人名検出のために外部のLLM APIを呼ぶのでは本末転倒です。

そこで本記事では、白金数理合同会社様が公開してくださっている 完全ローカル(オフライン・CPUのみ) で高速に動作する軽量ONNXモデル ssl-jp/pii-ja-ner-onnx を活用し、C/C++コメント内の 「開発者の人名」だけを賢くユニークタグ(__ANON_001__ 等)に仮名化し、AI編集後に元の人名へ完全復元できるツール(toanon / fromanon) を開発した技術と工夫について解説します。


1. 『ssl-jp/pii-ja-ner-onnx』とは?

ssl-jp/pii-ja-ner-onnx は、 白金数理合同会社(Shirokane Suri, LLC) 様が開発し、 Apache License 2.0 で公開してくださっている日本語の個人情報(PII: Personally Identifiable Information)検出用の固有表現抽出(NER)モデルです。

入力テキストを外部のAPI等へ送信せず手元のローカル・エッジ環境だけで安全に個人情報を検出・マスキングできるように、という実用的なコンセプトのもと、日本語BERT(BertJapaneseTokenizer, hidden_size=768, 12層, vocab_size=32000)をベースにファインチューニングされ、さらに INT8量子化によって約105.4 MBまで軽量化されたONNX形式 として配布されています。GPUを持たない一般的な業務PCでもそのままオフライン導入して高速に動かせる点は、実務で採用する上で本当にありがたい設計です。

今回のアプローチ:「人名」ラベルのみに特化して使う

id2label.json には O を含めて計37クラス(BIO形式・18種類のPIIカテゴリ)が定義されています。

  • B-PERSON_NAME / I-PERSON_NAME(人名)
  • B-ORGANIZATION_NAME / I-ORGANIZATION_NAME(組織名)
  • B-ADDRESS(住所)、B-PHONE_NUMBER(電話番号)、B-EMAIL(メールアドレス)、B-MY_NUMBER(マイナンバー)など

多機能のモデルですが、今回は 「C/C++ソースコードのコメント匿名化」という用途に合わせて、あえて B-PERSON_NAME / I-PERSON_NAME(人名)の抽出のみに特化 させました。

組織名や番号系まで無差別にマスクしてしまうと、C/C++のコメントにあるフレームワーク名や会社著作権表記、バージョン・エラー番号などの技術的文脈まで潰れてしまい、AIがコードを理解する妨げになるためです。

ONNX Runtime による推論の実装イメージ

onnxruntime の CPUExecutionProvider を使うことで、GPUなしの一般的な業務PC(CPU環境)でも、local_files_only=True による完全オフライン構成で軽快に動作します。

import numpy as np
import onnxruntime as ort
from transformers import AutoTokenizer

opts = ort.SessionOptions()
opts.graph_optimization_level = ort.GraphOptimizationLevel.ORT_ENABLE_ALL
opts.intra_op_num_threads = 4

sess = ort.InferenceSession(
    "models/pii-ja-ner-onnx/model_quantized.onnx",
    sess_options=opts,
    providers=["CPUExecutionProvider"],
)
tokenizer = AutoTokenizer.from_pretrained("models/pii-ja-ner-onnx", local_files_only=True)

2. 工夫した点①:C/C++構文保護と「MeCab + UniDic」による弱点補強・高速化

ローカルモデルをそのままコメント文字列に適用すると、大きく2つの壁にぶつかります。

  1. コード領域・文字列リテラルを壊してはいけない
  2. BERT単独の文脈・位置バイアスによる誤検知(一般の動詞・助詞が人名になる)と、全行推論のコスト

(1) 専用ステートマシンでコメント領域のみを分離

正規表現で // や /* ... */ を雑にマッチさせると、"http://example.com" や "磯野波平 // フグ田サザエ" のような文字列リテラル内まで書き換えてしまいます。
そこで専用の字句解析ステートマシン(comment_parser.py)を用意し、文字列リテラル(\" エスケープ対応)、C++11生文字列リテラル R"delim(...)delim"、文字リテラル(C++14の数値区切り 1'000 対応)、行末継続 \ を厳密に避けながら コメント内部の文字スパンだけ を抽出します。

(2) fugashi (MeCab + UniDic) 品詞フィルタで誤検知をブロック

まず、自然言語処理(NLP)以外のエンジニア向けに本ツールで使用している 「形態素解析」「MeCab」「UniDic」「fugashi」 を簡単に解説します。

  • 形態素解析 : 英語と異なりスペースで単語が区切られていない日本語の文章を、意味を持つ最小単位(単語=形態素)に分割し、それぞれの品詞や読みを判定する技術です。
  • MeCab(メカブ) : 京都大学とNTTコミュニケーション科学基礎研究所の共同研究によって開発された、C++製の超高速なオープンソース日本語形態素解析エンジンです。古くから日本語解析のデファクトスタンダードとして広く使われています。
  • UniDic(ユニディック) : 国立国語研究所が整備している形態素解析用の高精度な電子辞書です。単語ごとに第1〜第4階層(pos1〜pos4)の精緻な品詞情報を持っています。
  • fugashi(フガシ) : Python から MeCab を高速に呼び出すためのラッパーライブラリです。辞書パッケージ unidic-lite と組み合わせることで、環境構築の手間なく Python 上から即座に MeCab + UniDic を利用できます。

例えば 作成者: 磯野波平 というテキストを fugashi (MeCab + UniDic) で解析すると、次のように単語分割と品詞ラベル付けが行われます。

作成 -> pos1=名詞, pos2=普通名詞, pos3=サ変可能
者   -> pos1=接尾辞, pos2=名詞的, pos3=一般
:    -> pos1=補助記号, pos2=一般
磯野 -> pos1=名詞, pos2=固有名詞, pos3=人名, pos4=姓
波平 -> pos1=名詞, pos2=固有名詞, pos3=人名, pos4=名

この「文法的な品詞情報」を活用することで、BERTモデルの弱点を補強します。
日本語NERモデルを行単位で推論すると、以下のような行で位置バイアスにより非人名まで B-PERSON_NAME として拾ってしまうことがあります。

// リスト、しきい、した、なら、だめなら、磯野波平

上記の「した」「なら」「だめ」「しきい」などが誤反応した際、単純にモデル出力を信じるのではなく、fugashi(MeCab + UniDic)による品詞(pos1 〜 pos4)を組み合わせることでブロックします。

  • 動詞, 助詞, 助動詞, 接続詞, 普通名詞 に分類されるトークンが単独で人名化されるのを遮断
  • ひらがな・カタカナ候補はカタカナ正規化の上で UniDic の人名辞書(pos2 == "固有名詞" かつ pos3 == "人名")と照合

(3) Fast Path 事前フィルタによる約4.8倍の高速化

全ソースファイルの全コメント行に対して毎回 ONNX 推論(実測約 1〜2 ms/行)を実行すると、数万行のワークスペースでは待ち時間が長くなります。実際、実機プロファイリングでは処理時間の 約95%以上が ONNX 推論 でした。

しかし、ソースコードのコメントの大半は「バッファをクリアする」「境界ボックスを算出する」といった人名を含まない処理説明です。そこで、大文字英字・作者文脈・MeCab品詞構成の条件から 「人名候補が含まれないと考えられる行」をわずか 0.04 ms の事前検査で見分けて ONNX 推論をスキップする Fast Path ゲート を実装しました(※この事前フィルタのトレードオフによる課題については後述します)。

  • 人名を含まない典型的な技術コメント100行での実測比較(Windows CPU 環境):
    • 改修前(全行 ONNX 推論): 212.10 ms (2.121 ms/行)
    • 改修後(事前フィルタ有効): 44.37 ms (0.444 ms/行)→ 約 4.8 倍高速化

マルチプロセス化による OS 依存(ポータビリティ低下)を伴わず、シングルプロセス完結のまま大幅な高速化を実現できました。


3. 工夫した点②:ローマ字・カナ逆引きの罠と「切り出し文字列の直接推論」

C/C++ のコメントでは、漢字名だけでなくローマ字表記やイニシャル表記が頻繁に使われます。

  • N.Isono(磯野波平)
  • M.Fuguta(フグ田マスオ)
  • Masuo Fuguta
  • // Author: Isasaka(伊佐坂先生)

失敗談:ローマ字→カタカナ変換して「UniDic人名辞書」で逆引きする方式の限界

当初は、英語の一般語と区別するために、

  1. コメントからローマ字単語を切り出す(例: Namihei, Isasaka, Anago)
  2. ローマ字を機械的にカタカナへ変換する(例: ナミヘイ, イササカ, アナゴ)
  3. UniDic の人名辞書を引いて「人名(姓/名)」ならマスクする

という 「ローマ字カナ逆引きロジック」 を実装していました。ところが、実際に動かしてみると日本人の名前が次々とすり抜けてしまいました。

理由は UniDic の形態素分割(分かち書き)と同音一般語への吸収 です。実際に実機の UniDic で解析してみると、次のような結果になります。

  • Namihei → ナミヘイ → UniDicが ナミ(普通名詞) + ヘイ(普通名詞) に2分割してしまい、1語の人名として判定できない
  • Isasaka → イササカ → UniDicが イササカ(名詞・普通名詞・一般 =「聊か」) と解釈してしまい、人名辞書(固有名詞・人名)にヒットしない
  • Anago → アナゴ → UniDicが アナゴ(名詞・普通名詞・一般 = 魚の穴子) と解釈してしまい、やはり棄却される

このように、カナ変換+辞書逆引きでは文字・音読みが一般名詞と被る日本の名字や名前に対して非常に脆い構造になっていました。

解決策:カナ逆引きを廃止し、「抽出した単語単位」をモデルに直接食わせる

そもそも「ローマ字カナ逆引き」のために、せっかくコメント内から Isono や Isasaka の単位で切り出して抽出しているのです。ならば コメント全文をモデルに食わせて英語ノイズに飲まれるのではなく、抽出後の候補文字列そのものを ssl-jp/pii-ja-ner-onnx に直接推論させる 方が筋が良いのではないか、という発想に転換しました。

実際に検証してみると、単体の切り出し文字列をそのまま ONNX モデルへ渡すと驚くほど高精度に判定できました。

抽出文字列 トークナイズ結果 モデル予測ラベル 判定
Isono Is ##on ##o B-PERSON_NAME I-PERSON_NAME I-PERSON_NAME (比率 1.0) 人名 (True)
Fuguta F ##ug ##ut ##a すべて PERSON_NAME (比率 1.0) 人名 (True)
Isasaka Is ##as ##aka すべて PERSON_NAME (比率 1.0) 人名 (True)
N.Isono N . Is ##on ##o すべて PERSON_NAME (比率 1.0) 人名 (True)
M.Fuguta M . F ##ug ##ut ##a すべて PERSON_NAME (比率 1.0) 人名 (True)
Masuo Fuguta Ma ##s ##u ##o F ##ug ##ut ##a すべて PERSON_NAME (比率 1.0) 人名 (True)
created c ##re ##ated O O O (比率 0.0) 非人名 (False)
pointer po ##int ##er O O O (比率 0.0) 非人名 (False)

実装コードの核心部分(predict_isolated_text_is_person)は以下の通りです。

def predict_isolated_text_is_person(self, text: str) -> bool:
    text_clean = text.strip()
    low = text_clean.lower()
    if len(low) < 2:
        return False
    if low in CPP_RESERVED_KEYWORDS or low in CPP_AND_ENGLISH_STOPWORDS:
        return False
    if self.is_blacklisted(text_clean):
        return False
    if text_clean in self._romaji_model_cache:
        return self._romaji_model_cache[text_clean]

    tokens = self.tokenizer.tokenize(text_clean)
    if not tokens:
        return False

    input_ids = (
        [self.tokenizer.cls_token_id]
        + self.tokenizer.convert_tokens_to_ids(tokens)
        + [self.tokenizer.sep_token_id]
    )
    inputs = {
        "input_ids": np.array([input_ids], dtype=np.int64),
        "attention_mask": np.ones((1, len(input_ids)), dtype=np.int64),
    }
    logits = self.sess.run(None, inputs)[0][0]
    pred_ids = np.argmax(logits, axis=-1).tolist()
    labels = [self.id2label.get(pid, "O") for pid in pred_ids[1:-1]]

    person_count = sum(1 for l in labels if "PERSON" in l)
    is_person = (person_count / len(labels)) >= 0.5
    self._romaji_model_cache[text_clean] = is_person
    return is_person

合わせて、候補抽出では以下の点もケアしています。

  1. Unicode 境界の罠の回避 : Python の \b は日本語と英字の境目を単語境界とみなさないため、とMasuo Fuguta のようなパターンを取りこぼします。ASCII 境界 (?<![A-Za-z0-9]) と (?![A-Za-z0-9]) を使うことで日本語直後の英字人名も確実に拾えます。
  2. 2単語句の誤連結防止 : Fuguta created のような「人名+動詞」を一塊にしないよう、2単語の片方でも C/C++ 予約語や英語ストップワード(created, file, buffer 等)であればペアとして棄却し、Fuguta 単体のみを作者・履歴文脈下で拾うように分離しています。

4. 工夫した点③:除外リスト(blacklist.txt)の外出しと「ニュートンさん・ラグランジュさん」を守る設計

このツールを実際の CAD / 数値計算の C++ コードにかけたとき、非常に重要な問題に気づきました。

C/C++ の技術コメントには、 歴史上の偉人(数学者・物理学者・計算機科学者)の名前を冠したアルゴリズム名 が大量に登場します。

  • ニュートン 法 / ニュートン・ラフソン法(Newton, Raphson)
  • ラグランジュ 補間・未定乗数法(Lagrange)
  • ガウス 消去法・ガウシアン(Gauss)
  • ベジェ 曲線(Bezier)
  • ボロノイ 図・ ドロネー 三角形分割(Voronoi, Delaunay)
  • エルミート / チェビシェフ / オイラー / ルンゲ = クッタ / ヤコビ / テイラー
  • さらには NURBS / 幾何計算の著名な研究者 G.Farin (Gerald Farin 氏)など

もしこれらを AI モデルが「人名だ!」と素直に検知してマスクしてしまうと、コメントはこうなってしまいます。

// × 全部消してしまった残念な例
// __ANON_001__法で交点を求め、__ANON_002__補間で曲線を生成する

これでは、 「何のアルゴリズムを実装している関数なのか」というプログラムの核心的な意図が AI に全く伝わらなくなります!

そこで本ツールでは、除外対象をハードコードせず、テキストファイル blacklist.txt として外出しにしました。

# ==============================================================================
# 1. 数理ロジック・アルゴリズム用語(人名に由来する数学・計算手法)
# ==============================================================================
ニュートン
ラフソン
ガウス
ラグランジュ
ベジェ
オイラー
ルンゲ
クッタ
ボロノイ
ドロネー
...
G.Farin
Gerald Farin
Farin

外部ファイル化によって、以下の絶大なメリットが得られました。

  • 偉人の名前が消えない : ニュートンさんやラグランジュさんの名前はマスクされずにそのまま残るため、AI に渡した際に 「ニュートン法とラグランジュ補間を使っているロジックだ」とアルゴリズムの意図が正しく伝わる 。
  • ドメイン用語の柔軟なメンテナンス : 「コードは書き換えずに設定ファイルに1行追記するだけ」で、各プロジェクト特有の用語(Database Entity, Bounding Box, Cadceus, Dynavista, Dassault Systemes 等)や技術的誤検知を即座に保護できる(--blacklist-file でプロジェクト別の差し替えも可能)。

5. 工夫した点④:ドライラン(--dry)による候補抽出 → 除外リスト追記の実践ワークフロー

数百ファイルをいきなり書き換えるのは現場ではリスクが高いため、--dry オプションを設け、バックアップ作成もファイル書き換えも一切行わずに 「何がマスクされる予定か(候補一覧)」 を事前確認できるようにしました。

uv run main.py C:\path\to\cpp_project --dry

実際の運用では、まさに以下の 3ステップ のワークフローで高精度な匿名化を実現しています。

  1. Step 1(ドライランで候補一覧を取得) : main.py <対象フォルダ> --dry を実行し、末尾に出力される マスクした人名一覧 を取得する。
  2. Step 2(名前以外の文字列を除外リストへ追加) : 候補一覧を目視チェックし、混入した「名前以外の文字列(プロジェクト固有の用語、英単語フレーズ、開発ツール名、アルゴリズム由来の数学者名など)」を blacklist.txt へ追記する。
  3. Step 3(再確認して本番実行) : もう一度 --dry を叩いて開発者の人名だけがクリーンに残ったことを確認した上で、オプションなしの 本番実行 (タグ置換+バックアップ退避+CSV出力)を行う。

「最初からAIモデルに100点満点を求める」のではなく、 AIで候補を網羅的に拾い上げ、ドライラン結果から人間が数分で blacklist.txt を育てる という現実的な役割分担が、業務適用では非常に強力に機能します。

💡 実運用エピソード:長音「ー」ではなく漢数字の「一」だった『エラ一』の罠
レガシーコードのコメントを --dry でチェックしていた際、見慣れない「エラ」という人名候補が検出されたことがありました。原因を調べると、元のコメントが「エラー」ではなく 末尾が漢数字の『一(イチ)』になっているタイプミス表記の『エラ一』 だったのです。
正しい「エラー」なら MeCab は 1 つの普通名詞として扱いますが、「エラ一」では エラ + 一(数詞) に分割されてしまい、しかも後ろがカタカナではないためカタカナ複合語ガードもすり抜け、モデル側でも人名(PERSON_NAME)として反応していました。このような「人間でも一見見抜けない文字入力のゆらぎ」を --dry で素早く発見し、blacklist.txt に「エラ」を追記して対処できたのも、ドライラン+外出しリスト設計ならではの強みでした。


6. 工夫した点⑤:ユニークタグ(__ANON_001__)とCSV記録で「AI編集後に元へ戻せる」

ここまでの仕組みで安全に人名を隠せるようになりましたが、もし一律に [ToAnon] という固定文字列に置換してしまうと、次の2つの問題が残ります。

  1. 誰と誰が同じ人物か分からない : Aさんが作成、Aさんが修正、Bさんがレビュー が全部 [ToAnon] になり、履歴の因果関係が消える
  2. AIにコードを編集させたあと、元のコメントに戻せない : AIがバグ修正やリファクタリングをして返してくれたコードに対して、元の作成者名・担当者名を復元できない

そこで、単純な「マスク(不可逆)」から 「ユニークタグ+CSV対応表による可逆仮名化(Pseudonymization)」 へと拡張しました。

(1) 予約語・一般語と衝突しないユニークタグ

置換先のタグ文字列は __ANON_001__, __ANON_002__, ... の形式としています。
C/C++ の予約語(class, return, default 等)や通常の変数名・英単語と絶対に衝突せず、コメント内でも視認性が高い形式です。

また、プロジェクト全体を通して 同一の人名表記には同一のタグ を採番する TagManager を実装しました。先ほどのサザエさん一家の例を実際に本ツールへ通すと、次のように変換されます。

// 変換後(AIに渡すコード)
// 2008/05/12 作成者: __ANON_001__
// 修正: __ANON_002__ (ニュートン法による収束判定のトレランス調整)
// __ANON_003__ 確認済:ここはラグランジュ補間を使用する
// Author: __ANON_005__, __ANON_004__

※ ニュートン や ラグランジュ といった偉人の名前が傷つくことなくそのまま残り、かつ担当者の個人名だけが正確にタグ化されていることが分かります。

(2) 対応表のCSV出力(toanon_mapping.csv)

タグと元の人名の対は、Excel でも文字化けせずそのまま開ける UTF-8 with BOM 形式の toanon_mapping.csv に記録します(この CSV 自体は AI には渡さずローカルに保管します)。

tag,original_name,count
__ANON_001__,磯野波平,1
__ANON_002__,M.Fuguta,1
__ANON_003__,N.Isono,1
__ANON_004__,Isasaka,1
__ANON_005__,Masuo Fuguta,1

(3) 復元ツール(fromanon)と実機ワークスペースでの完全一致検証

AI によるコードレビューやリファクタリングが完了したら、手元の fromanon.py(または run_fromanon.bat)を実行します。復元時は __ANON_001__ と __ANON_0010__ のような部分一致事故を防ぐため、タグ文字列の長さ降順で置換を行います。

実際に C/C++ ファイル 845件 を含むテスト用実機ワークスペースに対して、 「① タグへ置換(toanon) → ② タグから復元(fromanon) → ③ 初期バックアップと全ファイル比較」 を実行した実測結果は以下の通りです。

[置換 (toanon)]
  マスク対象ファイル数 : 437 件 (全 845 件中)
  マスク箇所総数       : 1,177 箇所
  採番されたユニークタグ: 49 個 (__ANON_001__ ~ __ANON_049__)

[復元 (fromanon)]
  復元対象ファイル数   : 437 件
  復元箇所総数         : 1,177 箇所

[初期バックアップとの全ファイル SHA-256 / バイナリ一致照合]
  照合対象ファイル総数 : 845 件
  完全一致ファイル数   : 845 / 845 件 (100.00%)
  差分(Diff)ファイル : 0 件

全845ファイルの文字コード(UTF-8 / Shift_JIS 等)・改行コード(CRLF / LF)・インデントを含め、 1バイトの狂いもなく元のソースコードへ完全復元 できることを確認できました。


7. その他、実運用で効いた細かな工夫点

表立って意識されにくいものの、実際の業務ソースコードを通した際に「これが無かったら事故っていた」細かなエンジニアリング上の工夫もいくつか入れています。

  1. 「...名取得」が「名取(姓)+得」に化ける MeCab 誤分割ガード :
    • C++ コメントに頻出する // フィーチャ名取得 や // ファイル名取得 を MeCab にかけると、日本の姓「名取(人名)」+「得」に誤分割される現象がありました。w_surf == "名取" かつ直後の文字が "得" である場合はマスクを強制キャンセルするガードを入れています。
  2. カタカナ技術用語の部分一致汚染防止 :
    • フィーチャ や データム のようなカタカナ複合語の一部(例: チャ, タム 等)が単独の外国人名等と誤認されないよう、前後の文字がカタカナと連結している場合は切り離してマスクしないカタカナ境界チェックを入れています。
  3. 逆順スパン置換(Reverse Span Replacement)によるインデックス崩壊防止 :
    • 1行に複数の人名(例: Author: Masuo Fuguta, Isasaka)が含まれる場合、先頭から順に文字数の異なるタグへ置換すると後続スパンの開始位置がずれて文字列が破壊されます。必ず開始位置でソートし、 末尾から逆順に置換 することで複数人名行でも破損ゼロにしています。
  4. レガシーソースの文字コード(Shift_JIS / EUC-JP / UTF-8 BOM)と改行コード(CRLF / LF)の完全保持 :
    • 古いC++コードはファイルごとに UTF-8(BOM有無)や Shift_JIS(CP932)が混在しています。書き戻し時に UTF-8 に統一してしまうと git diff が全行差分になって業務で使い物にならないため、読み込み時に文字コードを自動判定し、newline="" 指定で改行コード含め元の形式を100%保持したまま上書き保存しています。
  5. クラウド同期フォルダ(OneDrive / BOX)や NTFS リパースポイントの自動除外 :
    • Windows 環境では OneDrive や BOX のオンライン専用プレースホルダ(FILE_ATTRIBUTE_REPARSE_POINT / FILE_ATTRIBUTE_RECALL_ON_DATA_ACCESS 等)を不用意に走査すると、大量ファイルのオンデマンドダウンロードや無限ループを引き起こします。os.lstat の属性チェックとフォルダ名検査で安全にスキップするようにしています。

8. 限界と今後の課題(100%完璧なものではないことについて)

本ツールは実務のレガシーコードで実用的な精度・速度を達成できましたが、 「これを通せば100%完全にすべての人名を漏れなく隠せる」という魔法のツールではありません。 技術的・設計的な制約として、以下の課題があります。

(1) フィルターの精度的な課題(誤検知抑制・高速化とのトレードオフ)

C/C++ のコメント内には変数名・型名・英語の説明文など大量のアルファベットが出現します。誤検知の洪水と処理時間の増大を防ぐため、本ツールのローマ字検出や Fast Path 事前フィルタは、以下のような「人名らしい表記前提」を置いています。

  • ローマ字の人名・イニシャルは 先頭が大文字 ([A-Z])で書かれる(例: Masuo Fuguta, M.Fuguta)
  • 2単語の姓名連記はスペース・ハイフン・アンダースコア区切りであり、 ドット(.)つなぎではない

このため、実際に検証したところ、 ssl-jp/pii-ja-ner-onnx モデル単体に渡せば人名(比率 1.00)と認識できるにもかかわらず、前段のフィルタ条件で弾いてしまい検出できないケース が存在します。

入力文字列の例 ONNXモデル単体での判定 本ツール(現行フィルタ)での結果 弾かれる理由
masuo fuguta(すべて小文字) 人名 (PERSON_NAME) 未検出 先頭大文字前提・Fast Pathの大文字有無チェック
masuo.fuguta(ドット区切り小文字) 人名 (PERSON_NAME) 未検出 2単語パターンがドット区切り未対応・小文字前提外
m.fuguta(小文字イニシャル) 人名 (PERSON_NAME) 未検出 イニシャルパターンが [A-Z] 必須

アカウント名やメールアドレス風の署名(masuo.fuguta 等)を残す文化のあるコードベースを扱う場合、C++ の構造体メンバアクセス(obj.member)やファイル拡張子(foo.cpp)と衝突しない境界条件を工夫した上で対応を広げるのが今後の改善課題です。

(2) PII オープンウェイトモデル自体の検出限界

今回活用させていただいている ssl-jp/pii-ja-ner-onnx はローカル環境で非常に高い実用性を発揮してくれますが、一般にオープンウェイトの統計的NERモデルはどれも確率・統計に基づく推論を行う仕組み上、 100%の網羅的検出を保証するものではありません。

  • 学習データの傾向にない珍しい苗字・当て字・略称・特殊な表記ゆれに対しては検出漏れ(False Negative)が起き得ます。
  • 逆に、見慣れないカタカナ語や英語フレーズを文脈によって人名と誤判断(False Positive)するケースもゼロにはなりません。

(3) 実運用における位置づけ

したがって、本ツールは「完全に人手をゼロにする自動装置」ではなく、 数千〜数万行のソースコードから個人名候補を高速かつ網羅的に洗い出し、人手による確認コストを数十分の一へ圧縮するための強力な補助ツール として位置づけるのが現実的です。

本番で外部AIへ渡す前には、ドライランや git diff による差分チェックで「小文字のアカウント名や珍しい記名が残っていないか」を軽く見直し、あわせて学習オプトアウト設定や閉域網LLM等のセキュリティ対策と併用することを推奨します。


まとめ

白金数理合同会社様が公開してくださっているローカル ONNX モデル ssl-jp/pii-ja-ner-onnx を軸に、実務の C/C++ コード向けに以下の設計を組み合わせることで、実用的な匿名化・復元パイプラインを構築できました。

  1. 「人名」ラベル特化 + MeCab品詞フィルタ + Fast Path : 不要なPII誤検知と推論負荷を抑え、シングルプロセスで約4.8倍高速化
  2. カナ逆引きの廃止と切り出し直接推論 : UniDic の分割問題(Namihei や Isasaka 等)を根本解消し、ローマ字人名を高精度化
  3. 外出しブラックリスト(blacklist.txt) : ニュートンさんやラグランジュさんといった偉人名・専門用語を守り、AI にロジックの意図を正しく伝える
  4. --dry 候補確認 → 除外追記 → 本番実行の運用フロー : 現場に合わせた低コストなノイズ除去
  5. __ANON_001__ タグ + CSV記録 + fromanon 復元 : 「所属先+名前」の個人情報を確実に隠しつつ、AI編集後に100%元の担当者名へ戻せる可逆ワークフロー

ローカル環境で手軽に高精度な日本語PII検出を実現する素晴らしいモデルを開発・公開してくださった白金数理合同会社様に感謝申し上げます。レガシーコード資産を安全に生成AIへ橋渡しする際の一つのパターンとして、どなたかの参考になれば幸いです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?