README、英語のドキュメント、留学や資格試験のエッセイ。英語を第二言語として書いている人にとって、「AI文章検出器」の判定は他人事ではありません。

よく誤解されますが、AI文章検出器の多くは、生成モデルの“筆跡”を見分ける魔法の分類器ではありません。文書を「どれだけ予測しやすいか」「どれだけ均一か」といった少数の統計量に落とし込み、その値にしきい値を引いているものが少なくありません。そしてこの設計には、よく知られた弱点があります。第二言語で書く人の文章を不利に扱ってしまうことです。

この記事では、検出に使われる主なシグナルを概念レベルで整理し、なぜシンプルな英文が「AI側」に寄ってしまうのかを見たうえで、検出器を作る・導入する側が何を意識すべきかをまとめます。

シグナル1：パープレキシティ

言語モデルにテキストを1トークンずつ入力すると、モデルは各ステップで「実際に次に来たトークン」に確率を割り当てます。パープレキシティはざっくり言えば、系列全体の負の対数確率の平均を指数化したものです。

PPL(x) = exp( -(1/N) * Σ log p(x_i | x_<i) )

パープレキシティが低い＝モデルが次の単語をほとんど「意外」に感じなかった、ということです。

なぜこれが機械生成の文章と相関するのでしょうか。チャット系モデルは確率の高い続きを選ぶようにデコードするため、出力が分布の低パープレキシティ側に集まりやすいからです。この性質を使う検出器は、要するに「これはモデルが選びそうな文章か？」を問うています。

シグナル2：バースト性（burstiness）

パープレキシティは平均値なので、文章の“形”が見えません。人間の文章はムラがあるのが普通です。短く言い切る文、従属節を含む長い文、そして断片的な一文。こうした揺らぎは、文ごとの長さや文ごとのパープレキシティの分散で捉えられます。

以下は文の長さだけを使った、あくまでおもちゃの例です（実際の検出器がこう動いているわけではありません）。

import re, statistics

def sentence_lengths(text):
    sents = [s for s in re.split(r"[.!?]+\s*", text) if s.strip()]
    return [len(s.split()) for s in sents]

def burstiness(text):
    lengths = sentence_lengths(text)
    if len(lengths) < 2:
        return 0.0
    mean = statistics.mean(lengths)
    return statistics.pstdev(lengths) / mean  # 変動係数

even = ("Social media is important for young people. It has many advantages. "
        "It also has many disadvantages. Students should use it carefully.")
uneven = ("My cousin runs her whole bakery from Instagram, which still surprises "
          "our grandmother. Every morning. She posts before the ovens are even warm.")

print(burstiness(even), burstiness(uneven))

1つ目の文章は文の長さがほぼ揃っていて、2つ目は大きく揺れています。「分散が小さい＝機械っぽい」と重み付けする検出器なら、1つ目を疑いやすくなります。

シグナル3：定型パターン

語彙的な特徴を加える検出器もあります。「Furthermore」「In conclusion」のような接続表現の頻度、きれいに3つ並べた列挙、汎用的な言い回しなどです。計算コストが低く、チャットボットの出力とも確かに相関します。ただし、これらは英語の書き方の教わり方とも相関します。

第二言語の英語はどこに落ちるか

第二言語で丁寧に英語を書く人は、ネイティブの書き手に比べて次の傾向を持つことがよくあります。

頻度の高い単語を選ぶ（トークンごとの意外性が下がる → パープレキシティが下がる）
信頼できる少数の文型を繰り返す（分散が小さくなる → バースト性が下がる）
教科書で習ったフォーマルな接続詞を使う（定型パターンのヒットが増える）

3つのシグナルがすべて同じ方向に動きます。ここで測られているのは誠実さではありません。これらの特徴量が表しているのは「ごく普通の、丁寧な文章」であり、丁寧に学んでいる人ほどまさにそういう文章を書きます。

実証結果もはっきりしています。Liang らは広く使われている7つのAI文章検出器を、人間が書いた TOEFL エッセイ91本と、米国の中学2年生（8th grade）のエッセイ88本に適用しました。米国の生徒のエッセイは正しく分類された一方、TOEFL エッセイでの平均偽陽性率は約61%でした。7つすべての検出器に AI と判定された TOEFL エッセイは、ほかのエッセイよりパープレキシティが有意に低いという結果でした。さらに、ネイティブのエッセイの語彙を簡単にすると誤分類が大きく増えました。ラベルを動かしているのは書き手ではなく特徴量だ、ということをかなり直接的に示す結果です。

なお著者ら自身が挙げている注意点として、これは比較的小さなサンプルによるパイロット研究であり、2023年前半に検証された検出器の多くは、古く小規模な言語モデルをベースにしていました。ツールはその後変わっていますが、「予測しやすさ」に頼るシグナルかどうかは引き続き注意して見るべき点です。

しきい値と基準率

偽陽性率が小さくても、規模が大きければ影響は無視できません。米ヴァンダービルト大学は、利用していた商用の AI 検出機能を無効化した理由を説明する中で、ベンダー自身が公称していた偽陽性率1%（実測値ではありません）でも、2022年に提出した約75,000本のうち約750本を誤ってラベル付けしかねなかったと試算しています。もしその誤りが特定のグループに偏っていれば、特徴量の上で不利な学生に誤判定が集中します。

ツール間の不一致も症状のひとつです。スタンフォードのデータでは、TOEFL エッセイの97.8%が少なくとも1つの検出器に判定された一方、7つすべてに判定されたのは19.8%だけでした。しきい値や特徴量が違えば、判定もまるで違ってきます。

検出器を作る・導入する人へ

仕組みから素直に導ける原則がいくつかあります。

スコアだけでなく根拠を見せる。 文単位でハイライトすれば、「AI」シグナルが定型的な導入部や定義文（偽陽性が起きやすい箇所）から来ているのかを読み手が確認できます。
判断を自動化しない。 文体についての統計的な推測では、誰が書いたかは確定できません。検出結果は証拠のひとつであって、証明ではありません。フラグは「よく見て、書いた本人と話すきっかけ」として扱い、結論として扱わないことです。

まとめ

パープレキシティやバースト性のようなシグナルは、テキストの性質をうまく記述します。しかし、それは誰が書いたかの記述ではありません。「予測しやすい」を「機械が書いた」と同一視するシステムは、まったく人間的な理由で予測しやすい文章を書く人を体系的に読み違えます。その最もわかりやすい例が、英語を学んでいる人たちです。UI もドキュメントも運用フローも、この前提で設計しましょう。

Miles（London, United Kingdom）

参考文献

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E. & Zou, J. (2023). Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779（プレプリント：arXiv:2304.02819）。本文では検証対象の検出ツール名を挙げていません。
Vanderbilt University, AI検出機能の無効化を告知したブログ投稿, 2023年8月。報道: Tom Carter, "Universities ditch AI detectors over fears students could be falsely accused of cheating", Business Insider, 2023年9月22日。https://www.businessinsider.com/universities-ditch-ai-detectors-over-fears-students-falsely-accused-cheating-2023-9

Drafted with AI assistance and edited by the author.