自分の本に、こう書きました。
人間が書いたQiita記事のほうが、どのAIモデルよりも「AIっぽい」スコアになった。
6つのLLMに同じテーマで日本語を書かせ、対照群としてQiitaの人間記事を並べた実験の結論です。書いた本人が一番驚きました。
5ヶ月後に検算して、撤回しました。
原因は文化ではありませんでした。長さです。
何を測っていたか
まず撤回する前の話から。
AI Text Slop Score という複合スコアを作って、7つのソースを並べました。見出しの多さ、箇条書きの多さ、太字、「いかがでしたでしょうか」的な定型結論、AI頻出語彙、ヘッジング。そういう指標を合算した数字です。
| ソース | Score |
|---|---|
| Human (Qiita) | 28.5 ± 8.1 |
| Claude Sonnet 4 | 21.5 ± 4.5 |
| GPT-4o | 19.8 ± 6.3 |
| Qwen 3.5-4B | 16.7 ± 5.8 |
| Qwen 3.5-9B | 15.6 ± 4.2 |
| gpt-oss 20B | 15.2 ± 6.3 |
| Llama 3.2-1B | 10.3 ± 8.8 |
人間が1位です。
指標ごとに見ると、押し上げていたのは構造のほうでした。
| 指標 | Human | Claude S4 |
|---|---|---|
| 見出し | 22.4 | 14.7 |
| リスト | 31.8 | 14.6 |
| 定型結論 | 2.20 | 1.03 |
| 太字 | 13.6 | 10.0 |
| AI頻出語彙 | 2.70 | 3.43 |
語彙ではAIが上。構造では人間が圧勝。
私はこの差の理由を、Qiitaの執筆文化に求めました。「はじめに」「環境」「手順」「まとめ」の見出し構成、番号付きリスト、結びの一言。書き手がいいねの付くフォーマットに最適化された結果、AIのRLHFと同じ方向へ寄っていった、という筋書きです。「AIくささ」だと思っていたものの正体は、日本語技術ブログの慣習です。
話がきれいにまとまりました。この時点では、まだ確かめていません。
確かめずに通した箇所
5ヶ月ぶりに実験の記録を開き直して、最初に目に入ったのがこの表でした。
| ソース | 平均文字数 |
|---|---|
| 人間 (Qiita) | 8,023 |
| Llama 3.2-1B | 3,897 |
| Claude Sonnet 4 | 2,266 |
| Qwen 3.5-4B | 1,801 |
| GPT-4o | 1,751 |
| Qwen 3.5-9B | 1,535 |
| gpt-oss 20B | 1,519 |
AIには「800字程度で書いてください」と指示していました。人間の記事に、そんな制約はありません。
長いのは対照群のほうでした。AI 6モデルの平均が2,128字、人間が8,023字。3.8倍です。
そして私が比べていたのは、見出し「数」、リスト「数」、太字「数」、定型結論「数」でした。
全部、生のカウントです。割っていません。
8,000字に見出しが22個あるのと、1,500字に見出しが6個あるのと、どちらが構造的でしょうか。前者は364字に1つ、後者は250字に1つです。数なら前者が勝ちますが、密度なら後者のほうが濃い。
図にするとこうなります。
長さが、書き手と指標の両方に効いています。教科書どおりの交絡です。私が見たかったのは点線のほうで、実際に測っていたのは実線のほうでした。
1,000字あたりで割り直す
記事ごとに指標を文字数で割り、密度に直して平均を取りました。
人間ベースラインは10本として集計していましたが、記録を1本ずつ開いたら同じ記事が複数回入っていました。文字数8,554の記事が3本、4,328の記事が2本。指標値も完全一致です。実質7本でした。 しかも3重に入っていたほうはスコア35.4で、人間側の最高値です。最高値が3回入れば、平均は当然押し上がります。重複を除くと28.5は27.7に下がりました。それでもClaude 21.5より上です。順位を動かしたのは、このあとの割り算のほうでした。
密度はこの7本で計算しています。上の生カウント(見出し22.4など)は10本の平均なので、この2つの表はそのまま突き合わせても合いません。差は小さく(太字なら13.6対13.1)、順位も動きませんが、母数は違います。
| 指標 | 人間 | Claude | GPT-4o | Qwen4B | Qwen9B | gpt-oss | Llama |
|---|---|---|---|---|---|---|---|
| 見出し | 2.71 | 7.15 | 5.80 | 3.81 | 4.40 | 5.22 | 2.58 |
| リスト | 3.81 | 6.94 | 4.59 | 0.80 | 0.81 | 8.17 | 0.81 |
| 太字 | 1.59 | 4.74 | 3.02 | 2.96 | 4.00 | 6.83 | 3.97 |
| 三点セット | 0.20 | 0.63 | 0.67 | 0.61 | 0.70 | 1.10 | 0.06 |
| 定型結論 | 0.29 | 0.48 | 0.46 | 0.32 | 0.48 | 0.86 | 0.02 |
| AI頻出語彙 | 0.44 | 1.52 | 1.98 | 1.53 | 1.53 | 0.55 | 0.45 |
順位がどう動いたか。
- 見出し 22.4個で 1位 → 密度2.71で 7者中6位
- 定型結論 2.20で 1位 → 密度0.29で 6位
- 三点セット 1.10で4位 → 密度0.20で 6位
- 太字 13.6個で2位 → 密度1.59で 最下位
- リスト 31.8個で1位 → 密度3.81で 4位
リストだけが4位に残りました。Qiitaの手順記事は、本当に箇条書きが多いです。ここだけは文化で説明する余地が残っています。
他は全部沈みました。密度で見ると、人間のQiita記事はAIより「AIっぽく」ありません。
撤回しても、半分は残る
当時、私は2つのことを言っていました。
- 構造指標では人間のほうが高い。だから「AIくささ」は日本語ブログの文化だ
- 語彙指標ではAIのほうが高い。だから検出には語彙を使うべきだ
1つ目は撤回します。「Qiitaの文化が構造を押し上げた」という説明が間違いだと証明できたわけではありません。ただ、長さという、より単純な説明を退けられていません。 それだけで採用できません。
2つ目は、密度で割り直したらむしろ強くなりました。AI頻出語彙の密度は人間0.44に対してGPT-4o 1.98、Claude 1.52。人間は7者中最下位です。生カウント(人間2.70 対 Claude 3.43)では0.73差しかなかったものが、密度では3倍以上ひらきました。
割り直したら、派手なほうの結論が消えて、地味なほうが濃くなりました。撤回で全部が崩れるわけではありません。
同じ失敗を2回やっています
もう1つ、正規化を忘れた例があります。
私は以前、日本語のAI過剰語彙651語を統計的に有意として発表していました。トークン単位のχ²検定です。そのリストで1位になったのは「ハッシュ」という語でした。過剰スコア +189.1、出現402回。堂々の首位です。
内訳を見ました。たった2文書での連呼でした。
ハッシュ関数の解説をたまたま書かされた生成文書が、「ハッシュ」を延々と繰り返していただけです。それがコーパス全体を代表するAI過剰語彙の第1位として、集計表の一番上に居座っていました。文書単位で数え直したところ、有意性は消えています。
トークン数で数えて、文書数で割りませんでした。文字数で数えて、文字数で割りませんでした。
同じ形の間違いです。2回。
撤回は1章では終わらない
数値を1つ取り下げると、それを引用している場所が全部ずれます。
結果として、はじめにから参考文献、図版の説明文にいたるまで、20ファイル以上に手が入りました。以前 1行修正を依存グラフ化したら28ファイルに波及した話 を書きましたが、原稿でも同じことが起きます。「小さな訂正」は嘘でした。
しかも図版が厄介でした。本文を直しても、PNGに焼き込まれた数字は直りません。grepにも引っかかりません。生成元のHTMLを残していなかった図は、まるごと作り直しになりました。
まとめ
- 「人間のQiita記事はAIよりAIっぽい」は、対照群だけが平均3.8倍長かったことで説明がつく。撤回した
- 1,000字あたりに割り直すと、見出しは1位から6位、太字は2位から最下位へ落ちた。リストだけが4位に残った
- 対照群10本のうち実質7本だった。同じ記事が3重に入り、それが人間側の最高値だった
- 語彙の側は逆に強くなった。密度では人間0.44 対 GPT-4o 1.98で、生カウントの0.73差が3倍以上にひらいた
- 同じ「正規化忘れ」を2回やっている。トークン数を文書数で割らず、文字数を文字数で割らなかった
- 数値1つの撤回は20ファイル以上に波及する。図版に焼き込んだ数字はテキスト検索に引っかからない
面白い結果ほど、その場では検算していません。 長さの違う文章を生カウントで比べてはいけません。書いてしまえば当たり前の話です。それでも確かめないまま、一番目立つ結論として本の冒頭に置きました。話として気持ちがよかったからです。
みなさんが最近出した数字で、群ごとに長さや母数が揃っていないものはありますか。ベンチマークでも、ログ集計でも、LLMの評価でもいいです。割ってみたら順位が変わった、という報告をコメントで読みたいです。私の場合は1位が6位になりました。
参考文献
- Imoto, Ken (2026). "Lexical and Rhythmic Fingerprints of Japanese LLM-Generated Text: A Cross-Model, Two-Layer Analysis." Zenodo. DOI: https://doi.org/10.5281/zenodo.21413035
- rhythm-lens(文体計測CLI): https://github.com/kenimo49/rhythm-lens
📖 6モデル180サンプルの実測と、初版自身の誤りの訂正まで1冊にまとめています
本記事は撤回した1つの結論に絞りましたが、書籍では検出される16の指標、語彙とリズムのどちらで判別されるのか(判別精度AUCで0.998対0.897)、AI頻出語の置換辞書まで26章で扱っています。この撤回の記録も、初版を消さずに残したまま収録しました。
