0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

類似度2%なのにAI文章率21%——二つの独立した質問を混ぜない読み方

0
Posted at

Charles Li / HumanPen

レポートを開くと、隣り合う二つの数字が矛盾しているように見えることがある。類似度(Similarity)がおよそ 2%、AI 文章率がおよそ 21%。前者は「安心材料」、後者は「問題」に見える。どちらかが正しいのか、低い類似度が AI 側を打ち消すのか——その問い自体が、二つの独立したシステムを一つの結論に畳んでいる。

本稿は、そのペアをどう読むかの技術メモである。信頼度バンド(薄いハイライト=不確実性)の話でも、LMS バッジとダウンロード PDF のカバレッジ不一致の話でもない。スコアを約束しないし、検知をすり抜ける手順でもない。英語プログラムで AI Writing Report を読む人向けの、レポートリテラシーの一角だ。

二つの質問、二つの分母

製品ドキュメント上、Similarity と AI writing detection は completely independent(完全に独立)と説明されてきた。片方がもう片方に入力されることはない。同じ画面に並ぶのは UI 上の配置であり、共有された数式ではない。

Similarity Report AI Writing Report
核心の問い 比較データベース上のどこかに文言が重なるか 採点対象の連続散文のうち、どの程度が AI 生成に近いと分類されるか
見ているもの Web・刊行物・過去提出物などとのオーバーラップ 語の並びの統計的パターン
ハイライトの意味 この箇所が特定ソースと重なる この箇所が AI 分類カテゴリに割り当てられた
単独では証明できないもの 不正行為そのもの 作者性や不正行為そのもの

類似度は「どこかで見た文言か」を問う。AI 判定は「この散文はモデルの AI カテゴリに似ているか」を問う。どちらも「この学生は不正をしたか」ではない。その判断はコース規則と、それを適用する人の側にある。

だから、データベース上ほぼ未マッチ(類似度 ≈2%)でも、AI 側が二十%台を示すことは起こり得る。新しく書かれた文言は索引済みソースに載っていないことが多い。AI クラシファイアはソース照合をしていない——散文を分類している。逆も同じで、類似度が高くても AI 使用の証明にはならない。軸は双方向に独立している。

なぜ「21%」が最初に見える数字になるのか

Turnitin 系の AI 表示では、誤読を抑えるための表示規則がある。0% 超・20% 未満の帯は具体的なパーセントとハイライトを出さず、アスタリスク(*%)で示す、と説明されてきた。推定が閾値を越えると、初めて数字とハイライトが並ぶ。

*% から二十%台前半へ「跳ねた」ように見えるのは、可視性のルールであって、「急に罪が二倍になった」証拠ではない。それより低い推定は *% のまま隠れていた。21% は「その設計で最初に見える数字」——レポートを開いて箇所を見る合図であり、確定判決ではない。

FAQ 系の文言でも、AI 指標を処分や成績の唯一の根拠にしてはならない、と書かれてきた。数字の横にその枠組みを置いてから、教員と話す。グループチャットに「21 が出た」と流す前に、それが「初めて見える帯」なのか「長い文書の集中ハイライト」なのかを区別する。

AI パーセントがどう組み立てられるか(要約)

典型的なパイプラインの説明は次の形に近い。

  1. 提出物から採点対象の散文文を取り出す
  2. それらを重なり合うセグメントに切る
  3. 各セグメントにクラシファイアの確率的スコアが付く
  4. 文は含むセグメントからスコアを継承し、重なりを集約する
  5. 文単位の結果を文書単位のパーセントにまとめる

実務上の帰結は三つある。

分母は「採点対象の散文」だけ。 箇条書き、多くの表セル、コード、非文形式は長文散文と同じ扱いではない。AI パーセントは提出物全体のバイト比率とは限らない。ファイルサイズが大きいのに AI 率が高く見える/逆に低く見える、という印象は、この分母のズレから来ることが多い。

スコアは集中する。 AI Writing Report PDF が取れるなら、ハイライトが「どの箇所が分類を担ったか」を示す。章ごと無作為に直すより、そこを先に見る。類似度レポートの色付きソース一覧を、AI レポートの代わりに使わない。

短い文書は粗い。 重なりセグメントの余地が少ないと、推定は端に寄りやすい。ごく短いファイルの二十%台は、長い論文より割り引いて読む——それでもハイライトがあれば確認する。「短い回答=全か無か」に近い振る舞いをする、と覚えておく。

キャンパスでよくある誤解(同題異写の核)

英語プログラムの Slack / LINE / WhatsApp で、次の四パターンが繰り返される。

  1. 「類似度が低いから AI は誤検知」
    類似度は照合。AI は分類。低い類似度は「未マッチ」を言うだけで、分類結果を反証しない。

  2. 「AI が高いからコピペした」
    AI ハイライトはソース名を指さない。ソース照合が必要なら Similarity 側を開く。混同すると、引用済みの正しい段落まで「盗用」扱いになる。

  3. 「言い換えれば両方下がる」
    オーバーラップを下げる編集が、AI っぽい確率パターンを残す/上げることもある。目標が違う。Similarity 用の言い換えと、AI フラグ散文の書き換えは、別の編集パスだ。

  4. 「二つの数字を足して深刻度を測る」
    2 + 21 = 23、のような足し算に意味はない。分母も事象も違う。並べて読むのであって、合成しない。

これらは「悪意」ではなく、同じ画面に二つのウィジェットがあることから来る認知のショートカットだ。リテラシーの仕事は、ショートカットをほどくことである。

組み合わせの読み方(やってよい/だめ)

有用な読み(低類似度 + 可視 AI):

  • 文言はデータベース上ほぼ未マッチでも、採点対象散文の一部はクラシファイアにとって機械生成の学術英語に見えることがある
  • 丁寧で均一な人間の文章も、モデルが AI と結びつける統計的近傍に入り得る
  • 対処の単位は「ハイライトされた箇所」であり、「文書全体が不正」という物語ではない

無用な読み:

  • 「類似度 2% なら AI スコアは誤りだ」
  • 「AI 21% ならコピーしたはずだ」
  • 「次の提出で必ず二桁下がる」——予測ゲームはレポートリテラシーではない

手元に二つの数字のスクショしかないなら、完全な AI Writing Report(出典の疑いもあるなら Similarity も)を求める。箇所・レポート日時・設定なしの数字は、パニックにも弁護にも弱い。

読む順序チェックリスト(オフィスアワー前)

教員に持っていく前に、次を揃える。

# 確認すること メモ欄の例
1 ツール名とレポート種別(Similarity / AI Writing) 画面ラベルをそのまま書く
2 レポート日時・attempt / ファイル版 「提出後にローカルで直していない」
3 AI 側:ヘッダ % または *%、ハイライト有無 最初の可視数字か/帯か
4 Similarity 側:総合 % と主要ソース AI と足し算しない
5 採点対象外(表・箇条・付録)の扱い カバレッジの話は別メモに回す

カバレッジ(ポータルと PDF の地図のズレ)や薄いハイライト(信頼度)は重要だが、本稿の主題ではない。今日の作業面は「二つのパーセントを混ぜない」ことだけに絞る。

次にやること:フラグされた散文を先に

編集余地があるなら、単位は「箇所」だ。

  1. 可能なら AI Writing Report 全文(PDF)を開く
  2. ハイライトされた連続散文だけを書き直す
  3. 引用・表・正しい数値・書誌は触らない(Similarity 用の別作業)
  4. 下書きと時刻を残す
  5. 「次の数字」を予測して作業しない

Similarity レポートを AI レポートの代わりに使わない。逆も同じ。同じ提出物でも、直すべき作業面が違う。

HumanPen(https://humanpen.net)は、AI Writing Report を読み込み、マークされた箇所単位で書き換え、体裁と引用を保つ流れを設計している。スコア保証はしない。「過検」「undetectable」といった約束もしない。

(EN note)Same idea in one paragraph

Similarity ≈2% and AI writing ≈21% can both be right: they answer different questions with different denominators. Do not add them. Open the full AI Writing Report, edit highlighted qualifying prose first, and keep citations/tables intact. No score promises. (This note is about the two-system split—not confidence bands, not portal-vs-PDF coverage.)

まとめ

隣り合う二つのパーセントは、一つの物語ではない。類似度は照合、AI 率は分類。分母と表示規則を揃えてから話す。それがレポートリテラシーの起点であり、HumanPen が想定している読み方でもある。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?