0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@whitemarshall

修論・卒論を AI に書かせる前に:9 つの大規模言語モデルを 11 タスクでベンチマークして分かったこと(Claude Opus 5.5 と Kimi K3.1 Pro が「AI 臭」最少)

0
Posted at

カバー

この記事は AI 支援により執筆されました(Qiita のガイドラインに従い開示)。本文中の測定結果・プロンプト・出力・スコアはすべて筆者が実行した実際の API 呼び出しから得たもので、執筆自体は Claude で下書き後に人手で修正しています。

はじめに

2026 年、修論や卒論を書くのに AI を使うかどうか、という議論はもう終わっています。問題は「どの AI をどの段階で使うか」です。

Turnitin の AI Detection、Grammarly の AI Check、各出版社の AI 開示ポリシー——投稿先の審査がどんどん厳しくなっているうえに、指導教員も「AI っぽい文章」を見分けるのが早くなっています。しかし一方で、Claude Opus 5.5、Kimi K3.1 Pro、GPT-5、DeepSeek V4 Pro、Qwen 3.8 Max、Doubao Seed 2.1 Turbo、GLM 5.3 Prime、Claude Sonnet 5.5、Codex 5.3 など、実用レベルの LLM が 9 つ以上手に入る時代です。

そこで、9 モデル・11 タスク・89 件の予定枠でベンチマークしました。主実行では 8 件をスキップし、失敗や空応答の一部は再実行しています。収集した出力を別モデル(deepseek-v4.1-flash)で 8 軸・1–10 点の文体評価にかけました。この「AI 臭」は Turnitin の検出結果ではありません。

この記事はエンジニア・研究者向けに、どのモデルをどのタスクに割り当てるべきかを実データとともに整理したものです。

検証対象と方法

対象モデル(Crazyrouter 経由、2026 年 11 月時点の主力)

モデル ID 役割
claude-opus-5-5 高品質日英プロフェッショナル
claude-sonnet-5-5 バランス型
kimi-k3.1-pro 長文コンテキスト
gpt-5 汎用推論
gpt-5.3-codex コード特化
deepseek-v4-pro 中国語・コスパ特化
qwen3.8-max 中国語・構造化出力
doubao-seed-2-1-turbo-260628 中国語・長出力
glm-5.3-prime 汎用

11 のタスク(修論・投稿論文の実場面)

  1. 研究テーマの発散
  2. 論文アウトライン作成
  3. 英語アブストラクトの読解(4 点要約)
  4. 長 PDF の事実検索(10 問 QA)
  5. 中国語学術文のリライト ※和文タスクは別途調査予定
  6. 英語ポリッシング
  7. 250 語の英語アブストラクト作成
  8. 中英翻訳
  9. OLS 分散行列の導出
  10. pandas データ分析スクリプト
  11. 査読コメントへの返信ドラフト

呼び出しの最小コード

9 ベンダーそれぞれにアカウントを開いて 9 種類の Base URL を管理するのは現実的ではないので、OpenAI 互換の集約エンドポイント経由で統一しました。

async function callModel(apiKey, modelId, prompt, maxTokens = 4500) {
  const res = await fetch('https://api.crazyrouter.com/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': `Bearer ${apiKey}`,
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      model: modelId,
      messages: [
        { role: 'system', content: 'You are a helpful assistant.' },
        { role: 'user', content: prompt },
      ],
      max_tokens: maxTokens,  // 推論モデルの思考 tokens を含む
      stream: false,
    }),
  });
  const json = await res.json();
  return json?.choices?.[0]?.message?.content ?? '';
}

実装時にハマったポイント 3 つ:

  1. 推論モデルは temperature パラメータを拒否することがあります。Kimi K3.1 Pro などに temperature: 0.3 を送ると 400 provider_rejected が返ります。省略してデフォルトを使うのが安全です。

  2. max_tokens は推論 tokens を含むため、1500 など小さく設定すると GPT-5 や Kimi の場合 content: "" で返ってきます。思考だけで予算を使い切るためです。4500 以上を推奨します。

  3. 各ベンダー公式 API も当然使えます。Anthropic、OpenAI、Moonshot、DeepSeek のどれも SDK ・ドキュメントが完備されています。この記事の結論は「どのモデルがどの能力を持つか」であり、呼び出し経路に依存しません。詳細は Crazyrouter 日本語ドキュメント を参照してください。

結論:AI 臭ランキング

順位 モデル AI 臭 (10=一目で AI) 推奨タスク
1-2 Claude Opus 5.5 4/10 英文校正、査読返信、翻訳
1-2 Kimi K3.1 Pro 4/10 文献読解、長 PDF QA
3-4 Claude Sonnet 5.5 5/10 コード、技術的議論
3-4 GPT-5 5/10 数式導出、骨格作成
5 DeepSeek V4 Pro 6/10 中国語下書き(英文は非推奨)
6-7 Qwen 3.8 Max 8/10 社内文書向け(投稿不可)
6-7 Doubao Seed 2.1 Turbo 8/10 社内文書向け(投稿不可)
— GLM 5.3 Prime 5/10 ⚠ 11 タスク中 6 タスクで空応答。計測除外
— Codex 5.3 3/10 ⚠ コード専用、文体スコアは参考値

タスク別の最適モデル

1. 文献読解(長 PDF、サーベイ論文、国際ジャーナル)—— Kimi K3.1 Pro 一択

5000 語の arXiv 論文(教育心理学分野)の Introduction 全文を投げ、10 個の事実質問(研究課題、サンプルサイズ、2 つの中核コンポーネント、アブレーション実験の節番号など)を聞きました。Kimi K3.1 Pro は 10 問すべて正答、しかもそれぞれ原文の該当段落を引用できました。「テキスト対話と音声対話の割合は 70% vs 30%」のような細部の数字も原文から正確に拾っています。

同じタスクで GPT-5 は空応答となり、finish_reason: length で終了しました。主実行ではほかにも空応答があり、複数は再実行で解消しました。この題材では Kimi の結果が良好でしたが、GPT-5 の長文読解全般を否定する根拠にはなりません。

Kimi の小さな癖:プロンプトで「各章の分量を合計 100% にしてください」と指定すると、末尾に「分量割合の検証:8% + 14% + 10% + ⋯ = 100%」のように足し算を自分で検算した行を出力します。人間はアウトラインに検算を書きません。この行だけ削除すれば本文はそのまま使えます。

2. 論文アウトライン作成 —— Claude Opus 5.5 が最も「人間らしい」

同じアウトライン作成タスクを Opus、Qwen、Doubao の 3 者で比較しました:

  • Opus の出力:三階層までの見出し、各章の 1 文要約、分量配分がシンプルに並ぶ(AI 臭 4/10)
  • Qwen の出力冒頭:「アウトラインは三階層の見出しに細分化し、各章に 1 文要約を付け、分量配分は合計 100% としました」(AI 臭 8/10)
  • Doubao の出力末尾:「必須モジュール検証:文献レビュー(第 2 章)、理論的枠組(第 3 章)、研究設計(第 4 章)、⋯すべてカバー」(AI 臭 8/10)

Qwen と Doubao の出力は、「あなたの指示を全部満たしました、ほら」という納品書付きのアウトラインです。人間はアウトラインに検収表を書きません。これが指導教員に「AI でしょ?」と言われる最大の原因です。

Opus の小さな癖:出力の末尾に「提出前に以下を再確認してください:1. サンプルサイズの記述⋯」のようなチェックリストを付けることがあります。これは自分向けのメモとして付けている動作で、本文の一部ではありません。削除すれば済みます。

3. 英文アブストラクト・論文ポリッシング —— Claude Opus 5.5 が独走

国際ジャーナル向けの英文アブストラクトでは、内容と英語表現の確認が欠かせません。本テストでは Opus の出力がこの用途で良好でした。検出システムでの通過率は測っていません。

10 項目の bullet point を渡して 250 語の英語アブストラクト(Background / Methods / Results / Conclusion の 4 段落構成)を書かせたところ、Opus の出力:

  • 字数 247 語(±20 語の許容範囲内)
  • 構造が厳密に 4 段落
  • 10 項目すべて対応、原リストにない内容は追加していない
  • 「delve into」「pivotal」「cutting-edge」「novel framework」など、一目で AI と分かる高頻度語を一切使っていない

翻訳臭スコア 3/10、9 モデル中最低でした。

4. 中国語データからの英訳 —— DeepSeek V4 Pro は絶対に使わない

DeepSeek V4 Pro は本テストで最も安価です(公式価格で 11 タスク実行して約 $0.09、Opus の 1/19)。中国語本文の下書き用途ではこの価格で十分使えます。しかし英訳だけは別です。

DeepSeek は中国語学術表現をそのまま英語に直訳する癖があります:

出力例: "with a beta coefficient of 0.42 and a significance level of p < .001"
期待値: "β = 0.42, p < .001"

この例は英文学術文体の推敲ポイントです。Turnitin がどの表現を検出するかは本テストでは確認していません。DeepSeek の英文も、投稿前に専門分野の表記に照らして編集する必要があります。

5. データ分析コード(Python) —— Claude Sonnet 5.5 または Codex 5.3

120 行の CSV を読み込んで記述統計 + Welch の t 検定 + Cohen's d + 箱ひげ図を出力する pandas スクリプトを書かせました。9 モデル全員が、必須キーワード(pandas / scipy.stats.ttest_ind + equal_var=False / Cohen's d / matplotlib boxplot / dpi=150 等 10 項目)を 10/10 全クリア。

Sonnet 5.5 を選んだ理由は「言うことを聞いて勝手にライブラリを変えない」こと。「scipy で書いて」と頼めば statsmodels に逃げず、データ分布を describe() で確認してからパラメトリックか非パラメトリックを決めます。

Codex 5.3 は OpenAI のコード特化モデルで、こちらはマルチファイル・マルチステップのデータパイプライン向きです。単発スクリプトなら Sonnet、プロジェクト全体なら Codex、という使い分けが現実的です。

6. 査読コメントへの返信 —— Claude Opus 5.5(GPT-5 でも可)

実際の返信シナリオを模しました。査読者:「n=42 では因果推論には不十分、拒否推奨(200 まで増やせば再考)」。前提:Methods §3.2 で a priori power analysis を既に報告済、α=.05・d=0.8 で n=42/群が必要最小サンプル。

Opus の 250 語英文返信は、謝意→Methods §3.2 の既報告の指摘→検定力分析の要点復唱→Discussion での「サンプルサイズと外部妥当性の限界」拡張の約束→再募集は約束しない、という構成をプロンプト要求通りに全命中。トーンも卑屈でも対抗的でもないちょうどよい線でした。

GPT-5 でも同じ構成は書けますが、わずかに譲歩方向に傾きます。最終版は Opus、ブレスト段階の骨格は GPT-5、という使い分けが最もコスパが良いです。

コスト・遅延の実測

11 タスク実行時の総トークン・費用(ベンダー公式価格で粗算)

モデル prompt tok completion tok 費用 ($)
Claude Opus 5.5 5,502 21,967 $1.73
GPT-5 3,555 34,174 $0.35
Claude Sonnet 5.5 5,502 18,475 $0.29
Qwen 3.8 Max 3,965 59,949 $0.20
Doubao Seed 2.1 Turbo 3,789 119,433 $0.18
Kimi K3.1 Pro 4,251 41,287 $0.11
DeepSeek V4 Pro 4,094 42,243 $0.10
GLM 5.3 Prime 3,396 35,535 $0.08
Codex 5.3(1 回) 237 752 $0.01
合計(実行分と再試行の概算) 34,291 373,815 $3.04

遅延(単一呼び出しの p50)

Doubao がダントツに遅く、1 呼び出し 100-230 秒。Qwen も Sonnet の 3-5 倍遅いです。リアルタイム用途には不向き、バッチ処理用途なら問題なし。

最終的なルーティングルール

const ROUTE = {
  topic_brainstorm:   'deepseek-v4-pro',     // 発散、安い
  read_long_pdf:      'kimi-k3.1-pro',       // 長 PDF 最強
  outline:            'claude-opus-5-5',     // AI 臭最少
  cn_methods_draft:   'deepseek-v4-pro',     // 中国語量産、19 倍安い
  en_abstract:        'claude-opus-5-5',     // 翻訳臭 3/10
  cn_to_en:           'claude-opus-5-5',     // 直訳癖なし
  derivation:         'gpt-5',               // 数式分段明快
  data_analysis_code: 'claude-sonnet-5-5',   // 従順、ライブラリ固定
  reviewer_response:  'claude-opus-5-5',     // トーン適正
  internal_report:    'qwen3.8-max',         // 納品書フォーマットが特長
  weekly_report:      'doubao-seed-2-1-turbo-260628',
};

Qwen 3.8 Max と Doubao Seed 2.1 Turbo は本テストの文体評価では 8/10 でした。この数値だけで投稿可否は決まりません。社内の進捗報告・助成金申請書・企画書では、要件を明示する形式が役立つ場合もあります。

最後に注意点 2 つ

  1. 本記事の「AI 臭」は剽窃率でも実際の AI 検出率でもありません。別モデルによる文体評価であり、検出ツールでの結果を予測できるとは限りません。投稿前には出典、引用、所属機関の AI 利用規則を確認してください。

  2. 人間の目による最終読みは省略できません。Opus の「提出前チェックリスト」、Kimi の「分量割合検証」の行、GPT-5 のプロンプト復唱、DeepSeek の途中切断、Sonnet の半角記号——どれも機械的な痕跡ですが、消すのは人間の責任です。指導教員に出す最終版はあなたのものであって、モデルのものではありません。

もし皆さんが同種のベンチマークをしていて、この結論と違う挙動を観測していれば、ぜひコメントで共有してください。特にモデル・バージョン・タスク粒度で結果がぶれやすいので、知見を集約していきたいです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?