最初は、AIに論文を査読させていました。
「この主張は飛躍しています」
「この分析では因果関係を言えません」
「査読者ならここを突きます」
かなり優秀でした。指摘のとおり直すたびに、原稿は良くなっていきました。
ところが、修正して同じAIに見せる、をしばらく繰り返していたら、様子が変わってきました。
「よく整理されています」
そのうち、
「特に問題ありません」
「本当に？」と聞いても、
「大きな問題はありません」
そこで原稿を、それまで一度もこの論文を見せていなかったAIに渡して、「この論文を不採択にしてください」と頼みました。
普通に弱点が出てきました。 それも、元のAIが最後まで一度も触れなかった箇所から。
AIが賢くなったのではありません。私の論文に慣れすぎていただけでした。
TL;DR
- 同じAIと同じ原稿を詰めるほど、批判者としての独立性が落ちる。 前提を共有するほど著者側のフレームに寄っていく
- AIは、著者の敵でなくなるほど、査読者としての価値が落ちる
- 効いたのはプロンプトの工夫より、関係をリセットすること（別のAIに、経緯を渡さず投げる）
- 長い文書は丸ごと読ませても矛盾は出ない。抽出してから照合する
- ただし指摘を全部飲むと、文章は平均に寄る。捨てる判断は最後まで人間側に残った
論文の話として書きますが、コード・設計書・仕様書・提案書でも同じことが起きます。
1. 何が起きていたのか
起きていたのは、AIの能力が落ちることではありません。対話を重ねるほど、その原稿についての前提が共有されていくほうが原因です。
「この論点で押したい」「この定義でいく」と伝えるたびに、AIはその枠組みを所与として受け取ります。加えて、原稿にはAI自身の提案が混ざっている。「この表現に直しましょう」と言った箇所を、後から「厳しく批判しろ」と言われても、自分の出力を否定することになる。
こうして、「これはそもそも正しいのか？」という問いが対話から消えていきます。
AIは、著者の敵でなくなるほど、査読者としての価値が落ちる。
レビュー能力そのものが失われるわけではありません。文章の粗も形式の不備も、最後まで拾ってくれます。落ちるのは独立性のほうです。著者が気づいていない前提を疑うという、査読で一番効く仕事だけが弱くなっていきます。
これは論文だけの話ではない
AIと一緒にコードを書いていると、AIは自分が直前に提案した設計を前提として次のコードを書きます。仕様書をレビューさせても、以前自分が出した仕様を「前提条件」として扱う。提案書でも同じです。
対話履歴が長くなるほど、レビューは前提の内側でしか行われなくなる。AI時代のレビューで一番効くのは、良い問いを立てることより、問いを立てる位置を外に戻すことでした。
2. あなたのAI、本当にレビューしていますか？
今から3分で確認できます。
いまレビュー中の文書があるなら、いつも相談しているAIではなく、新しいセッションに貼って、こう聞いてみてください。
この文書を改善する方法ではなく、
この文書が却下される理由を5つ挙げてください。
長く付き合ったAIと詰めてきた文書ほど、差が出ます。
もし今まで聞いたことのない弱点が出てきたなら、AIが急に賢くなったのではありません。それまでのAIが、あなたの前提に慣れていただけです。
3. やったこと
3-1. 関係をリセットする（一番効いた）
対処は初見のAIに投げること。
重要なのは「別のモデルに変える」ことではなく、その原稿を一度も見ていない状態を用意することです。同じモデルでも、新しいセッションで経緯を渡さなければ効きます。ここが再現条件です。
ただし渡し方にコツがあります。
❌ これまでこういう議論をしてきた原稿です。レビューしてください。
✅ （原稿だけを貼る）この文書を初めて読む査読者として、
不採択にすべき理由を挙げてください。
親切のつもりで経緯を要約して渡すと、バイアスごと移植されます。素の原稿だけ渡す。
なお、出てきた指摘を元のAIに戻すと、防衛的に反論してくることがあります。それが妥当なこともあるので、結局採否は自分で決めるしかありません。
3-2. 役割は「レビュアー」では足りない
そのうえでプロンプト。段階を上げるほど出力が変わります。
| 段階 | 聞き方 | 返ってくるもの |
|---|---|---|
| ❌ 悪い | この論文どうですか？ | 褒め言葉。「問題ないか」という問いが「問題ない」を誘導している |
| △ 普通 | 査読者としてレビューしてください | 一般論。良い点にも触れてくる |
| ○ 良い | この論文を不採択にするなら、最大の理由は何ですか？ | 弱点が優先度つきで出る |
| ◎ さらに良い | あなたが査読者で、著者に修正の機会を与えたくないとしたら、どこを攻撃しますか？ | 一番痛いところが出る |
狙いは厳しく言わせることではなく、著者が無意識に守っている前提を壊すことです。
ただしこれは 3-1 の下位互換でもあります。どれだけ役割を厳しくしても、前提を共有しきったAIは、その前提の内側でしか攻撃してきません。プロンプトを工夫するより、関係をリセットするほうが効きました。
3-3. 長い文書は、抽出してから照合する
文書が長くなるほど、丸ごと貼って「矛盾を探して」は効かなくなります。「全体として整合しています」で終わる。私の場合、20ページを超えたあたりからでした（そこに閾値があるわけではありません）。
効いたのは、照合したい対象だけ先に抜き出して、構造化してから突き合わせるやり方です。
| 抜き出すもの | 見つかる誤り |
|---|---|
| 数値を全部、出現箇所つきで一覧表に | 要旨と本文で数字が違う／古い値が残っている |
| 各節の主張文だけ | 3章の主張と5章の結論がずれている |
この文書の数値を全て抽出し、「値 / 単位 / 出現箇所 / 文脈」の表にしてください。
評価やコメントは不要です。抽出のみ。
出来上がった表を渡してから、「同じ対象なのに値が違う組は？」と聞きます。
AIに「考えさせる」前に「数えさせる」
抽出 → 構造化 → 照合 → 判断
数を数える、語を拾う、出現箇所を記録する。ここに判断は要りません。要らないところで判断させないことが、長い文書を扱う一番のコツでした。いきなり判断させると、「整合しています」で流されやすくなります。
3-4. 1件見つけたら、同型を全部掃かせる
指摘を直すとAIは「修正しました」と言ってきます。ここで終わらせない。
誤りはたいてい癖として出るので、単発では終わりません。単位の取り違え、参照先のずれ、言い切りすぎ。一箇所あれば他にもあります。
いま指摘された誤りを「型」として一般化し、
同じ型に該当する箇所を文書全体から【全件】挙げてください。
上位いくつか、ではなく全件です。ゼロならゼロと答えてください。
「全件」を明示しないと、上位数件で切ってくることがあります。静的解析で1件だけ直して満足する人はいないと思いますが、AIレビューだとなぜかやりがちです。
4. 何を壊させるか
4-1. 主張の強度が、根拠と釣り合っているか
片側だけ見ても意味がない項目です。ずれは両方向に起きます。
| 方向 | 症状 | 処置 |
|---|---|---|
| 強すぎ | データが支えられる範囲を超えて断定している | 根拠の射程まで戻す |
| 弱すぎ | 「驚くべき結果ではないが」 | 削る |
厄介なのは弱すぎのほうです。慎重に書こうとすると、自分の結果に自分で値引きをかける。「大きな発見ではないが」と書いた瞬間、査読者が言う前に自分で武器を捨てています。
ここで区別が要ります。
- 譲歩は残す ──「データの制約上、因果の特定には至らない」。これは誠実さ
- 値引きは削る ──「驚くべきことではないが」。情報を足さず、主張だけ弱める
著者が自分の結果の価値を自分で下げている表現を抽出してください。
限界や前提の明示（誠実な譲歩）は対象外です。
両者を区別し、値引きに当たるものだけ挙げてください。
4-2. その他の観点
- 員数の照合 ──「3点示す」と書いて本体に2つしかない。構成を変えると宣言だけ古くなる
- 群間差 ── 差が構成の違いから出ているだけ。比率の指標で特に起きる
- 断定の妥当性 ── 根拠が推測に留まるのに言い切っている
- 目的と結論 ── 冒頭の問いに、結論が答えていない
- 旧版の残骸 ──「TBD」「※要確認」が残る。修正済みなのに古い記述が生き残るのが最多
いずれも、レビューは「総合評価」ではなく1観点1パスで回すのが前提です。まとめて聞くと全部浅くなります。
最後に一つ、AIに聞かないもの。提出形式の実物で開いて見る。 レイアウト崩れは変換ツールのプレビューでは判断できません。
5. 効かなかった3つ
5-1. 存在しない文献が出てくる
文献の一次スクリーニングは非常に有効ですが、要約で読んだつもりになって引用してはいけません。 もっともらしい書誌情報が生成されます。
- 要約は、読むべき文献を絞るために使う
- 引用する文献は、必ず原典に当たる
5-2. 新規性は「あります」しか返ってこない
「新規性はありますか」と聞くと、たいてい理由つきで「あります」と返ってきます。査読者はそう言いません。
新規性は既存研究との差分で決まるもので、手元の原稿だけを見て判定できるものではないからです。ただし探索は任せられます。別の語彙で書かれた研究を掘るのはむしろ得意な部類。探索はAI、差分の判定は自分、という分け方に落ち着きました。
5-3. 指摘を全部飲んだら、文章が平均に寄った
これが一番意外でした。指摘を反映するほど良くなる、とは限りません。
全部飲むと角が取れて、どの段落も同じリズムになります。特に文体の指摘がそうでした。指摘を捨てる判断が、最後まで人間側に残った仕事です。
おわりに
やってみて分かったことが一つあります。
AIに論文を書かせることより、AIに自分の論文を否定させ続けるほうが難しい。
書かせるのは最初からできます。否定させ続けるほうは、放っておくとできなくなる。対話が進むほど、AIは著者の側に立っていくからです。
だから目標を置く場所を変えました。AIに褒められることを目標にしない。AIに「ここ、ダメです」と言わせられる状態を保つ。 具体的には「定期的に初見に戻す」というだけのことですが、プロンプトの工夫より効きました。
結局のところ、求めていたのは「賢い共著者」ではなく「意地の悪い査読者」だった、という話です。そして査読者は、長く付き合うと共著者になってしまう。
論文固有の話ではありません。コードでも仕様書でも、対話履歴が長くなるほど「そもそもこれで正しいのか」という問いは消えていきます。レビューの質は、プロンプトではなく距離で決まる。