はじめに

近年、生成AIの発展により、論文執筆の効率化が進む一方で、「AIが書いた論文を著者がきちんと理解していない」「学術的誠実性が損なわれている」といった懸念が学界で高まっています。

この度、機械学習のオープンアクセスジャーナルである Transactions on Machine Learning Research (TMLR) の編集長（Editor-in-Chief）の一人である Nihar B. Shah 氏が、デスクリジェクト（査読前の段階での採択不適合と判断し審査を行わないこと）が予定されていた論文の著者に対して、実際にZoomミーティングで「自分の論文について質問する」という興味深い実験を行い、その結果をMediumで公表しました。

本記事では、その実験の概要と結果を要約し、現在の学術出版エコシステムにおける生成AIの影響や、今後のあり方について考察します。

参考記事: Asking Authors About Their Own Papers - Transactions on Machine Learning Research (Medium)

実験の背景と目的

TMLRでは、レビュアーやアクションエディター（AE）が無報酬のボランティアであるため、近年の投稿数急増に対応すべく、編集長レベルでのデスクリジェクトを積極的に行っています。その割合は2023年の約6%から、現在は約53% にまで増加しています。

著者は、デスクリジェクトが予定されていた10件の論文を無作為にサンプリングし、以下の3つの目的で著者にミーティングを申し入れました。

論文の内容についての明確化
デスクリジェクトプロセスの評価
論文が生成AIによって作成、または過度に支援されていた場合、著者が内容を十分に管理（ Oversight ）できているかの評価

実験の結果（10件の論文）

編集長が10件の論文著者にコンタクトを取った結果は以下の通りでした。

結果	件数	詳細
撤回	1	ミーティングの案内後に著者が投稿を撤回
都合不良	1	他のコミットメントを理由にUnavailableと回答
ドタキャン	1	スケジュールを組んだが、ミーティングに現れなかった
基礎的な質問に回答不可	3	問題設定や記法など基本的な質問に答えられなかった（すべて単独著者）
技術的詳細に回答困難	3	高レベルなアイデアは説明できたが、技術的詳細や実験の設計選択について質問されると詰まった
全質問に回答可能	1	質問にはすべて答えられたが、編集長が論文を精査した結果、主要な主張に重大な欠陥があることが判明（著者もこれを認めた）

印象的なエピソード

AI生成の疑い: 基礎的な質問に答えられなかった2名の著者が、ミーティング後にメールで回答を送ってきましたが、AI検出ツール（Pangram）で「100% AI生成」と判定されました。
p-hackingの告白: ある著者は分析手法を説明しようとして、誤って「p-hacking（都合の良い結果が出るまでデータをいじくり回す行為）」のワークフローそのものを説明してしまいました。

考察：この実験が示す5つの重要な示唆

1. 著者の責任と生成AIのリスク

ジャーナルやカンファレンスは、著者が論文の正確性と完全性を保証し、その責任を負うことを求めています。著者が技術的な部分や基本的な内容さえ説明できない場合、その論文の内容を検証できたとは到底考えられません。生成AIを多用した投稿が増える中で、これは極めて深刻な問題です。

2. 「著者」というクレジットの価値低下

現在の研究エコシステムでは、論文の著者であることが研究者の貢献に対する主要な評価指標となっています。しかし、著者が自身の論文を説明・擁護できない場合、論文出版が「研究者の貢献」を示すシグナルとしての価値は大きく損なわれます。

3. 査読者としての適性への疑問

多くのジャーナルやカンファレンスでは、論文を投稿・出版した著者が、他の論文のレビュアーとして招待されることがあります。もし著者が自分の論文を理解していないのであれば、他者の論文を効果的に査読できるかどうかも疑わしくなります。

4. デスクリジェクトプロセスの正当性

投稿数の急増により、ボランティアであるレビュアーやAEの負担は限界に達しています。この実験は、不適切な論文を早期にふるい落とす「デスクリジェクト」プロセスが正常に機能していることを裏付ける結果となりました。また、直近の投稿パターンに合わせた投稿クォータや、明確な執筆ガイドラインの強調が有効であることも示唆されています。

5. スケーラビリティの課題と今後の対策

この実験は8件の論文に対して2週間で計20〜25時間を要しており、現在の膨大な投稿数に対してこのプロセスをスケールさせるのは現実的ではありません。そのため、著者の理解度や論文への関与度をよりスケーラブルに評価する手法（著者は greCAPTCHA などのアプローチを研究中）の開発が急務となっています。

最終的な対応

この対話の後、TMLR編集チームは以下のように対応しました。

1件: 質問にすべて答えられたが、重大な欠陥があったため、デスクリジェクトとした上で、欠陥の修正または主張の縮小、不明確な点の明確化を行ったうえでの再投稿を許可。
9件: 再投稿のオプションなしでデスクリジェクト。

おわりに

「論文の著者は、自身の名前で投稿される論文の正確性と完全性を最終的に保証する責任がある」というのは学術界の大原則です。もし基本的な主張や手法、技術的詳細を説明できないのであれば、それは由々しき問題です。

生成AIの台頭により、論文の「見た目の質」と「中身の理解度」の乖離が大きくなる可能性があります。今回のTMLRの試みは、学術出版の質を維持するために、ジャーナルやカンファレンスがレビュープロセスの目的を再考し、新たな対策を迅速に講じる必要があることを私たちに突きつけています。

日本の研究コミュニティにおいても、AI支援執筆のガイドライン遵守や、共著者間での十分な内容の共有・理解がこれまで以上に重要になると言えるでしょう。

参考文献

Shah, Nihar B. (2024). Asking Authors About Their Own Papers. Transactions on Machine Learning Research. Medium.
URL: https://medium.com/@TmlrOrg/asking-authors-about-their-own-papers-3d2e04e5dee0