1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIで論文っぽい文章は作れた。でも論文にはならなかった ― 実証の谷と品質テーラリングの話

1
Posted at

はじめに:AIに整えさせた"設計ドキュメント"は、どこまで通用するか

ADRや設計ドキュメント、技術選定の比較メモを、AIに整えてもらった経験はありませんか。バラついた考えを投げると、主張・根拠・代替案を持った整然としたドキュメントが返ってくる。書く過程で自分の理解の穴も見える。とても便利な"考える道具"です。

私も同じ使い方をしています。思いついたことをボイスでAIに投げて、論文形式に整えてもらう。頭の中にあるのは整理されていない断片です。「あれってこうだよな」「いや、でもこういう場合は」と話題があちこち飛びます。それをまとめて投げて、こうお願いします。

「論点を整理して、意見を述べて、話題が転換しているところはつなげて、全文をMECEかつロジカルに仕上げて」

これはADRを書く感覚と重なります。主張を先に固定し、根拠と分離し、反論を想定する。書かせること自体が目的ではなく、書かせる過程で頭が整理されていきます。

ところが、その文章を「本物の論文」にしようとした瞬間、手が止まりました。動くプロトタイプと本番投入できるシステムの間に深い溝があるように、整理された意見と検証された主張の間にも、深い谷がありました。そしてこの一件で行き着いたのは、「品質は目的に合わせて仕立てるべきだ」という、当たり前なのに見落としていた結論でした。


1. 「論文形式」は、思考の整理フォーマットとして優秀

なぜ論文形式なのか。メモでもブログでもなく論文形式に整えてもらうと頭が整理される理由は、おそらくこの3つです。

  • 主張が先に来る:何を言いたいのかが冒頭で固定されるので、話がブレません
  • 根拠と主張が分離される:「思っている」と「裏付けがある」が区別されます
  • 反論を想定する型がある:自分に都合のいい話だけになっていないか、チェックがかかります

ADRや設計ドキュメントを書くと頭が整理される、という話と同じ構造です。書く対象を理解していなければ書けない。だから書く過程で「ここは自分でも分かっていないな」が炙り出される。論文形式は、フレームワークやテンプレートのような道具でした。


2. ところが、"本物の論文"にしようとした瞬間、手が止まった

ある日、ひとつのアイデアを思いつきました。

組織が生成AIを一律禁止しても、多重下請けの末端ではシャドーAI(無断利用)が起きてしまう。だったら「使うな」より「危険なデータに触れさせない」設計にすればいいのではないか。

いつものようにAIに整えてもらったら、なかなか説得力のある文章になりました。気をよくして、こう思いました。

「これ、ちゃんとした論文にできるのではないか?」

そこで止まりました。

調べていくと、論文形式の文章と、本物の学術論文の間には深い谷があると分かりました。私が書いてきたものは「論文っぽい体裁の、整理された意見」でした。しかし学術論文に必要なものは、それだけではありませんでした。

観点 論文形式の文章(私がやっていたこと) 学術論文(本物)
目的 頭を整理し、意見を伝える 検証可能な新事実を示す
主張の支え 論理の一貫性、納得感 再現可能なデータ・実験
「思う」の扱い 述べてよい 証拠がなければ書けない
新規性 なくてもよい 必須(先行研究との差)
検証 読み手の納得で完了 後世の他人が再現・反証できる前提

私のアイデアは論理としては通っていました。しかし「シャドーAIが多重下請けで実際にどれくらい起きているか」「ダミーデータで本当に開発品質が落ちないか」を示すデータは、何ひとつ持っていませんでした。これが実証の谷でした。


3. 「実証の谷」を渡るために必要だったマイルストーン

この谷を渡るには何が要るのか。工程に分解してみたら、開発プロジェクトのマイルストーンと重なって見えました。意見と論理だけでは越えられない区間を並べます。

# マイルストーン やること 開発に重ねるなら
M0 問いを検証可能な形に絞る 「○○は△△に効果があるか」を一文で。測定できない問いはここで弾く 受け入れ条件の定義
M1 先行研究を棚卸し 近いテーマの論文を5〜10本読み、自分の差分を特定 既存ライブラリ・先行事例の調査
M2 成功基準を事前に決める 「この差が出れば主張成立」を着手前に固定。後出ししない 着手前にテストを書く発想
M3 データ・実験環境を用意 比較対象と評価指標を準備 検証用データと環境の構築
M4 検証を回す 複数回・複数条件で実験。一発勝負にしない 反復テスト
M5 統計的に差を確認 偶然ではないと言えるか確認 メトリクスで有意差を確認
M6 反証可能な形で公開 データと手順を開示し、他人が再現できる状態にする コードと手順を公開し再現可能にする

この表で、はっきりしたことがあります。M0〜M2は机の上でできますが、M3以降は数ヶ月単位の実作業です。とくにM3のデータ収集(現場へのアンケートや実データの加工)が一番重い。ここで私は躊躇しました。

裏を返せば、M2までで止めれば「整理された提案」として十分使えるということでもありました。これは、PoCで筋の良さを確認した段階と、本番投入できる品質まで作り込んだ段階の違いに近いと思います。


4. 本題:品質は「目的に合わせて仕立てる(テーラリング)」もの

ここで一番大事なことに行き着きました。M0からM6まで全部やることが「正解」ではない、ということです。

普段やっている「ボイスを投げて論文形式に整える」使い方は、M3以降を渡る必要がありません。目的が「自分の頭を整理する」「相手に良さそうと思ってもらう」であれば、M0〜M2の論理と納得感で十分だからです。逆に、新しい事実として世に問うなら、M6まで渡らないと意味がありません。

要するに、必要な品質は目的によって変わります。これを目的に合わせて仕立て直すことを、ここではテーラリングと呼びます。

目的 どこまで仕立てるか 過不足
自分の頭の整理 M0〜M2 M3以降は完全に過剰
社内提案・プレゼン M0〜M2+簡単な試算や小さなPoC 査読レベルの実証は過剰
外部への提言・ホワイトペーパー M2+できる範囲のデータ M6(反証可能な公開)まではしなくてよい
新事実として世に問う論文 M0〜M6すべて ここで手を抜くと成立しない

社内提案に査読レベルの実証を持ち込めば、それは過剰品質です。逆に、世に問う論文を納得感だけで通そうとすれば、それは手抜きになります。同じ「論文形式の文章」でも、どこまで仕立てるかは場面ごとに違う。PoCにいきなり本番のSLAを求めない、という判断と同じ話です。そして仕立てるサイズを間違えたまま走ると、過剰なら時間という技術的負債を、過小なら信頼という負債を抱えることになります。

私がやるべきだったことは、「論文にできるか?」と気負うことではなく、目的に対してどこまで仕立てるかを最初に決めることでした。仕立てるサイズを間違えていたから、手が止まったわけです。


5. 「読んできた量」は、書けなくても効いた

最後にひとつ。私は論文を書いたことはありませんが、評論文やホワイトペーパー、論文の類はたくさん読んできました。これは思っていたより効きました。

たくさん読んでいると、少なくとも**「型から外れたときの違和感」には気づけます**。序論で何を言い、本論でどう積み上げ、結論でどう締めるか。その流れに乗っていない文章は、理由を言語化できなくても「なんか変だ」と引っかかる。

AIに「論文形式で整えて」と頼んで出てきたものを「ここは弱い」と直せるのも、この違和感のおかげでした。良いコードを多く読んだ人ほどレビューで違和感に気づける、というのと近い感覚だと思います。書けることと、良し悪しに気づけることは別で、後者だけでも十分に使えました。


まとめ

  • 「ボイスを投げて論文形式に整える」のは、ADRを書く感覚に近い優秀な思考整理ツールです
  • ただし「論文形式の文章」と「本物の学術論文」の間には実証の谷があります
  • 谷の正体は M3(データ準備)以降の数ヶ月単位の実作業です
  • 全工程をやることが正解ではなく、**品質は目的に合わせて仕立てる(テーラリング)**ことが本質です
  • 社内提案に査読レベルの実証は過剰、世に問う論文を納得感だけで通すのは手抜き
  • PoCにSLAを求めないのと同じで、仕立てを間違えると時間か信頼の負債になります
  • 大事なことは「論文にできるか」ではなく「目的にどこまで仕立てるか」を最初に決めることです
1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?