はじめに

ChatGPTやClaudeなど、最近のLLM（大規模言語モデル）を触ったことのある人なら、一度はこう思ったことがあるはずです。

「同じプロンプトなのに、なんか出力が違うな……」

LLMの出力には非決定論的な要素があります。トークンごとに確率的に出力されるし、GPU計算や温度パラメータの微妙な差もあります。

では、こういった「あいまいで一貫しない対象」をどうやって“科学的に”評価するのか？

この記事では、この問いに対して、自然科学・統計学の方法論
とくに「RCT（ランダム化比較試験）」を軸に考察してみます。LLMだけでなく、人間や教育、社会実験などにも共通する話です。

「同じ条件で比較する」がどれほど難しいか

たとえば、以下のような比較を考えます：

ここで多くの人が直感的にやろうとするのが、「同じ条件にして比べる」ことです。プロンプトも固定、状況も固定、できるだけブレをなくす。

ただ、問題があります。

「同じ条件で比較できないなら、科学的じゃない」と思う人もいますが、それは科学の一側面にすぎません。

自然科学、特に医学や心理学では、人間というノイズまみれの存在を扱うために、別のアプローチを使っています。

その代表が RCT（ランダム化比較試験） です。

ポイントは「すべてを統一する」のではなく、ランダム化によって交絡因子（＝結果に影響する余計な変数）を平均化することです。

この考え方は、LLMの評価にも応用できます。たとえば

プロンプト改善の効果検証では

このように、一貫性を無理に求めず、ばらつきを前提にした実験設計によって、科学的な比較が可能になります。

余談ですが、人間対象の研究で「条件を完全に揃えるべきだ」と主張する人は、よく「双子研究」のような理想ケースを引き合いに出します。

たしかに、遺伝的に同一な双子を使えば、いろんな条件を統制できます。でも現実には

RCTは不確実な世界のなかでも比較可能な設計を提供する、科学的に正しい方法論です。

「あいまいだから評価できない」のではなく、
「あいまいだからこそ“科学的な設計”が必要になる」のです。

LLMに限らず、人間、教育、政策、UX、あらゆる分野でこの問題はつきまといます。

完璧な条件統制を諦めて、ランダム化・統計・設計の力で乗り切る。
それが現代科学の“戦い方”なのだと思います。

「科学的な比較」とは、単に条件を揃えることではありません。
条件を揃えきれない曖昧で複雑な世界において、それでも信頼できる方法を設計できることです。

LLMの評価、教育の効果、行動変容の検証
あらゆる「あいまいな対象」こそ、科学的手法の真価が問われる分野です。