「それって、p-hackingじゃないの？」と思っても言えなかった話

〜データサイエンス実務における“正しさ”と“求められる結果”の狭間で〜

こんな経験、ありませんか？

私は、何度もありました。
そしてそのたびに、「これって、p-hackingじゃないの？」「HARKingでは？」と心の中でつぶやきながら、空気を読んで声に出せずにいた自分がいます。

この記事では、そんな実務の中で感じた葛藤を共有しながら、「データ分析者として、どのように現実と向き合うべきか？」をあらためて考えてみたいと思います。

ビジネスにおける“成果”は、しばしば短期的かつ分かりやすい数字で評価されます。
報告書、プレゼン資料、経営判断の材料として、「効果があった」と言えることが何より重視されがちです。

そのため、「分析の結果として効果があったことにしてほしい」「成功ストーリーを作ってほしい」といったプレッシャーを受けることは少なくありません。

一方で、再現性は科学的分析の根幹を成す要素です。

これらを欠いた分析結果は、単なる偶然やバイアスによる産物かもしれません。

以下は、私自身がこれまでに経験した場面の一部です。

状況	分析者の内心	ステークホルダーの要望
A/Bテストで有意差が出なかった	「これは誤差の範囲だな…」	「でも、効果あったことにしないと施策が止まってしまう」
仮説と異なる結果が出た	「意外だけど、他の要因を探してみたい」	「それだと話が複雑になる。仮説に沿うように調整して」
サンプルサイズが少なすぎた	「この結果では判断できない…」	「でも上に報告しなきゃいけない。何か“言えること”を作ってほしい」

現場の人々に悪気はなくても、「都合のいい結果」への期待は確かに存在しています。

求められるままに切り口を変え、p値が有意になるまで繰り返し分析し、結果に合わせて仮説を後付けする……
これは、分析者としての信頼を損なう行為であり、自分自身の納得も得られません。

「それは科学的に正しくない」と伝えることが必要な場面もありますが、現場の事情や立場を無視した主張は、かえって壁を作ることもあります。

どれも理想論に見えるかもしれません。
でも、こうした考え方を少しずつでも現場に浸透させることが、分析者としての信頼を築く第一歩だと信じています。

データサイエンスがビジネスの中で求められるようになった今、私たちは常に「科学としての正しさ」と「現場が求める成果」のあいだで揺れています。

でも、もしも「再現性」を軽視し、「納得感のある物語」だけを優先するようになったら、それは分析職という専門性の価値を自ら壊す行為ではないでしょうか。

地道でも、時に煙たがられても、
「この分析は、本当に信頼できるのか？」という問いを持ち続けたい。
それが、私なりの“抵抗”であり、希望でもあります。

あなたの現場では、「それってp-hackingでは？」と感じたこと、ありませんか？
あるいは、正しさを主張しづらかった経験、ありませんか？
そういうものがあれば、ぜひ共有してください！