社会科学の研究結果は「約半分しか再現できない」、世界最大規模の検証で明らかに（Forbes JAPAN）

「正確に再現可能」と「おおむね再現可能」って、どう違うの？後者は要するに『だいたい合ってればOK』ってこと？

数字の上では「15%以内のズレ」「確率値が0.05以内」という基準が引かれているんですが、実はこれ、統計学の実務では割と重要な区別なんですよね。 「正確に再現可能」は、元の研究と同じデータを使って同じ分析をしたら、ほぼ同じ結果が出ました、という話です。これは「分析に誤りがなかったか」を確認する作業に近い。 対して「おおむね再現可能」というのは、別の研究者が同じデータを分析しても、結論の向きは変わらない、ということなんです。たとえば「効果がある」という結論は変わらないけれど、その効果の大きさが元の論文より15%小さかった、みたいな。社会科学では「どの方向に作用するか」がわかれば、実務的には使える知見になることが多い。 つまり「だいたい合ってればOK」というより「結論は信用できるけれど、正確性にはムラがある」という意味に近いと言えそうです。逆に73.5%がおおむね再現可能というのは、社会科学の研究でも「方向性は信用できるものが大半」という見方もできます。

社会科学の研究が半分しか再現できないってことは、ニュースとかで紹介される『研究が証明した』って話も、半分ぐらいは信じられないってことなの？

必ずしもそうとは言えないんですよね。ここで大事なのは、「再現できない」と「信じられない」は別の話だということです。 この調査で測られているのは、元のデータを別の研究者が改めて分析したときに、統計的に同じ結果が出るかという技術的な問題。一方、ニュースで「研究が証明した」と報じられるのは、その研究が学術誌に掲載されたという事実そのものです。掲載されたからには、査読者によるチェックは一応済んでいる。つまり、再現性が低いことと、その研究の価値や信頼性は必ずしも一致しません。 むしろ注目すべきは、なぜ再現性が低いのかという点。データの入力ミスや分析手法の違いもあれば、サンプルサイズが小さすぎたり、測定方法が曖昧だったりすることもある。こうした問題は、研究を積み重ねる中で修正されていくものです。完璧な研究がはじめから存在するわけではなく、試行錯誤の過程にあるということかもしれません。

こういう『再現できない問題』って、最近になって急に起きるようになったの？それとも昔からずっと存在してて、今回初めて大規模に数字化されたの？

再現不可能という問題そのものは昔からあったはずですが、それを指摘する側の声が強まったのは比較的最近です。 心理学の分野では2010年代初頭、有名な実験の再現試験が次々と失敗し、学界を揺さぶりました。そこから「われわれの論文、本当に信頼できるのか」という自己検証の動きが広がった。つまり、昔は「再現されない」という現象は存在していても、それを問題として可視化し、測定しようという気運がなかったのかもしれません。 この調査が今の時点で実行できたのは、オープンサイエンス運動の盛り上がりと、デジタル化でデータ共有が技術的に容易になったからでもあります。記事でも「データ共有を義務づける学術誌に掲載された論文ほど再現性が高い」と書かれているように、仕組みの側面も影響している。 昔からある課題を、今になって本気で測りに行く段階に入ったということなのかもしれません。

これって『何かを証明したい研究者が、都合のいい結果だけを拾ってしまう』という、科学の根本的な仕組みの問題なの？

それも一因ですが、実は「都合いい結果を選ぶ」よりやっかいな構造があるんですよね。 研究者が無意識のうちに、データの分析方法を工夫できるというところです。同じ数値から数百通りの結論を引き出せる統計的な自由度がある。「このグループとあのグループを比べたら有意だった」「この変数を加えたら有意になった」——こうした選択肢の中から、都合のいい組み合わせを無意識に拾ってしまう。意図的な不正ではなく、認知バイアスに近い。 加えて、衝撃的な結果ほど論文として通りやすい出版構造。「効果がなかった」は地味だけど正しい結論より、「意外な相関を発見した」という話の方が学術誌に載りやすい。だから研究者も（無意識に）後者を目指してしまう。 今回の調査で政治学や経済学の論文の方が再現性が高いのは、統計分析の手法が標準化されていて、変更の余地が少ないからかもしれません。逆に複雑な社会現象を扱う分野ほど、分析方法の工夫で結果が左右されやすいということですね。

再現性が低い論文を書いた研究者側からしたら、今回の調査結果ってどう受け止めるんだろう？キャリアに傷がつくのは避けられない？

研究者にとって、再現できなかったこと自体より、「なぜ再現できなかったのか」という説明責任が問われる局面なんですよね。 元のデータが再構築できていないか、分析方法が記録不十分だったり、あるいは実験環境の細部が共有されていなかったか。再現失敗の理由は多様です。故意の不正でない限り、むしろ「当時は気づかなかった弱点が見つかった」という前向きな話に転換する余地がある。 ただし、学術界の心理はそう単純ではありません。再現性の低さが広く知られた論文は、その後の引用が減り、他の研究の信頼性まで疑われるリスクがある。特に大学の昇進評価では論文数より「どれだけ引用されたか」が効きやすいので、間接的なダメージは相当です。 むしろ研究者の本当の関心は、「今後どうするか」に向かっているはず。データ共有を促す学術誌に掲載された論文ほど再現性が高いという調査結果は、自分たちの研究が次の時代に耐えられるようにするには何をすべきか、というメッセージに見えてくるのかもしれません。