【統計学の謎】統計好きでも意外と説明できない「メタアナリシス」で見るべき“2つの数字”の正体
「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。
科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。
鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか？
そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、書籍『Science Fictions あなたが知らない科学の真実』だ。
単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。
今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。
メタアナリシスで科学を再分析する
科学者には、ポジティブな結果だけを公表し、NULLの結果は隠して表に出さない傾向がある。p値が0.05という神聖な閾値を下回る「有意な」結果は嬉々として論文を投稿し、閾値を上回るものは「引き出し」にしまい込む。フィッシャーの恣意的な統計上のカットオフ値と、結果の「真実性」や重要性を結びつけたことは、科学の記録に有害な結果をもたらした。
出版バイアスの特徴的な痕跡は、一歩引いて科学文献全体を見わたしたときにわかるものだ。こうしたズームアウトは、メタアナリシスとしておこなわれることが多い。複数の研究の結果を組み合わせて、あるテーマに関する全体的な効果（「真の」効果という魅力的な呼び方をされるときもある）を導き出すという手法だ。たとえば、ある病気の死亡率を下げるためにワクチンが与える全体的な影響や、気候変動と農作物の収穫量の総体的な関連性などが分析の対象になる。
メタアナリシスで注目する「1つ目の数字」
関連する研究を集める際に、メタアナリシスでは2つの数字に注目する。
1つ目は効果の大きさだ。ワクチンによって死者数が年間2、3人、減るのか（小さな効果）、それとも数千人の命を救うことができるのか（大きな効果）。気候変動が農作物に与える効果は小さくて管理しやすいものなのか、それとも大きくて破滅的なものか。
サンプリング誤差や測定誤差のために、研究によって効果の大きさの推定値が大きく異なることはわかっており、1つの研究の推定値に頼るのは賢明ではない。1つの問題についてより多くの証拠があるほうが通常は好ましく、誤差によるランダムな変動は異なるサンプル間で相殺されるはずなので、メタアナリシスで計算された全体の効果の大きさは、個々の研究からの推定値より信頼性が高いと考えられる。
