在所有涉及統計方法的心理學、醫學與社會研究中，就算科學家兢兢業業，大約每 20 篇論文就有 1 篇結果其實是無效的；而因為科研界諸多灰色操作，實際情況更糟。這個誤差是科學方法本身造成的。

統計結論是怎麼來的？#

假設有種新藥，要證明它有療效怎麼辦？找 100 個病人隨機分兩組、50 人吃新藥、50 人吃安慰劑糖豆，並進行雙盲實驗。但真實結果通常不是一邊全好、一邊全死，而是第一組好 22 人死 4 人、第二組好 15 人死 3 人——這就需要統計方法介入。

科學家的做法是先設一個虛無假設（null hypothesis）：

• 假設藥物無效、疾病死亡率就是第二組顯示的 10%。
• 若這個假設為真，出現第一組「50 人全不死」的機率有多大？
• 每人不死機率 0.9，50 人都不死的機率是 0.9 的 50 次方 = 0.00515。

這個機率就是 p 值（p-value）。p = 0.00515 表示「純屬巧合」的可能性很低。

怎樣理解 p 值？#

科學家常寫成「實驗證明這種藥有效，P = 0.00515」，許多人據此理解為「這種藥有效的可能性高達 99.485%」——這句話其實是錯的。

p 值的真正意思是：在你選的那個虛無假設之下，實驗結果純屬巧合的可能性。

• 虛無假設的選擇是科學家的主觀決定。
• p 值只能評估藥物「有沒有」療效，不是療效有多大。

2013 年《自然》一篇廣泛傳播的論文指出：透過婚戀網站認識的夫妻離婚率較低（P < 0.002），婚姻滿意度較高（P < 0.001）。聽起來很厲害，但仔細看數據：離婚率只從 7.67% 降到 5.96%，婚姻滿意度只從 5.48 分升到 5.64 分（滿分 7 分）——這點效應根本不值得太認真。

0.05 啊 0.05#

學術界幾乎把 P < 0.05 當作**統計顯著性（statistical significance）**的黃金標準。但這個數字根本沒有科學依據，只是費希爾（Ronald Fisher）幾十年前的約定俗成。

• 費希爾本人認為 P < 0.05 的結果才「值得看一看」，真正可接受的結論他想的是 P < 0.001。
• 達到 P < 0.001 需要太多受試者，成本太高，大家退而求其次默認了 0.05。
• 就算做到 P < 0.05，還是有 1/20 的結果純屬巧合；考慮虛無假設的任意性，P = 0.01 的論文在某些情況下屬於巧合的可能性甚至高達 11%。

動機性推理#

**動機性推理（motivated reasoning）**是指：當你強烈希望得到某個結論時，推理過程就會刻意滿足它。科學家若想讓 p 值小於 0.05，有不少主觀手段可用：

證據就在資料本身：經濟學、心理學、生物學論文的 p 值分布，在 0.05 處出現明顯突起。唯一合理解釋是——有大量論文刻意把 p 值「做」到恰好落在 0.05 以內。

結論#

• p 值代表「在一定虛無假設下」實驗結果純屬巧合的可能性——有相當比例就是巧合。
• p 值只預示療效的有無，與療效大小無關。
• P < 0.05 是個不太體面的人為約定。
• 即便如此，仍有許多科學家用資料採摘美化 p 值。

每個人都有隱藏的動機，連科學家也不例外。那科研結果還能信嗎？能信——科學方法是獲取知識「最不壞」的方法，科學家們自己也在積極反思。真實世界沒有我們最初想像得那麼美好，但它比我們想像得更有意思。