如何評估科學論斷#

我們每天都會收到各種號稱「科學」的資訊——新藥研發成功、吃什麼東西致癌、育兒專家的新建議。你不必是一個領域的專家,也能看明白那些說法科學不科學、可信不可信。你只要掌握「可信性」的門道就行。

數學 vs. 物理學#

數學研究的是柏拉圖世界裡的事,只要邏輯正確就一定是正確的,論文的同行評議審稿也能完全保證邏輯正確。比如 2020 年中國科技大學的兩位數學家證明了微分幾何猜想,文章發表在頂級期刊上,這件事就板上釘釘了。

物理學研究的是真實世界,光邏輯正確就不夠了。物理學家在 20 世紀 60 年代就預言了「希格斯玻色子」的存在,但直到 2012 年大型強子對撞機上才發現了它的蹤跡。理論自信來自研究對象的簡單——物理學本質上是簡單的,每個地方的物理定律都是一樣的。

P 值與可信度#

化學、材料、工程、生物醫學等領域的東西比物理學複雜得多,理論推導根本無法直接得出有效結論,必須做實驗才知道。而實驗都是有不確定性的。

現在通用的標準是使用一個「P 值」,代表「實驗結論純屬巧合」的可能性。P 值越小,結論越「顯著」。

  • 發現希格斯玻色子的 P 值小於 0.0000006,可信度大於 99.99994%
  • 物理學實驗的可信度是特色
  • 如果研究涉及「人」,P 值能有 0.05 通常就算達標了

證據的等級#

醫學、心理學、社會科學這些和普通人關係最密切的研究,恰恰是最不可信的。全世界的人可不一樣——性別、年齡、營養、教育程度、工作性質、文化習俗、經濟條件、環境氣候都有關係。

最弱的證據是**「案例」**。最理想的方法是所謂「大規模隨機雙盲對照實驗」:

  • 把人隨機分成「實驗組」和「對照組」
  • 分組是隨機的,而且人數夠多
  • 如果兩組人除了吃的藥不一樣,其他各方面都完全一樣,那麼有顯著差別就一定是藥的功效

2020 年新冠疫情期間,中國的疫苗早早發出但國際上沒有什麼反應,因為中國疫苗還沒有經過大規模隨機實驗的考驗。中國把疫情控制得太好了,反而沒有足夠的感染風險來做實驗。

實戰案例:輝瑞的托伐普#

輝瑞為了接替即將過期專利的立普妥,投入 10 億美元開發了新藥托伐普。實驗把 15003 名病人隨機分成兩組進行臨床三期實驗。

結果實驗組死了 82 人,對照組只死了 51 人。輝瑞立即提前終止實驗、宣布新藥失敗。因為 P 值設定是 0.01,而 82 vs. 51 的 P 值已經是 0.007,過了紅線。哪怕實驗組只是少死兩個人(80 vs. 51),P 值就是 0.011,實驗就可以繼續。

你看這像不像考大學?成績只差兩分,結果有天壤之別。這就叫**「程序正義」**。

程序正義的代價與邊界#

我們想要的是「實質正義」——這個藥到底對「你」有沒有效。但科學回答不了這樣的問題。幾萬人參與、10 億美元投入,最後也只能給你一個分數線式的答案。

「沒有證據表明這個東西有效(absence of evidence)」不等於「有證據表明這個東西無效(evidence of absence)」。

程序正義是有限的正義,科學知識是有限的認知。我們相信世界是講理的,但我們必須對科學這門業務有合理的期待。

問答:雙盲對照實驗#

「隨機雙盲對照實驗」的設計目標是製造近乎完美的局面:實驗組和對照組除了吃的藥不一樣,其他一切都一樣。對照組使用安慰劑,恰恰是為了排除安慰劑效應。「雙盲」是指病人不知道自己吃的是新藥還是安慰劑,連醫護人員也不知道——否則醫護人員的主觀偏見可能影響結果。