為什麼資料越多,決策卻可能越糟?#
擁有海量資料、頂尖工具與嚴謹方法,仍可能做出糟糕決策——尤其資訊過載時,人會走捷徑。
在某些情況下,資料與分析反而讓事情變糟。
心理學家、行為經濟學家發現許多認知陷阱(cognitive trap):人不會仔細處理每筆資訊,反而依賴「啟發法(heuristics)」——簡化的決策捷徑,讓我們在不確定或分析成本太高時還能決策。但啟發法會帶來系統性錯誤,且通常我們渾然不覺。
本章聚焦三個最常見的認知陷阱。
一、確認偏誤陷阱(The Confirmation Trap)#
我們會更注意支持先入為主的發現,忽視反向或不明確的模式。
當資料量大、變數間存在無數可能相關時,這個傾向特別致命。
經典案例:Minnesota Coronary Experiment#
- 1960 年代後期到 1970 年代初,研究脂肪攝取對心臟健康的影響——這是設計嚴謹的研究之一
- 結果長年未發表,因為與研究者及醫學界的信念衝突
- 直到 2016 年(超過 40 年後),《BMJ》才出版基於原始資料的分析,挑戰了「飽和脂肪導致心臟病」的長期建議
在公司內,確認偏誤更難避免:員工往往受到老闆與同儕壓力,只挑出「老闆想看到的證據」,自我審查報告內容。
對抗確認偏誤的方法#
- 事先寫死資料與分析方法,避免事後挑選對自己有利的發現
- 主動找推翻自己的證據——問「如果我錯了,資料應該長什麼樣?」
- 找懷疑論者協助、刻意指派人扮演 devil’s advocate
- 不要自動忽略未達顯著水準的發現——大標準誤的關係或精準測量的小效應,都可能挑戰你的假設
- 指派多支獨立團隊分析同一資料;若結論不同,分離並研究歧異點是錯誤、方法不一致還是偏誤
- 把發現視為「預測」並真的去測試(例如用實驗驗證一個你認為公司可受益的相關性)
二、過度自信陷阱(The Overconfidence Trap)#
行為研究者 Max Bazerman 與 Don Moore 在《Judgment in Managerial Decision Making》中稱之為「所有偏誤之母(The Mother of All Biases)」。
我們總認為自己判斷的精確性、或計畫成功的機率比資料顯示的更高——尤其是因過去成功而升遷的高階主管,整個職涯被正向訊號餵大。
為什麼它特別危險#
- 阻礙我們質疑自己的方法、動機、溝通方式
- 導致對資料與分析投資不足——「我已經懂了」就懶得多花錢、多做分析
- 更多資料反而會強化過度自信,但不見得提升準確性
對抗過度自信的方法#
- 描述「完美實驗」:如果資源無上限、可量任何變數,你會怎麼做?再對比現有資料,找出差距
- 把「自我反駁」變成正式流程:Daniel Kahneman 在《Thinking, Fast and Slow》中建議——對每一次分析都問「它可能在哪裡是錯的?」
- 執行 Pre-mortem(事前驗屍):心理學家 Gary Klein 的方法——啟動專案前,請熟悉專案的人想像它一年後失敗了,並寫下失敗的故事,藉此提早暴露盲點
- 追蹤自己的預測 vs. 實際結果:定期回顧,避免相同偏誤再次潛入
三、過擬合陷阱(The Overfitting Trap)#
Nate Silver 在《The Signal and the Noise》中稱之為「你從沒聽過、卻最重要的科學問題」。
當你的模型給出意外的洞察時,也可能只是過擬合(overfitting)——模型描述的是隨機雜訊,而非真正的關係。過擬合模型「對過去解釋得驚人地好,對未來預測得驚人地糟」。
Google Flu Trends 的失敗#
- 2008 年推出時被譽為流感預測的創新
- 早期演算法在數百萬個搜尋詞中找與流感的相關性
- 詞太多 → 一些「看似顯著」的相關其實只是巧合(「高中籃球」與流感高度相關?)
- 幾年後因預測失敗而被下架
對抗過擬合的方法#
- 資料切兩份:訓練集(training set)建模、驗證集(validation set)測預測——若訓練集表現極好但驗證集崩盤,就是過擬合的警訊
- 與確認偏誤同理——事先寫好你想測什麼、怎麼測
- 保持分析簡單:先驗證重要、邏輯清晰的假設;對無法用經驗或常識排除的相關保持警覺;記住「資料永遠不會自己說話,必須靠人解讀」
- 建立替代敘事(alternative narratives):同一份資料還能說出別的故事嗎?若可以,你就還沒掌握真正的關係
- 警覺人類在隨機資料中看到模式的傾向。例:打擊率 .325 的選手在某場系列賽零安打,教練看了像是「冷期」想換人——但只是少數比賽,統計上仍應留他在打線中,而不是換上前一場 4 安打的 .200 打者
從偏誤到更好的決策#
資料分析能促進一致的決策、揭露盲點、提供風險與報酬的證據——但也會讓人鬆懈。
經理人必須認識這三個陷阱,並主動以流程與認知策略抵禦它們。
認出自己的偏誤很難,但用對的心態與程序積極對抗,就能換來更好的分析與更好的決策。