一個統計偏誤#
伯克森悖論(Berkson’s Paradox)——不太著名但應用場景很廣的統計現象。
三個日常說法#
| 說法 | 發言人 |
|---|---|
| 「我想找一個性格好的暖男,可是這個人太帥了。以我自己的經驗和對周圍人的觀察而論,長得帥的男人性格都很差。」 | 單身女青年關蓉蓉 |
| 「用人要看長板,不能因為報告沒講好就讓秦奮落選。以我這麼多年的經驗而論,不善言辭恰恰是智商高的特徵。」 | 所長徐治功 |
| 「你應該多讀一些小眾的作家。以我讀過這麼多書的經驗而論,像村上春樹這種特別流行的都沒啥深度。」 | 老師 |
伯克森悖論是說:哪怕上面這些人的親身經驗都是真的,他們從經驗中總結出來的結論,也很可能是錯的。
先說「相關性」#
經濟學家做過統計:長得漂亮的人收入會高一些——「漂亮」和「收入高」之間存在正相關。
- 正相關:智商和學習成績、性格外向和受到關注
- 負相關:可能的例子——身高和體操(太高不容易做難度動作)
- 0 相關:兩個特性之間沒有規律
關蓉蓉的錯誤#
關蓉蓉說「長得帥」和「性格好」之間存在負相關。
假設:長得帥不帥跟性格好不好完全沒關係(相關係數 = 0)。
在一個有 1000 個青年男子的二維分布圖(橫軸長相、縱軸性格)中,點位置完全隨機、無任何規律。
關蓉蓉看到了什麼?#
長得特別丑或性格特別差的人根本不會進入她的視野。她考慮的對象是:
長相 + 性格 ≥ 某個閾值
所以她只看到圖中右上角那個三角區域中的人。
三角區裡的表觀負相關#
因為三角形斜邊上兩角的存在——
- 長得越帥的人似乎越容易性格比較差
- 性格越好的人似乎越容易長得不帥
- 性格和長相之間出現一個取捨——這正是負相關
這些點都是我們設計的!原本沒有任何「摧毀性格的神秘力量」。關蓉蓉之所以得出錯誤結論,是因為她的統計不全面。要想進入她的法眼,長相和性格都不能太差。
她看不到「長相高分」那一列全部點的分布,只看到她篩選過的三角區,就產生了「長得帥的人性格差」的幻覺。
伯克森悖論的一般形式#
如果你對兩個特性有一個總體的閾值要求——這兩個特性哪怕原本沒關係、甚至哪怕原本可能是正相關——在你考察的那個範圍內,也能讓你感覺它們有負相關。
常見誤解#
| 直覺(可能錯) | 真相(伯克森悖論) |
|---|---|
| 學術水平高的人都不善言辭 | 進入學術界要水平和說話能力都有才行,這兩個能力原本可以互相彌補 |
| 漂亮的女生都不聰明 | 同上 |
| 顏值高的演員都沒演技 | 同上 |
| 有特長的人必定有明顯短板 | 同上 |
| 家裡條件好的大學生必定不用功 | 同上 |
伯克森悖論和人們熟悉的**「倖存者偏差」都屬於「選擇偏差」**,出錯的根本原因都是你統計的數據不夠全面。
一個真實例子:摩托車手#
有人統計因車禍被送進醫院急診室的摩托車手,發現戴頭盔的人所受的傷反而比不戴頭盔的人更重。難道戴頭盔的人開車更大膽、所以更容易受重傷?
不一定。
事實是:很多戴頭盔的人因頭盔保護而只受輕傷,根本就無須進急診室。你考察的其實是「身體受到的保護」和「身體受到的傷害」這兩個因素——保護必須足夠小,傷害必須足夠大,才能讓這個人進急診室。這跟關蓉蓉關注的「長相 + 性格」是一個道理。
中國金融業例子#
有人比較國有企業和民營企業在銀行貸款信息中的效率,發現民企效率比國企高。有的學者就把這當真了。
但事實上「能拿到銀行貸款」是一個閾值——企業的「效率」和「風險擔保」兩個因素必須都很好才行。國企有國家隱性擔保而民企沒有,所以民企的效率必須得高才能拿到貸款——那個學者沒有統計那些拿不到貸款的民企。
Google 的「高分低能」發現#
2015 年,Google 用機器學習判斷哪些因素決定一個員工是不是能幹的好員工——結果發現:在編程競賽中得過獎,恰恰是一個說明這個員工工作能力不行的因素。
這不就是中國人常說的「高分低能」嗎?Google 自己也沒想明白為什麼,猜測可能是因為競賽優勝者更善於快速解決問題、未必適合長期項目。
但伯克森悖論可以完美解釋這個現象#
- 考察世界上所有的人,編程比賽成績和實際編程能力是絕對正相關
- 能在比賽中拿獎說明你必定是個編程高手
- 在理想情況下,Google 招人應該只看實際能力
- 但Google 在招一個人之前無法精確知道實際能力,不得不把比賽成績作為重要參考指標
- 所以 Google 招人其實是:比賽成績很好 OR 實際能力很好 → 被錄取
- 這導致被錄取的人中出現一個假的負相關——典型的伯克森悖論
根本原因#
能進 Google 的都是優秀程序員。你拿優秀的人和優秀的人比,因為其中有些人是靠比賽成績突出而顯得優秀,所以會產生比賽成績好反而能力弱的感覺。其實根本沒有「比賽能力會削弱實際能力」的機制,僅僅是統計分布就足以讓你產生這個感覺。
「高分低能」這樣的感覺很正常,但這是個偏見。面對一個成績特別出色的人才時,你不應該假設他實際能力不行。
民間智慧的可疑#
了解了伯克森悖論,下一次再聽到涉及能力、人品、長相、運氣的各種「負相關」論斷,你都應該保持戒心。
生活中很多民間智慧值得質疑:
- 「寒門出貴子」
- 「為富不仁」
- 「仗義每從屠狗輩,負心多是讀書人」
- 「殺人放火金腰帶,修橋鋪路無屍骸」
平庸的寒門子弟、遵紀守法的富人、沒有英雄壯舉的屠狗輩、忠誠的讀書人和安享晚年的好心人——他們的新聞閾值太低,他們的事跡沒有四海傳揚。你必須把這些人都統計上,才能得出正確的結論。