一個統計偏誤#

伯克森悖論(Berkson’s Paradox)——不太著名但應用場景很廣的統計現象。

三個日常說法#

說法發言人
「我想找一個性格好的暖男,可是這個人太帥了。以我自己的經驗和對周圍人的觀察而論,長得帥的男人性格都很差。」單身女青年關蓉蓉
「用人要看長板,不能因為報告沒講好就讓秦奮落選。以我這麼多年的經驗而論,不善言辭恰恰是智商高的特徵。」所長徐治功
「你應該多讀一些小眾的作家。以我讀過這麼多書的經驗而論,像村上春樹這種特別流行的都沒啥深度。」老師

伯克森悖論是說:哪怕上面這些人的親身經驗都是真的,他們從經驗中總結出來的結論,也很可能是錯的。

先說「相關性」#

經濟學家做過統計:長得漂亮的人收入會高一些——「漂亮」和「收入高」之間存在正相關

  • 正相關:智商和學習成績、性格外向和受到關注
  • 負相關:可能的例子——身高和體操(太高不容易做難度動作)
  • 0 相關:兩個特性之間沒有規律

關蓉蓉的錯誤#

關蓉蓉說「長得帥」和「性格好」之間存在負相關

假設:長得帥不帥跟性格好不好完全沒關係(相關係數 = 0)。

在一個有 1000 個青年男子的二維分布圖(橫軸長相、縱軸性格)中,點位置完全隨機、無任何規律。

關蓉蓉看到了什麼?#

長得特別丑或性格特別差的人根本不會進入她的視野。她考慮的對象是:

長相 + 性格 ≥ 某個閾值

所以她只看到圖中右上角那個三角區域中的人。

三角區裡的表觀負相關#

因為三角形斜邊上兩角的存在——

  • 長得越帥的人似乎越容易性格比較差
  • 性格越好的人似乎越容易長得不帥
  • 性格和長相之間出現一個取捨——這正是負相關

這些點都是我們設計的!原本沒有任何「摧毀性格的神秘力量」。關蓉蓉之所以得出錯誤結論,是因為她的統計不全面。要想進入她的法眼,長相和性格都不能太差。

她看不到「長相高分」那一列全部點的分布,只看到她篩選過的三角區,就產生了「長得帥的人性格差」的幻覺。

伯克森悖論的一般形式#

如果你對兩個特性有一個總體的閾值要求——這兩個特性哪怕原本沒關係、甚至哪怕原本可能是正相關——在你考察的那個範圍內,也能讓你感覺它們有負相關。

常見誤解#

直覺(可能錯)真相(伯克森悖論)
學術水平高的人都不善言辭進入學術界要水平和說話能力都有才行,這兩個能力原本可以互相彌補
漂亮的女生都不聰明同上
顏值高的演員都沒演技同上
有特長的人必定有明顯短板同上
家裡條件好的大學生必定不用功同上

伯克森悖論和人們熟悉的**「倖存者偏差」都屬於「選擇偏差」**,出錯的根本原因都是你統計的數據不夠全面。

一個真實例子:摩托車手#

有人統計因車禍被送進醫院急診室的摩托車手,發現戴頭盔的人所受的傷反而比不戴頭盔的人更重。難道戴頭盔的人開車更大膽、所以更容易受重傷?

不一定。

事實是:很多戴頭盔的人因頭盔保護而只受輕傷,根本就無須進急診室。你考察的其實是「身體受到的保護」和「身體受到的傷害」這兩個因素——保護必須足夠小,傷害必須足夠大,才能讓這個人進急診室。這跟關蓉蓉關注的「長相 + 性格」是一個道理。

中國金融業例子#

有人比較國有企業和民營企業在銀行貸款信息中的效率,發現民企效率比國企高。有的學者就把這當真了。

但事實上「能拿到銀行貸款」是一個閾值——企業的「效率」和「風險擔保」兩個因素必須都很好才行。國企有國家隱性擔保而民企沒有,所以民企的效率必須得高才能拿到貸款——那個學者沒有統計那些拿不到貸款的民企。

Google 的「高分低能」發現#

2015 年,Google 用機器學習判斷哪些因素決定一個員工是不是能幹的好員工——結果發現:在編程競賽中得過獎,恰恰是一個說明這個員工工作能力不行的因素

這不就是中國人常說的「高分低能」嗎?Google 自己也沒想明白為什麼,猜測可能是因為競賽優勝者更善於快速解決問題、未必適合長期項目。

但伯克森悖論可以完美解釋這個現象#

  • 考察世界上所有的人,編程比賽成績和實際編程能力是絕對正相關
  • 能在比賽中拿獎說明你必定是個編程高手
  • 在理想情況下,Google 招人應該只看實際能力
  • Google 在招一個人之前無法精確知道實際能力,不得不把比賽成績作為重要參考指標
  • 所以 Google 招人其實是:比賽成績很好 OR 實際能力很好 → 被錄取
  • 這導致被錄取的人中出現一個假的負相關——典型的伯克森悖論

根本原因#

能進 Google 的都是優秀程序員。你拿優秀的人和優秀的人比,因為其中有些人是靠比賽成績突出而顯得優秀,所以會產生比賽成績好反而能力弱的感覺。其實根本沒有「比賽能力會削弱實際能力」的機制,僅僅是統計分布就足以讓你產生這個感覺。

「高分低能」這樣的感覺很正常,但這是個偏見。面對一個成績特別出色的人才時,你不應該假設他實際能力不行。

民間智慧的可疑#

了解了伯克森悖論,下一次再聽到涉及能力、人品、長相、運氣的各種「負相關」論斷,你都應該保持戒心。

生活中很多民間智慧值得質疑:

  • 「寒門出貴子」
  • 「為富不仁」
  • 「仗義每從屠狗輩,負心多是讀書人」
  • 「殺人放火金腰帶,修橋鋪路無屍骸」

平庸的寒門子弟、遵紀守法的富人、沒有英雄壯舉的屠狗輩、忠誠的讀書人和安享晚年的好心人——他們的新聞閾值太低,他們的事跡沒有四海傳揚。你必須把這些人都統計上,才能得出正確的結論。