大佬問三句話,否決你的提案#

想像一個場景:會議室裡年輕人西裝筆挺做報告,PPT 滿滿的數據圖表。聽眾席上的大佬有點不耐煩:

「你不用說那麼多,我就問你幾個問題。」

大佬問了幾個問題,年輕人當場被難住——大佬否決了整個提案。

這個場景在公司例會、論文答辯中都不陌生。在一線的人花很多精力專注細節;大佬往往三言兩語就發現問題關鍵——而後事實證明大佬是對的

為什麼做了大量功課、掌握豐富數據的人,決策水平反而不如大佬的快速判斷?對問題思考得多,反而沒好處嗎?

過度擬合#

數學家對這問題早想明白了:如果你的模型涉及決策判斷和預測未來,那麼精確寫實往往不如粗略寫意。事實上模型越寫實、最終效果反而可能越差。這個現象叫——

過度擬合(overfitting)。

多項式擬合的例子#

德國已婚者生活滿意度統計,結婚後 10 年每年一個數據點。若要預測 15-20 年後的滿意度,可以做多項式擬合

  • 一階:$f(t) = a + bt$——假設滿意度只和時間一次方有關。
  • 二階:$f(t) = a + bt + ct^2$——還考慮時間平方。
  • 九階:曲線穿過原始數據的每一個點

結果卻是:

  • 一階、二階:大致反映趨勢,但原始數據點並不精確落在曲線上——只說明趨勢。
  • 九階:曲線完美穿過每個數據點,但預測「10 年後滿意度會突然下降」——幾乎不可能發生。

過度擬合的本質#

你的模型想要一絲不苟地反映已知的所有數據——它對未知數據的預測能力就會非常差。因為「已知數據」都是有誤差的。精準的擬合會把數據的誤差給放大——拟合越精確、預測結果反而越糟糕。

搞數據分析的人都明白這點。在大數據與人工智慧領域,過度擬合是令人頭疼的大問題。

不要想太多#

判斷是否過度擬合的一個標誌:如果原始數據稍改一點點,模型預測結果就有很大變化——那基本就是過度擬合了。好的模型不應對數據如此敏感

考核指標的陷阱#

某公司選了一套指標考核員工。如果有人認為完成這些指標非常重要、以至於稍有不足就萬分焦慮——他就是在過度擬合。一個大公司怎麼可能因為一件小事改變整個未來走向?

現代人似乎有「數據崇拜」——過分重視各種考核指標、為了數據而工作、糾結於各種細節,反而顧不上真正重要的事情。

一個大學老師的備課悟道#

有位大學老師第一年教學1 小時課程準備 10 小時,教案和 PPT 無比詳盡。第二年新開一門課,太忙沒時間備課,不得不簡化倉促應對——學生反而更喜歡新開這門課

為什麼?

  • 第一年看似準備完美,但這只是老師自己眼中的完美,他拼命往教案中加入各種細節——從學生角度根本不得要領。
  • 第二年時間少,只能確保把最重點的內容放進去——結果學生一看反而簡單明了

一篇文章幾個小時寫完,內容就已經很不錯;非得讓一個寫作班子用上幾週時間寫,裡面必然被加入各種不該有的細節。一個決策能抓住重點就好了,非得考慮各種不重要的因素——這就是「長考出臭棋」。

人腦自帶過度擬合防禦#

數學家為避免過度擬合,經常人為減少模型複雜度。其實我們生活中也有這機制——人腦能耗佔整個身體的 20%,這就是為什麼想問題太久會感到很累。這其實是好事——因為想多了反而不好。

我們思考問題不會隨時參考大量數據——大腦中有很多快捷方式:類比、成語典故、諺語。面臨重大決策有時不必考慮細節,當場念兩句詩就夠了

諾貝爾經濟學獎得主如何投資自己#

1990 年諾貝爾經濟學獎得主哈利・馬可維茲(Harry Markowitz)提出現代投資組合理論——給定金融產品的預期回報與風險,如何組合讓投資利益最大化。

有人問他自己的退休金怎麼投資?

馬可維茲:「非常簡單,一半買股票,一半買債券。」

這就是簡單的力量。

三個建議避免過度擬合#

「諸葛一生唯謹慎,呂端大事不糊塗。」——想避免過度擬合,你必須學會抓住重點、忽略掉一部分資訊

一、限定思考時間#

一小時之內必須完成報告、或一小時內必須結束會議。考慮越久越無法保證效果——有時間限制下你才會逼著自己考慮最重要的因素

二、限定內容長度#

  • 要求下屬寫報告不能超過一頁紙。如果一個方案無法用一頁紙闡釋清楚,就應該放棄這個方案
  • 電梯談話:要在搭電梯這點時間內說清楚你的方案。

三、在白板上用粗的馬克筆#

最初的計畫必須抓住重點。筆畫越粗越能逼你考慮大局;用圓珠筆無形中會陷入關注細節的思維模式。

最好的預測,就是在上面隨手畫一條很粗很粗的線。

達爾文的結婚決策#

達爾文曾無法決定是否結婚。他用當時流行的「道德算術」——把日記本分兩半,左邊列結婚理由、右邊列不結婚理由。他列得非常詳細,其中一個不結婚的理由是「結婚後開銷變大,可能沒錢買書了」。

反覆思量後,最終還是一條理由促使他決定結婚:人不能光顧工作,有了妻子孩子才能享受家庭生活的樂趣,哪怕為此做出一定的犧牲也是值得的。

就為了這條理由——而不是所有理由加在一起權衡的結果——達爾文決定向表姐求婚。至於買書什麼的,都是不重要的細節問題。

他求婚成功,收穫了幸福的婚姻。

如果一件事情真的值得去做,哪有那麼多理由?下次再有人不顧重點在細節問題上糾纏不清,請告訴他:「你過度擬合了。