可縮放與不可縮放#
OpenAI 發布 o1 模型給作者一個感悟：AI 研究和腦科學一直在互相啟發，o1 對算力的新用法所體現的道理，也可以用在個人成長上。
「可縮放」（Scalable）是近來 AI 界最熱門的詞。如果你在這件事上投入的算力越多，得到的結果就越好，那這個事兒就是可縮放的。
可縮放的例子#
- 工廠生產：投入原材料越多，產出越多，而且每件都能按一定價格賣出去
- 大語言模型：語料越多、參數越多、訓練時間越長，表現就越好
不可縮放的例子#
- 吃飯：吃了 10 個餃子就飽了，再吃 10 個不是解餓的問題，而是快吃飽了
- 健身：已經每天鍛煉 4 小時的健身達人，改成 8 小時不會讓身體再好一倍
- 智商：天賦值，訓練可能讓智力測驗稍提高一點，但本質上是硬件
- 美貌：上限很低而且貶值快，花 10 萬整容可能有立竿見影的效果，花 100 萬不太可能特別出眾
- 奧數：限定在中學數學知識的範圍內玩花樣，縮放空間很小
- 忠誠可靠：不可縮放的技能，忠誠度已經 100%，接下來還能怎樣？
- 範圍窄、套路固定的工作：高速公路收費員，幾十年如一日做同樣的事
不可縮放的事情，不值得投入巨量的時間、精力和資源。適可而止就好。如果你想靠「用功」出人頭地，你需要找個可縮放的項目。
為什麼學習和搜索是可縮放的#
o1 開啟的第二種縮放定律#
o1 打開了一個新的縮放維度——在推理過程中使用算力：
- 像 AlphaGo 下圍棋一樣一步一步地解決問題
- 每一步考慮若干個可能性，投入的算力就越多，每個可能性想得越深
- 答案也會越好
英偉達的資深研究科學家范麟熙（Jim Fan）評論：o1 印證了薩頓在《苦澀的教訓》中說的——只有兩個技術可以在計算上無限地縮放，那就是「學習」和「搜索」。
薩頓的《苦澀的教訓》#
理查德·薩頓是強化學習之父，他 2019 年寫的博客文章《苦澀的教訓》（The Bitter Lesson）可以說是這一輪 AI 革命的綱領性文獻。核心觀點：
- 人類專家通過設定規則的方式教 AI 去做什麼，這條路是走不通的
- 正確的做法是搞一個通用的架構，讓模型通過算力生吃——自己去發現知識和方法
- GPT 用 Transformer 架構吃語料屬於「學習」；o1 在回答每一個難題時評估每一步的每個可能性，則是「搜索」
學習和搜索為什麼可縮放#
- 學習：不管是深度學習、Transformer 還是強化學習，都是可積累的——見過的素材和局面越多，能力就越強
- 搜索：從計算的角度來說，在空間上要盡可能多地考慮一些可能性，在深度上對每個可能性做盡詳盡的場景模擬——只要題目足夠複雜，你想的時間越長，越接近最好的答案
薩頓的道理也適用於人。如果我們把自己投入的時間和精力都當作算力，那麼在最高程度上可縮放的事情，也是學習和搜索。
對個人的啟發#
學習是可積累的#
- 學習不會讓你的大腦變重，正所謂藝多不壓身
- 哪怕你已經讀過很多書，一本新書還是值得你讀
- 學習是積累已知，搜索是尋找未知；學習是平日功夫，搜索是事上發揮
- 這兩件事都是可縮放的，投入越多收獲就越大，而且都需要親身參與
因為可縮放就是可積累、可成長#
因為你下功夫早、想得深，你就會達到別人難以企及的高度。等到別人也花了那麼多功夫，你已經在更高的地方了。
不可縮放的陷阱#
很多人把自己苦在了不可縮放的低上限項目之中：
- 練武術：因為要用到身體，上限較低，你勤學苦練也許能成為綜合格鬥冠軍，但面對 15 個壯小伙兒你還是打不過
- 用腦子搞學術：水平則可以無上限提高，一萬個大學生聯合起來也頂替不了一個理查德·薩頓
人生漫長，只有兩件事配得上花無上限的功夫：一個是學習，一個是搜索。