大語言模型訓練的三個階段#

任何大語言模型的訓練都可以分為三個階段：

預訓練（Pre-training）#

• 用超大規模的文本語料庫讓模型廣泛閱讀
• 任務是讓模型學會「預測下一個詞」
• 經過預訓練的模型相當於一個見多識廣、博覽群書的孩子，但還沒有做事的能力

監督微調（Supervised Fine-tuning, SFT）#

• 教模型「說人話」，學習行為規範
• 訓練者提供大量「指令 + 期望回答」的示例
• 老師教他寫作格式、答題流程、邏輯思考的套路
• 光有套路還不行，還得做得好才行

強化學習（Reinforcement Learning, RL）#

• 讓模型在實踐中學會什麼是「好文章」——答案是接受反饋，「幹中學」
• 一般做法是讓模型生成多個不同的答案，由人（或其他數據）判斷好壞
• 好的加分獎勵，壞的減分懲罰
• 模型與人類的價值觀對齊也發生在這個階段

簡單說：預訓練積累知識，監督微調學會章法，強化學習決定輸出水平。所有大語言模型都是經過這三個階段訓練出來的。

推理模型的思維鏈#

以 OpenAI o1 和 DeepSeek R1 為代表的推理模型，核心競爭力是思維鏈。

傳統大模型也有思維鏈，但只有一條，直接輸出。推理模型則擁有了「慢思考」能力：

• 會考慮若干條不同的思維鏈
• 從中選擇一個最優解，再正式輸出
• 高手不是只考慮當前的直覺，而是多考慮幾個選擇，分別計算變化，比較之後再落子

思維鏈的三個洞見#

洞見一：思維鏈越長，越有可能成功解決複雜任務#

• 研究者發現，只要模型思維鏈足夠長，有些能力就會自發地「湧現」出來
• 比如思考中遇到邏輯矛盾會回溯，中間步驟階段會自己檢查對錯
• 要想擁有高智能，你必須是個 deeper seeker（深入探索者）

洞見二：如果輸出的答案不好，往往是因為想得不夠深#

騰訊的論文有一個特別有趣的發現：

• 模型輸出正確答案時，消耗的 token 比較少
• 輸出錯誤答案時，消耗的 token 比較多

這並不是因為錯誤答案想得深，而是因為錯誤答案想得淺！模型沿著一個思路考慮幾步，感覺沒希望就切換到另一個思路——每個思路都想得很淺，換來換去還是找不到答案。正確答案是沿著一個思路想得比較深才能找到的。

為了鼓勵模型想深一點，研究者在強化學習階段增加了一個「思路切換懲罰」機制：每當模型想要放棄當前思路，就給它減一分。結果解題成功率明顯提高。

洞見三：監督微調記憶，強化學習泛化#

伯克利和 Google DeepMind 共同發表的論文概括：「SFT Memorizes, RL Generalizes」——監督微調是模仿和記憶別人的解題套路，而強化學習才能讓你善於舉一反三。

• 只經歷過監督微調的人，是循規蹈矩、沒有創造性的
• 只經歷過強化學習而沒經歷監督微調的人，什麼都得自己摸索，可能學得太慢
• 強化學習才能讓模型學會迅速適應新規則

三種人才類型的類比#

作者將人的學習也分為預訓練、監督微調、強化學習三種方法，並據此把人才分為三種：

• 監督微調型人才（生活中的絕大多數人）：沒經過多少預訓練，主要在老師指導下通過例題模仿學習，按照流程和規範行動，缺乏舉一反三的能力
• 通才：長期預訓練的結果，博覽群書、見多識廣，但如果缺乏實踐就會廣而不精
• 強化學習型人才（非常稀少但最為厲害）：在真實世界中摸爬滾打，通過實踐不斷總結經驗，自己摸索出做事方法

總而言之，預訓練是必不可少的，強化學習決定了能力的上限，而監督微調不過是一個方便法門罷了。這正是 DeepSeek 做的事情——R1 幾乎沒有使用監督微調，直接用強化學習賦予了模型思考能力。看來強化學習才是王道。