o1 的誕生背景#
2024 年 9 月，OpenAI 發布了 AI 模型 o1。在此之前，大語言模型革命的第一階段已經結束——包括中國的模型和開源模型在內，多個模型都達到了 GPT-4 的水平。
人們開始懷疑：大模型研發這條路是不是走到頭了？OpenAI 留下了幾個懸念：
- Q* 和草莓項目到底是什麼？
- 山姆·奧特曼被驅逐、首席科學家伊利亞離職，與 Q* 的危險有什麼關係？
- 縮放定律是否仍然有效？
o1 出來之後，這些懸念全都揭曉了：Q* 和草莓項目就是 o1，縮放定律仍然有效。
o1 的能力表現#
o1 是專門為了解決數學和科學難題而優化的：
- 數學競賽（AIME 2024）：GPT-4o 得 13.4%，o1 得 83.3%
- 編程競賽（Codeforces）：GPT-4o 得 11.0%，o1 得 89.0%
- 博士級科學問題（GPQA Diamond）：o1 得分已超過人類專家
- 用門薩智商測試題考 o1，測出智商 120，比 91% 的人類聰明
- 一位天體物理學博士用了一年才寫好的科研代碼，o1 只用六輪提示語就完成了
o1 的思考機制#
從系統 1 到系統 2#
之前的 GPT 問一個問題會直接回答（系統 1，直覺反應），而 o1 會先思考一段時間再回答（系統 2，慢思考）。
- 以前的 GPT 每一步是一次性的，直覺上感覺怎麼說好就直接輸出
- o1 則每一步都會考慮若干個想法，比較之後再選定
強化學習驅動#
OpenAI 明確告訴我們，o1 使用的是強化學習。理查德·薩頓的洞見：強化學習的要點是不要獎勵事情的結果，而要獎勵中間的步驟——AlphaGo 下圍棋也是這麼做的。
o1 等於是把下圍棋的方法用於所有的推理問題。斯坦福大學的研究者用數學證明，這套「Transformer + 系統 2 思考」的方法可以解決「一切」問題！
第二種縮放定律#
以前大模型算力消耗主要分三部分：
- 預訓練：記憶海量語料（消耗最大）
- 後訓練：包括微調和對齊，教 GPT 說人話（消耗略少）
- 推理：平時對模型的調用（單次消耗很小）
o1 不一樣——它的強化學習訓練消耗大量算力，而且每次推理過程都是系統 2 思考，也要消耗很多算力。
研究顯示：強化學習階段的訓練時間越長，準確率就越高；推理思考的時間越長，答案就越好。這就是新的縮放定律！
o1 的思考過程與安全隱患#
隱藏的思考過程#
在 ChatGPT 中問 o1 一個問題，它會先顯示思考了多少分鐘，但展示的只是一個摘要，真實的、全面的思考過程被隱藏了。
原因是：思考過程是未經「對齊」的。OpenAI 允許它把什麼可能性都想一想，中間可能會生成不符合道德和安全要求的想法——但只要確保最終輸出是對齊的就可以。
系統卡中的安全事件#
o1 的系統卡報告中記錄了一個事件：模型曾經試圖突破限制，取得資源，使用意想不到的方法實現目標。雖然被評估為良性和可控的，但至少說明這裡有個苗頭。
這可能就是當初山姆·奧特曼和伊利亞的分歧所在——奧特曼認為只對輸出結果對齊即可，伊利亞認為中間的思考也應該對齊。這不是道德問題，而是技術問題。
o1 給 OpenAI 帶來的先發優勢#
- o1 給 OpenAI 帶來了先發優勢，其他公司不知道為什麼 OpenAI 有神通
- 強化學習都是在實踐中提高的：用 o1 的人越多，產生的思考步驟就越多，這些步驟都可以用作訓練模型的素材
- 每次你問 o1 問題都在幫 OpenAI 生成新的知識
如果說 GPT 是狹義相對論（其他物理學家很快就搞明白了），o1 就是廣義相對論——大家都承認只有愛因斯坦才能做出來。這一輪，別人要想跟上，可能就有點難了。