沃爾夫勒姆的洞見#
斯蒂芬·沃爾夫勒姆（Stephen Wolfram）——Mathematica 的發明者、WolframAlpha 的創建者——在《這就是 ChatGPT》中講的是數學原理和哲學思辨。這本書得到了 OpenAI CEO 山姆·阿爾特曼的背書，稱這是他見過的對 GPT 最好的解釋。
沃爾夫勒姆不但講清楚了 GPT 的底牌和命門，還提出了一個可謂驚世駭俗的洞見。
GPT 的底牌：它只是在預測下一個詞#
在最本質上，語言模型的功能無非是對文本進行「合理的延續」——預測下一個詞應該說什麼。
- 模型根據所學到的文本中的概率分布，找到候選詞
- 具體選哪個，允許一定的隨機性（可以使用「溫度」數值設定）
- GPT 生成內容就是在反覆問自己：根據目前為止的這些話，下一個詞應該是什麼？
正如阿爾特曼所說：「語言模型只是被編程來預測下一個詞，這是事實。但這就像動物只是被編程來生存和繁衍一樣——然而各種神奇和美麗的事物從中產生。」
GPT 的命門：它是用來思考的，不是用來計算的#
GPT-4 有強大的數學推理能力，能做奧數題，但有時一個簡單的多位數乘法卻算錯了。為什麼？
- GPT 是語言模型，用人的語言訓練出來的，思維很像人的大腦
- 人的大腦不擅長算大數乘法——你也得用計算器
- GPT 的神經網絡是純粹的「前饋」（feedforward）網絡，只會往前走，不會回頭，沒有循環
- 這使得它連一般的數學算法都執行不好
GPT 的命門——它是用來思考的，不是用來執行冷酷無情的計算指令的。
三個圈：神經計算 vs. 形式邏輯 vs. 一切計算#
沃爾夫勒姆用三個集合來概括世間的各種計算：
| 集合 | 特點 | 代表 |
|---|---|---|
| 一切計算（大圈） | 自然界所有現象都可以理解成計算 | 物理定律、宇宙運動 |
| 神經計算（左小圈） | 善於從經驗中發現規律，但數學處理有限 | 大腦、GPT |
| 形式邏輯（右小圈） | 精確推理，不怕繁雜，永遠準確 | 傳統計算機、數學 |
關鍵結論：
- 兩個小圈遠遠不能覆蓋整個大圈——科學探索就是要進入大圈中未知的領域
- GPT 不可能完全覆蓋形式邏輯——語言思考的本質是尋求規律（壓縮），但有些東西本質上沒有規律，是「不可約化的複雜」
- 這就是為什麼 GPT 算不好繁雜的數學題——它跟人腦一樣，總想找規律、走捷徑
沃爾夫勒姆的驚世洞見#
GPT 證明了，語言系統是個簡單系統！
用這麼簡單的規則組成的神經網絡就能很好地模擬人腦的語言系統，這不是說明 GPT 很厲害，而是說明人腦的語言系統並不厲害。GPT 能寫文章，說明寫文章在計算上是一個比我們想象的更淺的問題。
GPT 的三個幸運發現#
- 暴力破解語言規則：所有語言特徵——語法也好，語義也罷，全是它自己發現的，人不插手是最好的辦法
- 自組織能力：不需要人為安排什麼組織，它自己就能長出各種組織——「湧現」和「思維鏈」
- 同一個網絡架構做所有事：GPT 用同一個神經網絡架構就能解決畫畫、寫文章、編程等完全不同的任務——沃爾夫勒姆猜測，那些看似不同的任務本質上是一樣的「類似人類的過程」
命門其實很容易彌補#
GPT 的所謂命門其實很容易彌補——給它一個計算器不就行了！另外找台計算機幫它執行程序不就行了！OpenAI 允許用戶和第三方在 ChatGPT 上安裝插件，恰恰解決了這個問題。
GPT 的底牌是：它雖然結構原理簡單，但已經在相當程度上擁有人腦的思維。GPT 的命門是因為它太像人腦了——它不太擅長做數學計算，它不是傳統的計算機。但命門可以通過外部工具來彌補。