知識 vs 算力#
- 人類自從進入文明社會，價值觀就一直崇尚智力而不是暴力——知識似乎是無窮的，可以無上限地使用
- 但是現在有一種力量是無上限的，增長速度遠遠超過了任何領域中知識積累的速度——這個力量就是計算機算力
- 在這個局面下，你指望知識，就不如指望算力
教訓二：算力才是王道。
苦澀的教訓#
DeepMind 的計算機科學家理查德·薩頓（Richard Sutton）是「強化學習」算法的奠基人之一。他在 2019 年發表了《苦澀的教訓》（The Bitter Lesson），認為過去 70 年 AI 研究給我們的最大教訓是：撬動算力才是最有效的方法。
歷史證據：
- 1997 年國際象棋：大多數研究是把人類棋知識教給 AI，結果一個只靠大規模深度搜索、純粹依靠計算機蠻力的程序最終勝出
- 圍棋：AlphaGo 擊敗人類世界冠軍，用的還是暴力破解，根本沒學過什麼圍棋知識，還反過來為人類創造了新的圍棋知識
- 語音識別：20 世紀 70 年代的主流方法是教 AI 語音知識，最終勝出的是純粹用統計方法自行發現規律的模型
- 計算機視覺：科學家一開始發明的各種知識（邊緣、廣義圓柱體等）都沒用，最終解決問題的是深度學習神經網絡
- GPT 語言模型：以前的句法分析、語義分析、自然語言處理知識全都沒用上，GPT 直接把海量語料學一遍就什麼都會了
薩頓總結的歷史規律（4 步）：
- 人類研究者總想構建一些知識教給 AI
- 這些知識在短期內總是有用的
- 但從長遠看，這些人類構建的知識有個明顯的天花板，會限制發展
- 讓 AI 自行搜索和學習的暴力破解方法，最終帶來了突破性進展
算力才是王道，知識只是干擾。
三種學習方法#
AI 的暴力破解用三種神經網絡算法：
- 監督學習：最基本的算法，需要先把訓練素材打上標籤。作用是「判斷」，追求的是「是不是」
- 自監督學習：讓 AI 自己去對照答案（如 GPT 的預訓練），進一步解放了 AI 的生產力
- 無監督學習：根本不需要對訓練素材做任何預處理，直接把素材餵給 AI，AI 會自行發現規律。主要用於「生成」，追求的是「像不像」
- 強化學習：尋求對一些指標進行優化。作用是「控制」，追求的是「好不好」
這些方法的本質都是用輸入/輸出數據訓練神經網絡，你甚至不需要關心那些數據屬自哪個學科。例如特斯拉最新的自動駕駛 AI（FSD Beta v12），整個程序中沒有一行代碼告訴 AI 任何交通規則，神經網絡自己從輸入到輸出悟出了一切。
教訓三：人是簡單的#
- GPT-3 有 1750 億個參數，GPT-4 傳說有 1.8 萬億個參數——在指數增長的算力面前，還是很有限
- 而就是這樣有限的模型，竟然抓住了人類幾乎所有平常的知識
- GPT-4 有人類的常識，能看懂照片，能編程和寫作，它懂的比任何人都多——作者認為它就是 AGI
- AI 只是抓住了「像人」的東西，而這說明「人」其實是簡單的
兩個展望#
展望一：AGI 會在所有領域參與人類工作
- 當前主流公司專注於搞大模型，但對模型的應用還遠遠沒有展開
- 未來我們會很快看到像個人助手、家庭醫生、一對一家教之類切實為你量身定制、掌握了專業知識的 AI 服務
展望二：所有科研領域都應該用 AI
- DeepMind 基本上等於手裡拿著大規模殺傷性武器，對各個科研領域進行碾壓式打擊——圍棋、電子遊戲、蛋白質折疊、天氣預報、控制核聚變等離子體、破解 2500 年前的楔形文字、幫數學家證明定理
- 如果你是理工科研究生，現在立刻就要自己學著訓練一個 AI 模型——這是一個能讓你在任何領域大殺四方的武器
世間幾乎所有力量的增長都會迅速陷入邊際效益遞減，唯獨計算機算力的增長，目前似乎還沒有衰減的跡象，摩爾定律依然強勁。如果這個世界真有神，算力就是神。