大語言模型為什麼這麼厲害？#
現在最流行的幾個生成式 AI，背後都是大語言模型（Large Language Models, LLM），用海量語料訓練出來的大模型。這也是通往 AGI 的技術路線。
ChatGPT 展現出驚人的思考能力。例如：
- 問「棒球棒能被藏進人的耳朵裡嗎？」——它能正確回答不能，因為考慮了棒球棒和耳朵的相對大小
- 問「為什麼金箍棒能被藏進孫悟空的耳朵裡？」——它知道那是虛構的故事，金箍棒可以隨意改變大小
這些思考能力並不是研發人員設計出來的。每個版本的 GPT 都是完全通過自學摸到了這些能力——你列舉都列舉不完的能力。連開發者都說不清楚它到底具備多少種能力。
語言模型的神奇能力來自「大」#
- GPT-3 有 1750 億個參數
- Meta 的 Llama 有 650 億個參數
- Google 的 PaLM 有 5400 億個參數
- GPT-4 的參數據說並不比 GPT-3 多很多，但 GPT-5 的參數將會是 GPT-3 的 100 倍
今天我們做的是「大」模型。大就是不一樣。
「開悟」（Grokking）#
2021 年，OpenAI 研究者在訓練神經網絡時發現了一個驚人現象，用比方來說明：
- 假設你在教一個學生即興演講，給他很多現成素材讓他模仿
- 訓練初期，他連模仿都不好
- 隨著訓練加深，他可以很好地模仿現有的演講，但無法即興發揮
- 你不為所動，繼續讓他練
- 突然有一天，他會即興演講了！給他什麼題目，都能現編現講
這就是量變產生質變。研究者把這個現象稱為「開悟」（Grokking）——模仿演講相當於模型的訓練，即興演講就相當於模型的生成性發揮。
小樣本學習（Few-Shot Learning）#
ChatGPT 有個很關鍵的能力：你給它一兩個例子，它就能學會你的意思，並且提供相似的輸出。
- 參數越多，小樣本學習的能力就越強
- GPT-2 到 GPT-3 的演化中，這一點非常明顯
- 而小樣本學習只是其中一項能力，還有很多別的能力也是如此——大了，它們就出來了
「湧現」（Emergence）#
這個現象就是科學家之前一直說的「湧現」：
- 當一個複雜系統複雜到一定程度，就會發生超越系統元素簡單疊加的、自組織的現象
- 單個螞蟻很笨，可是蟻群非常聰明
- 每個消費者都是自由的，可是整個市場好像是有序的
- 每個神經元都是簡單的，可是大腦產生了意識
2022 年 8 月，谷歌大腦研究者發表論文，專門講了大型語言模型的一些湧現能力，包括小樣本學習、突然學會做加減法、大規模多任務的語言理解等——而這些能力只有當模型參數超過 1000 億才會出現。
思維鏈（Chain-of-Thought）#
湧現新能力的關鍵機制叫做「思維鏈」：
- 模型聽到一個東西之後，會嘟嘟囔囔自說自話地，把自己知道的有關這個東西的各種事情一個個說出來
- 這讓語言模型有了思考能力
- 只要設置好讓模型每次都先思考一番再回答問題，它就能自動使用思維鏈
有人分析，思維鏈很有可能是對模型進行編程訓練的一個副產品——編程訓練要求模型必須從頭到尾跟蹤一個功能是如何實現的，這訓練讓模型自發地產生了思維鏈。
AI 能力的三重境界（借用《荀子·勸學》）#
- 「積土成山，風雨興焉」：參數足夠多，訓練達到一定積累，就可以做一些事情（如 AlphaGo 下圍棋）
- 「積水成淵，蛟龍生焉」：模型再大到一定程度，就會湧現出讓人意想不到的神奇功能（如思維鏈）
- 「積善成德，而神明自得，聖心備焉」：這就是 AGI 了，也許它產生了自我意識，甚至有了道德感
重新思考以前對 AI 的假設#
因為「開悟」和「湧現」，AI 現在已經獲得了包括推理、類比、小樣本學習等思考能力。我們不得不重新思考以前對 AI 做出的各種假設：
AI 做事全靠經驗→ AI 有真正的推理能力AI 不會真的思考→ 思維鏈讓 AI 有了思考過程AI 沒有創造力→ AI 不但有創造力，而且可以有更好的創造力AI 會的都是用語言可以表達的東西→ 現在也不敢肯定了