這一輪 AI 大潮主要由「大語言模型」推動。作者透過訪談矽谷一線工程師，梳理出大模型煉製的四大步驟，以及各步驟的爭奪點和突破點。
第一步：架構（Architecture）#
- 架構就是神經網路的幾何結構，例如 Transformer 是 GPT 的關鍵架構
- OpenAI 的 Sora 則結合了 Diffusion 和 Transformer
- 架構既不神秘也不保密：Meta 的 Llama-2、Google 的 Gemma 都是開源的
- 架構的強弱主要取決於參數的多少，參數越多，模型越強，但所需算力也越大
- 一家 AI 公司的實力，從某種意義上取決於擁有多少 GPU
算法不是沒有競爭空間。OpenAI 的 GPT-3 用 1750 億個參數，效果比之前 Google 上萬億參數的模型還好。後來 Llama-2 等開源模型只用幾百甚至幾十億個參數，效果竟然接近 GPT-3.5。架構算法仍在高速進步。
第二步：預訓練（Pre-training）#
- 預訓練就是「喂語料」，讓模型學會預測下一個詞
- AI 比人強的特點：你給它學習材料，它真學
- 業內存在公共語料集，但優秀模型需要獨特的高水平語料
- GPT 編程能力強，一個重要因素是微軟把 GitHub 上多年積累的程式碼提供給了 OpenAI
- 優質語料正成為待價而沽的稀缺資源（《紐約時報》起訴 OpenAI、Reddit 與 Google 達成 6000 萬美元年度協議）
- 中文語料占比極低（GPT-3 訓練語料中僅 0.1%），但語言只是界面，模型用語義向量推理，不依賴特定語言
- 預訓練主要拚算力，各大模型預訓練團隊只需十幾個人
第三步：微調（Fine-tuning）#
- 負責微調的工程師數量約為預訓練的 10 倍
- 微調的目的是讓大模型說人話 – 從「預測下一個詞」變為能對話交流、回答問題
- 主要方法是監督學習：直接告訴模型怎樣做是對的，做錯就糾正
- 每一類問題只需訓練一次即可，模型能舉一反三
- 微調階段的問題類型大約只有 5 萬個，學會這 5 萬個問題就能回答任何問題
OpenAI 有篇論文猜測，預訓練已經讓模型掌握了所有知識，微調只不過是讓它學會如何把知識表達出來而已。微調前的 GPT 就如同一個滿腹經綸的自閉症兒童，什麼都明白，只是不知道怎麼跟人交流。
第四步：對齊 / RLHF#
- 全稱「基於人類反饋的強化學習」（Reinforcement Learning from Human Feedback）
- 目的是讓大模型的輸出既精彩又符合主流價值觀
- 不能事先設定標準答案，得讓模型自己摸索，然後由人類給反饋（回答得好給點讚，不好給差評）
- RLHF 讓 OpenAI 獲得先發優勢：每次使用者與 ChatGPT 的互動都在幫 OpenAI 積累反饋數據
- 對齊的重要課題是政治正確問題 – GPT-4 被認為過分對齊，有時矯枉過正
讓模型學習本地知識#
- 最理想的方式是預訓練，但成本最高且有知識截止日期
- 微調階段可以教模型本地知識，但喂太多新知識可能導致遺忘舊知識
- 目前主流做法是 RAG（Retrieval-Augmented Generation，檢索增強生成）：先把本地知識編碼成向量數據庫，使用時先檢索再生成
大模型煉製的競爭格局#
作者用韓非子的話做了精彩類比：
- 預訓練拚算力 – 相當於「爭於氣力」
- 架構和微調需要聰明的算法 – 相當於「逐於智謀」
- 對齊需要謹慎選擇價值觀 – 正是「競於道德」
現在還沒有人找到大模型的最優解。如果用韓非子的邏輯判定大公司終究有優勢、算力決定一切，作者認為還為時過早。這是一門必須在實踐中摸索的藝術。