三種信仰#
中文世界對 AI 和人類未來的關係有三種流行說法：
- 降臨派：認為 AI 將主宰人類，以 OpenAI 為代表的精英用最強 AI 統治人類，甚至 AI 直接統治
- 拯救派：認為科技公司會找到保護機制，確保人類能夠永遠控制 AI，AI 只是人的助手和工具
- 幸存派：認為 AI 太強了而且會失控，甚至會對人類作惡，人類只能在 AI 肆虐的環境中尋找幸存空間
作者認為，憑感覺選擇相信哪一種可能性意義不大，我們需要強硬的推理——得能從哲學上提供強硬道理。AI 時代的康德，就是斯蒂芬·沃爾夫勒姆。
核心觀念一：計算不可約性#
沃爾夫勒姆（Stephen Wolfram）的招牌理論——計算不可約性（Computational Irreducibility）：
- 可約化（reducible）：用一個濃縮的陳述（理論、公式）概括一個現象，是對現實信息的壓縮表達
- 不可約化：一切足夠複雜的系統都是不可約化的，沒有任何理論能提前做出預測，只能等著它演化到那一步才能知道結果
- 這就是為什麼沒有人能在長時間尺度上精確預測天氣、股市、國家興亡或人類社會的演變——不是能力不足，而是數學不允許
計算不可約性帶來的啟示：
- 看似壞消息，實則好消息：人類對世間萬物的理解是不可窮盡的，世界上總會有全新的事物出現，人活著總有奔頭
- 可約化的口袋（pockets of computational reducibility）：在任何不可約化的系統中，總有無限多個局部規律可以發現，科學探索永遠都不會結束
- 不可能徹底「管住」AI：只要模型足夠複雜，它一定可以做一些你意想不到的事情，越獄與反越獄之爭將永遠進行下去
- 不可能有終極 AI 能管住一切，AI 再強也不可能窮盡所有算法和功能
核心觀念二：計算等價原理#
計算等價原理（Principle of Computational Equivalence）：
- 所有複雜系統——不管看起來多複雜——都是同等複雜的
- 人類文明並不比一袋空氣分子更高級，人類社會也不比蚂蟻社會更值得保留
- 任何一個足夠複雜的神經網絡都是跟人的大腦同等複雜的
- 既然都是平等的，矽基生命和碳基生命自然也是平等的
核心觀念三：人的價值在於歷史#
- 我們之所以更看重人類社會，是因為我們是人——我們的基因肩負了億萬年生物演化的歷史包袱，我們的文化承載了無數的歷史記憶
- AI 沒有歷史：AI 的代碼是我們臨時編寫的，AI 的記憶是我們用語料餵出來的
- AI 至少在短期內沒有辦法形成自己的價值觀，只能參照（對齊）我們的價值觀
- 這就是人類相對於 AI 的最後優勢
三派信仰的結論#
- 因為計算不可約性，「拯救派」的願景是個不可實現的理想——凡是能寫下來的規則都不可能完全限制 AI
- 「降臨派」的野心更不過是一種痴狂——不會有什麼超強 AI 能一統江湖
- 「幸存派」的說法也是不對的——只要 AI 還不完全是人，輸出主動性、決定未來發展方向的就只能是人
未來 AI 跟我們真正的關係不是降臨、不是拯救、也不是幸存，而是**「共存」**。凡是能寫下來的規則都不可能完全限制 AI，凡是能發明的操作都不可能窮盡社會的進步，凡是能總結的規律都不是世界的終極真相。這就叫「道可道，非常道」。