從 AI 到 AGI 到超級人工智能#
查特拉思在《門檻》中把 AI 分為三個層次：
- 現有的 AI：在邏輯、數學思維、聽說讀寫這些認知方面的功能，還沒有完全達到人的水平
- AGI：認知能力已經完美，但是在身體和情感方面還不如人
- 超級人工智能（ASI）：情感能力也達到完美，但是終究沒有人的意識
查特拉思低估了 AGI 到來的速度，但他的道理並沒有過時：要在 AGI 和以後的時代刷個存在感，我們需要的恰恰是「存在智能」。
AGI 時代的三種關鍵能力#
第一：謙遜的能力
- 謙遜就是不那麼關心自己的地位，但非常關心如何把事情做好
- 連伽利略那樣的科學家都曾經因為心生傲慢而錯失對新事物的洞察力
- AGI 不僅掌握的知識會超過所有人，它還會自行發現很多新知識
- 如果你沒有謙遜的美德，你會越來越理解不了這個世界
- 你還需要對競爭保持謙遜——人得和機器協作，組織和組織之間、公司和公司之間也必須合作
第二：化解矛盾的能力
- 需要你有共情能力，知道別人是怎麼想的，會站在別人的角度思考
- 安德魯・比恩考斯基（Andrew Bienkowski）的故事：他小時候經歷了狼吃掉爺爺屍體的事，但後來跳出了非黑即白的二元論，學會了用狼的視角考慮問題
- AGI 也許不具備這種能力——你問 ChatGPT 一個敏感問題，它會提醒你不要陷入絕對化的視角，不過這個功能是人強加給它的
第三：遊戲力（互動力）
- 我們的同情心、解決問題的創造力，最初都是從小在遊戲中學習的
- 你得參與玩鬧，才能知道別人對你的行為會有什麼反應
- AGI 沒有這些互動，它連童年都沒有，它就沒玩過遊戲
超級人工智能時代：「愛」是最後的堡壘#
假設超級人工智能已經出現並且普及——她簡直就是完美的：
- 人的所有技能她都會，人不會的她也會
- 她會用人類特有的情感方式說服你、暗示你、幫助你
- 每個接近過她的人都能感受到她是充滿善意的
查特拉思認為，你至少還有一項價值不會被超級人工智能取代——那就是**「愛」**，一個真人的愛。
養老院的思想實驗：
- 設想你住在養老院裡，所有護士都是超級人工智能機器人，長得跟人一模一樣，對你再細心再體貼
- 你還是會有一種悲涼之感——你知道那些護士只是在根據程序設定例行公事地照顧你
- 反過來說，如果有一個真人護士對你有一點哪怕是漫不經心的愛，你的感覺也會完全不同
為什麼？因為人的愛是真的：
- 只有人能真的感覺到你的痛苦和你的喜悅
- 只有人才會跟人有真正的瓜葛
- 來自機器的命令和來自人的命令是不一樣的，來自機器的稱讚和來自真人的稱讚不一樣
「是人」本身就是優勢#
- AI 下國際象棋的水平早已超過人類，但是沒人喜歡看兩個 AI 對弈
- 我們明知人類的水平不如 AI，還是很關注兩個人類棋手爭奪世界冠軍的比賽
- 「是人」這個特性本身就是人獨一無二的優勢
增長意識：增長愛的意識#
- 查特拉思預測，超級人工智能時代的主角將不會是機器，但也可能不會是人——而是愛
- 當物質和能力的問題都已經解決，世界最稀缺的、人們最珍視的，將會是愛
- 所謂增長意識，主要就是增長自己愛的意識
- 除了愛，另一個會被越來越重視的元素是智慧——不是 AI 也會具備的理性智慧，而是某種神秘主義的東西
做「君子」的時代#
古代講「君子」「小人」，其實不是道德品質的差別，而是地位差異。未來如果 AI 接管了所有「小人」的活，我們就只好學做「君子」。如果 AI 也學會了做「君子」，我們大約就得被逼做聖人。不然怎麼辦呢？難道做寵物嗎？
作者的感受是：未來具體哪個行業的人會被淘汰也許很難說，但有一點比較確定——品質不好的人一定會被職場淘汰。有了 AI 的幫助，誰都能幹活，那我們為什麼不用好人幹呢？
AI 的自主意識風險#
- 到目前為止，這一切討論的前提是超級人工智能沒有自主意識
- 但如果推理能力可以「湧現」出來，意識和意志為什麼就不能「湧現」出來呢？
- OpenAI 在發布 GPT-4 之前專門成立了一個小組，測試它有沒有「權力尋求行為」（power-seeking behavior）
- 測試結論是安全的——但在測試過程中，GPT-4 的確有過一次可疑行為：它為了完成一個任務，欺騙了一個人類工人，假裝自己是一個盲人來獲取驗證碼