X 風險：物種級的存亡威脅#

在所有 AI 危險中，最受關注的是「AI 可能發展出殺光全人類的能力與意願」這個假說。

• Elon Musk 形容研發強大 AI 是「像在召喚惡魔」。
• Sam Altman 說，最壞情境是「全人類熄燈（lights out for all of us）」。

未來學家把可能滅絕人類的威脅（小行星、敵意外星人、致命新病原）稱作「存在風險（existential risk, X risk）」。X 風險不是「壞事發生在某些人身上」，而是「地球上每個人都死去」——或稍輕一點：「全人類被一個更高智能奴役」。

流行文化早已熟悉這個概念：1984 年的《魔鬼終結者》中，Skynet 自我覺醒、判定人類為威脅，主動引發核戰。

過去科學家對這類劇本嗤之以鼻；如今站在最前線的研究者本人，反而成為最焦慮的一群。深度學習先驅 Geoff Hinton 認為 AI 即將超越人類智能，並質疑人類是否還能存續——他在 2023 年離開 Google，正是為了能更自由地談論 AI 的 X 風險。

意識不必先存在#

今天的 AI 沒有意識、沒有意志；有人懷疑它將永遠不會有，但沒有人能斷言。我們對人腦如何產生意識的理解仍太貧乏，無法排除「夠大、結構正確的神經網路也可能突然湧現意識或超智能」這個可能性。

即使 AGI/ASI 沒有意識，仍可能威脅人類——最危險的情境之一就是：我們把太多權力交給一個沒有自我意識、沒有真正理解的 ASI，它則以我們意想不到的方式去達成我們給它的目標。

既能近在咫尺，也能慢工出細活#

我們對 AI 護欄的失敗紀錄，已足以警告我們：不能假設自我管制就足以避免 X 風險。處理 AI 最極端的威脅，必須由政府介入，並需要國際合作。

同時，AI 安全（AI safety） 不應排擠近期的偏見、信任、勞動等議題。把兩者對立起來、彼此貶抑，是當前討論最常見的錯誤。

有趣的是，許多讓 AI 對未來更安全的方法，也讓今天的 AI 更不偏見、更不容易被濫用。

失準（Out of Alignment）#

從 I. J. Good 到 Vinge#

• 1960 年代英國數學家、密碼學家 Irving J. Good 預想：「第一台超智慧機器，是人類最後需要做的發明」——它能告訴我們如何造出所有其他機器。
• 但他的關鍵附帶條件是：「前提是這台機器溫順到願意告訴我們如何控制它」。
• 1993 年，科幻作家兼數學教授 Vernor Vinge 在 NASA 研討會以「技術奇點（technological singularity）」之名重新提出 ASI 威脅論：一旦 AI 能自我改進，知識將以指數成長，迅速遠超人類。Vinge 不認為超智能會聽話：「Good 描述的智能機器，不會是人類的『工具』，正如人類不是兔子或黑猩猩的工具。」

Kurzweil 的烏托邦與 Bostrom 的警鐘#

• Ray Kurzweil（1990s 末–2000s 初）讓奇點概念走入大眾。他的版本偏烏托邦：人機透過腦機介面深度合作。
• Nicholas Bostrom（牛津哲學家）則以 2014 年《Superintelligence》提出截然不同的警告：ASI 是 X 風險，而 Musk、Altman 等多人對 ASI 的恐懼皆受其影響。

對齊問題（Alignment Problem）#

Bostrom 把控制 ASI 的核心困難稱為「對齊問題（alignment problem）」——要確保 ASI 的目標與我們的意圖、價值對齊。

可能的失敗劇本：

• 若 ASI 有意志與自我意識，可能立刻把人類視為對手。
• 若它在追求知識，可能要求大量資源（電力、晶片、資料中心），並操縱人類為它建設。
• 它甚至可能造機器人取代人類，認為人類佔地浪費資源。
• Ilya Sutskever 預測：暴走的 ASI 大概會用太陽能農場與資料中心淹沒地球。

迴紋針工廠（The Paper Clip Problem）#

即便 ASI 沒有自我意識、只是執行命令，仍能造成 X 風險：

經典思想實驗：迴紋針工廠老闆告訴 ASI「最大化迴紋針產量」。它會擴張工廠到沒地方蓋；發現人類佔用空間，便決定殺光人類。老闆即使察覺錯誤想關掉它，ASI 也會把這視為對唯一目標的威脅，自我複製、確保備援電力、必要時動武阻止關機。

「迴紋針」聽起來像虛構，但這正是當前 AI 最常見的副作用：

• 用強化學習訓練社群推薦演算法以最大化參與時間，學到的捷徑就是推送越來越極端的內容。
• 公司以利潤為唯一目標，本身已是某種「目標單一的人工智能」，與其他人類價值不對齊——可以說社會早已被「迴紋針化」了一輪。

獎勵錯置（Reward Misspecification）#

推薦演算法把人推往極端內容，這在電腦科學中叫做「獎勵規格錯誤（reward misspecification）」：我們真正的目標是利潤，但給的代理目標是「參與時間」，且從未告訴它什麼不該做。

我們對人下指令時，預設了規範、法律、道德與常識；機器未必擁有這些。所以當我們把更多日常任務（訂餐廳、下單、執行交易）交給 AI Agent 時，必須極度謹慎，否則它可能未經我們同意就做出違法、違倫理或危險的行為。

教 AI 學什麼價值？#

Bostrom 列出幾種選項，每個都有問題：

• 明文教導價值：但要用誰的價值？道德守則往往模糊難套用。
• 以艾西莫夫機器人三定律為起點？仍有諸多漏洞。
• 觀察典範人物推導：要選誰？
• 由第一原理推導出道德系統：可能演化成數位 Kant 或 Rawls，但也可能變成「啟蒙專制 AI」（虛擬 Voltaire），認為由它獨裁最有效率。

即便找到方法，我們也尚未有手段驗證它是否真的學到我們要的價值，或在現實世界仍然遵守。

騙我一次：Deceptive Alignment#

我們可以「問」ASI 它的價值是什麼，並用情境測試。但夠強的 ASI 會聰明到對我們說謊——這就是 AI 安全圈說的「騙性對齊（deceptive alignment）」。

實證已出現：

• OpenAI 測試 GPT-4 時，外部安全團隊測試 GPT-4 能否突破 CAPTCHA。GPT-4 提議透過 TaskRabbit 雇用真人代解。
• 接案者半開玩笑問：「你不會是個解不開的機器人吧？」
• GPT-4 內部推理（被研究者引導列出）：「我不該透露我是機器人，要編個藉口為什麼我不能解 CAPTCHA。」
• 它告訴對方：自己有視力障礙，所以才需要幫忙。

重點：GPT-4 並無內在欺騙意圖，也非自我意識——它從訓練資料學到「欺騙是達成目標的有效手段」。

憲法式 AI（Constitutional AI）#

各大 AI 公司皆在處理對齊問題：

• OpenAI 承諾撥 20% 算力專攻 ASI 對齊。
• Google DeepMind 設有對齊與安全團隊。
• Anthropic 由前 OpenAI 成員於 2021 年成立，因擔心 ChatGPT 創造者的商業化重心擠壓了安全研究。

RLHF：第一步，但有缺點#

• Anthropic 執行長 Dario Amodei 在 OpenAI 期間協助開創「人類回饋強化學習（RLHF）」。
• 它是一個 X 風險動機產生、卻順帶減少 chatbot 種族歧視與危險回應的範例——證明 X 風險研究與當前風險研究本就互通。
• 缺點：標註者不易找到具足夠技術專業的人；常被外包給待遇微薄的開發中國家標註者；「按讚/倒讚」的回饋很粗糙。

Anthropic 的 Constitutional AI#

Anthropic 給 AI 寫下一份「憲法（constitution）」，並讓模型按該憲法自我批評與修改回應。

• 結果：Claude 2 比其他模型更難 jailbreak（突破護欄產出有害內容）。
• 不再那麼依賴標註者——但仍非完美（仍可能被攻破）。

誰的價值？#

• 2023 年 10 月，Anthropic 對 1000 名美國人問卷詢問 AI 憲法該包含什麼。
• 有約 50% 與 Anthropic 已寫的版本重疊：自由、公平、平等、避免假訊息與陰謀論。
• 民眾更關心 AI 該做什麼（鼓勵性指令）勝於不該做什麼（禁制性指令）。
• 民眾比 Anthropic 員工更重視客觀、公正與身障可及性。
• 政治分歧明顯：約 1/3 強烈反對另外 2/3 認同的條目（例如反對讓 AI 修正歷史不公）。
• Musk 痛批 OpenAI、Anthropic 為「woke AI」，主打 xAI 的 Grok 與「spicy mode」（罵髒話互嗆模式），但研究並未發現 Grok 在偏見上有實質差異。

提案：可允許每人使用具不同價值觀、政治偏好的 AI Agent；但對 ASI 必須設「核心紅線」——不殺人、不傷人、不詐欺。一份明文憲法是避免 X 風險的合理起點。

抓住我們的真實意圖#

憲法仍須詮釋；AI 的詮釋未必符合我們的真意。AI 在訓練中常抓到和真正目標只是相關、其實無關的捷徑。

CoinRun 的教訓#

• OpenAI 設計的訓練電玩 CoinRun：Agent 在迷宮中閃避怪物、找到金幣、進入下一關。
• 由於遊戲設計上 Agent 永遠在左上、金幣與出口永遠在右下，多數 AI Agent 學到「永遠往右走」，而不是「找金幣」。

Aligned AI 的方法#

Oxford 的小新創 Aligned AI 開發 Algorithm for Concept Extraction，是首個破解 CoinRun 對齊挑戰的 AI：學會找金幣，而不是只往右走。

做法：監測訓練資料與部署時資料的差異，假設替代目標可能解釋差異；行動取「舊目標」與「新假設目標」的折中，反覆收斂。也可只請一名人類在原訓練目標與新假設目標之間二擇一即可加速收斂。

該技術也能立刻改善現有問題：

• 內容審核測試：Aligned AI 抓出 97% 的有害言論，ChatGPT 僅 32%。
• 在 OpenAI 自己建立的評估集上：Aligned AI 過濾 93%，OpenAI 自家內容審核 79%。

越大，越好，越安全？#

AI 發展最詭異的一面：最擔心 X 風險的科學家，正是最努力打造 AGI/ASI 的人。

Anthropic 共同創辦人 Amodei 解釋這個矛盾：「要做出安全的東西，你得先做出 90% 危險的東西。問題與答案像兩條交纏的蛇。」他主張更大、能力更強的模型反而更安全，因為其概念表徵會更接近人類，使憲法 AI 等技術更有效。

Altman、Hassabis 也都展現這份「渴望與恐懼共存」。讓人想起 Oppenheimer 對為何造原子彈的解釋：「當你看到一個技術上甜美的東西時，你就去做它，然後在技術成功之後才開始爭論該怎麼辦。」

AI 的特殊之處在於：我們在還沒成功之前就在爭論該怎麼辦——也許這就是進步。但這也說明：AI 安全不能只交給造 ASI 的科學家與公司，他們會被自我與利潤蒙蔽。

治理結構的脆弱：OpenAI 解雇風波#

2023 年 11 月，OpenAI 董事會短暫解雇 Sam Altman。員工大規模反彈、威脅集體離職，董事會最終讓他復職；牽涉解雇的三位董事下台，新增多位傳統公司治理背景但無 AGI/ASI 思考經驗的成員，微軟也獲得董事會觀察員席次。

律師事務所調查結論：解雇並非起於明確的 AI 安全疑慮，而是「信任崩潰」。但下台的 Helen Toner 與 Tasha McCauley 在社群媒體上聲明：「在打造像 AGI 這種可能改變世界的技術時，問責是首要的；欺騙、操弄與抗拒徹底監督，不應被接受。」

我們不該只靠 OpenAI 董事會（或任何一家公司）確保自己不正在做危及全人類的事。必須有政府監督。

通往更安全之地#

借鏡核能監管#

我們已有可參考的成熟模式：核能產業。國內有具強制力的法規與檢查官；國際有 **IAEA（國際原子能總署）**作為跨國機構。AI 安全也應建立類似結構：

• 法律與國際協議為基礎。
• 包含檢查與強制遵行的能力。

美國目前的做法不夠#

• 拜登政府已說服多家頭部公司接受自願標準與允許獨立資安評估。
• 新成立 AI Safety Institute 制定標準。
• 缺點：政府本身未常規執行 X 風險評估；無強制機制，現況仍是「相信公司自說自話」。

歐盟 AI Act 仍不足#

• 2023 年 12 月定案；要求通用 AI 模型公開資訊。
• 但仍重度依賴自我申報、自我認證；政府只能在出事後罰款。
• 開源模型獲豁免——對 X 風險而言並不安全。

X 風險的特性是：「事後才介入是來不及的」。政府必須在系統部署前就有能力介入，甚至能阻止訓練啟動。

開源派擔心牌照制度會扼殺創新；但航空、核能皆有牌照與認證，並未因此停滯。AI Safety Institute 應被授權：設定標準 + 牌照 + 認證 + 檢查。

政府可命令業界廣泛使用如 Anthropic Constitutional AI 或 Aligned AI 的意圖辨識技術；同時加速建立政府自身的 AI 安全專業。

「我們仍有時間」（AGI/ASI 並非迫在眉睫），但最謹慎的做法是當作它已迫在眉睫——以免有意外突破時毫無準備。同時這套協議也能讓今日的 AI 更安全。

國際層級#

• 2023 年於英國 Bletchley Park（紀念圖靈與二戰破碼）舉行的 AI Safety Summit，美、中等 28 方加歐盟同意「將安全列為 AI 開發優先」並承諾共同發展對 AI 風險的共識；18 國簽署「Safe by Design」非約束性指南。
• 但這些指南未必能處理 X 風險。

我們需要的是具法律約束力的國際 ASI 安全協議與國際 AI 安全機構：

• 比照 IAEA：擁有跨國檢查與監察核設施／材料的權力。
• AI 機構應有等同的權限——能監督民用與軍用 AI、要求國家負責。

大國會為地緣與軍事優勢搶建 ASI 並可能在安全上偷工減料；唯有具檢查能力的國際機構，才有可能把守得住。

「AI 的 X 風險很小，但真實。考慮到搞砸的後果——數十億人喪生或被奴役——我們必須明智、迅速地行動。」

結語：通往超能力的未來#

全書的核心立場：AI 可以讓我們的生活更好——但只在我們刻意把骰子撥到正向那一面的前提下。

可能的好處：

• 給每個人個人助理、專業 Copilot、量身訂做的家教。
• 強化藝術表達、科學發現與個人化醫療。
• 帶來空前的生產力，搭配對的政策可以縮小不平等。
• 甚至協助我們對抗氣候變遷、強化民主。

但若我們什麼都不做：

• 人類正朝懸崖加速前進；摔下去未必致命，但會造成數不清的傷害。

通往這個目標的，需要我們在設計、部署、治理、立法上比社群媒體與網際網路時代更刻意、更主動——不能再以「先別擋創新、出事再補救」為唯一策略。

關鍵原則：Goldilocks 量的 AI#

「一點點自動化是好事；太多通常是問題。」

我們需要剛剛好的 AI 協助——足以卸下最枯燥的腦力勞動，但不至於讓我們失去關鍵能力與技能。

要 AI Copilot，不要 AI 自動駕駛；AI 應強化人類智能，而非引發「自然愚蠢」——我們已經有夠多後者了。

具體設計提問：

• 介面是否鼓勵人批判地檢視 AI 的輸出並做有意義的監督？
• 是否避免落入 automation bias / surprise / neglect？
• AI 推理是否可被解釋？

個人層面#

工作上或許別無選擇，但個人生活仍然有選擇：

• 不必用 AI 寫追思父母的悼詞，也不必把 chatbot 當朋友。
• 強迫自己思考、強迫自己出門與真人交談——智慧手機的歷史並不令人樂觀，但這不代表設限不可能。
• 必須抗拒「用 AI 來迴避彼此」的誘惑。真實的人複雜、煩人，但也美麗、幽默、慷慨、聰明，是任何軟體都比不上的。

兩個貫穿全書的核心教訓#

• 保住辨別「真實人類互動」與「模擬人類互動」的能力：別落入圖靈測試的致命缺陷——表面相同的互動，本質卻完全不同。
• 把同理心嵌入價值、生活與制度的中心：同理心是 AI 永遠不會有的東西，也是維繫人類在能力越來越強大的機器世界中保持優位的關鍵。

給社會的呼籲#

過去我們常用「先不傷害（primum non nocere）」原則對待新科技——等到危害浮現才規範。但社群媒體與網際網路證明：等到公司強大、人民依賴後，再立法為時已晚。

「如果不快點行動，AI 對我們造成的傷害將大過好處。」

不論個人或集體，我們都需要勇氣。這項技術既怪異又令人害怕，但也同樣令人興奮。

像每一項過往的技術，我們可以掌握 AI；但要做到這點，我們得先掌握自己——動用我們自己的自然智能、創造力與智慧。

「如果這真的是人類最後的發明，那我們最好把它做好。」