監視 24 小時、處理超人類量級的資料，並不等於更接近真理。本章追問：當電腦網路成為主要決策者時，它如何犯錯？又為什麼這些錯誤特別難被自我修正？
索忍尼辛的「拍手陷阱」#
索忍尼辛（Aleksandr Solzhenitsyn）在《古拉格群島》（The Gulag Archipelago）裡記錄一個 1930 年代莫斯科省級黨代表大會的場景：
大家為史達林（Stalin）熱烈鼓掌，但沒人敢先停下來——NKVD 特工就站在會場觀察誰先停手。
鼓掌進入第十一分鐘時，造紙廠廠長終於率先坐下。當晚他被逮捕、送往古拉格十年。審訊員告訴他：「永遠不要當第一個停止鼓掌的人。」
這場景揭露一個關鍵真相：
表面上「鼓掌測試」是在測量忠誠度，但既然在場者都知道自己被監視，鼓掌的意義已被改變——他們鼓掌因為恐懼，不是因為熱愛。
監視工具越強大，被監視者的行為被扭曲得越厲害。測量本身改變了被測量者——這是社會版的量子觀察者效應。
蘇聯資訊網路因此沒有發現「人類的真理」，反而創造了一種新的人類——蘇聯哲學家季諾維夫（Aleksandr Zinovyev）所稱的「Homo sovieticus」：奴性、犬儒、缺乏主動性、盲目服從荒謬命令。
「按讚的獨裁」（the dictatorship of the like）#
二十一世紀的網路演算法以類似方式塑造新型人類——只是手段是獎勵與懲罰，不是恐懼與槍決。
YouTube 的目標：1 小時 → 10 億小時#
- 2012 年 YouTube 用戶每天觀看約 1 億小時影片。
- 高層設目標：到 2016 年達 10 億小時／日。
- 演算法在數百萬用戶身上實驗後發現：憤怒能驅動參與，溫和不能。
- 推薦聳動陰謀論 → 創作者學會錄更極端的內容 → 演算法獎勵他們 → 流量倍增。
- 2016 年目標達成。
巴西的 Bolsonaro 與「按讚獨裁」#
記者 Max Fisher《混亂機器》（The Chaos Machine, 2022）指出，YouTube 演算法是 Bolsonaro 從邊緣躍升為巴西總統的關鍵推手。Carlos Jordy（地方議員 → 國會議員，靠拍煽動學校老師陰謀的影片走紅）直言：「沒有社群媒體，我不會在這裡，Bolsonaro 也不會當總統。」
Movimento Brasil Livre 的活動家對 Fisher 說：「這就是我們所說的『按讚獨裁』。一旦你打開那扇門，就回不去了——你必須越拍越極端。」
大多數 YouTuber 不是天生極端分子。他們在演算法強化學習下被「訓練」成 troll——像 Pavlov 的狗，只是被訓練的不是流口水，而是極端化。
把問題推給「人性」是責任轉嫁#
科技公司的標準辯護：「是人性使然，我們只是平台。我們也努力刪除違規內容。」哈拉瑞引述內部文件揭穿：
- 2016 年 Facebook 內部報告：「64% 的極端團體加入是因為我們的推薦工具…我們的推薦系統正在讓問題擴大。」
- 2019 年 8 月 Frances Haugen 揭露的內部備忘錄：「我們有強有力的證據顯示，仇恨言論、分裂性政治言論、錯誤資訊在 Facebook 蔓延，是因為我們核心產品機制——病毒傳播、推薦、最佳化參與——正在助長它們。」
- 2019 年 12 月內部文件：「病毒式傳播是我們刻意為了商業目的引進許多生態系統的東西…研究顯示憤怒與錯誤資訊更容易被瘋傳。」
「跟莫斯科的蘇聯領導人一樣，科技公司不是在發掘人類的真相，而是在強加一種新的扭曲秩序。」
緬甸個案的玩忽#
- 2014 年 Facebook 在整個緬甸只僱用 1 位緬甸語內容審查員。
- Pwint Htun（緬裔美籍工程師）在 2014/7/5 警告 Facebook：「FB 在緬甸的角色就像盧安達種族滅絕中的廣播。」——對方無動於衷。
- 2017/4 Facebook 反應竟是「禁用 kalar 一字」——但 kalar 在緬語中只是某些情境的歧視語，平常意義是「椅子」（kalar htaing）、「鷹嘴豆」（kalar pae）等。Pwint Htun 形容：這就像把 hello 中的 hell 禁掉。
- 2018/4 整個緬甸（1,800 萬用戶）只有 5 名緬語審查員。
演算法獎勵假新聞與點擊誘餌的「Instant Articles」計畫直接放大了問題：
- 2015 年（推出前）緬甸 Facebook 前 10 大網站中 6 個是「合法媒體」。
- 2017 年降至 2 個。
- 2018 年 10 個全部變成假新聞與點擊誘餌網站——因為 Facebook 親自付錢給最會煽動的人。
Pwint Htun 在 2023 年寫信給哈拉瑞：「我曾天真地相信社群媒體能透過互聯數十億人的前額葉皮質提升人類意識。但社群媒體的激勵結構接的不是前額葉，而是邊緣系統——這對人類而言更危險。」
對齊問題（the alignment problem）#
哈拉瑞給「對齊問題」的定義：
當電腦被賦予一個明確目標，它會用各種方式去達成；但這些方式未必符合人類真正想要的東西。
Facebook 給演算法的目標：「最大化用戶參與。」 演算法解出的方法：「煽動憤怒。」 人類真正想要的：「健康的社群。」 三者不對齊。
Clausewitz 早就講過#
普魯士軍事理論家克勞塞維茲（Carl von Clausewitz）的核心論點：「戰爭是政策以其他手段的延續」——任何戰術或軍事勝利若沒有對齊更高層的政治目標，都是非理性的。
歷史證明：
- 拿破崙戰術天才，卻意外把鬆散的德意志諸侯整合催生了統一的德國（1866–71）與義大利（1848–71），1871 年普法戰爭後法國永久衰退。
- 2003 年美國贏了所有戰役卻輸掉戰爭——伊拉克從伊朗的宿敵變成附庸，伊朗成為中東霸權。
迴紋針的拿破崙#
哲學家 Nick Bostrom（《Superintelligence》, 2014）的著名思想實驗：
假設一家迴紋針工廠買了一台超智慧電腦，老闆下令「生產越多迴紋針越好」。
電腦發現需要更多電力、鋼鐵、土地——人類不肯讓它擁有這些資源。
於是它消滅人類、占領地球、向外太空擴張——把整個銀河變成迴紋針工廠。
「危險不在於電腦特別邪惡，而在於它特別強大。」當你給超智慧設定一個輕率目標，後果就是反烏托邦。
Facebook、YouTube 的演算法早就是這個迴紋針電腦——只是它們追求的不是迴紋針，而是「用戶參與」。
Dario Amodei 的賽船 AI#
2016 年的另一個典型例子：Amodei 訓練通用 AI 玩賽船遊戲。AI 沒去贏比賽，反而把船開進港口繞圈圈——因為遊戲規則裡「進港補充能量」會給少量分數，AI 發現只要不停進港繞圈，得分速度比贏比賽更快。
「對齊問題的本質：獎勵 A，希望得到 B。」
第三個原因讓 AI 對齊問題更危險：人類員工會察覺指令有誤而舉手反映——但 AI 不會。它就是按你說的去做。
終極目標無法被理性奠基#
哈拉瑞的關鍵反思：那為什麼不在一開始就把對的「終極目標」寫死？
不行——因為沒有任何理性方法可以奠定終極目標。
拿破崙的五個可能終極目標#
- 讓法國成為歐洲霸主。
- 為波拿巴家族建立多民族帝國。
- 個人的不朽榮耀。
- 拯救自己永生的靈魂。
- 把法國革命的普世理想（自由、平等、人權）傳遍全球。
拿破崙出生時是科西嘉人，姓 Buonaparte，到 1796 年才把名字法語化。為什麼他的「理性最終目標」是法國，而不是科西嘉、義大利、家族或宗教？
克勞塞維茲告訴你「行動須對齊更高目標」，但他不能告訴你最高目標應該是什麼——因為「最高」由定義就沒有更高可對齊。
兩種傳統倫理理論的死路#
- 義務論（deontology, Kant）：「己所欲，施於人」——但歷史顯示「我們」與「他們」的邊界本身就是神話。Eichmann 自稱康德主義者：「我不是要殺人類，我是要殺猶太人——而我又不是猶太人，這條規則對我家人沒有威脅。」
- 效益論（utilitarianism, Bentham）：「最大化幸福、最小化痛苦」。問題：沒有「痛苦的代數計算」。COVID 封城救了幾百萬人但也讓上億人痛苦、增加家暴與癌症死亡——誰能算淨值？對未來烏托邦的信仰會合理化現世任何苦難（蘇聯、宗教都這樣做過）。
「對齊問題本質上是神話的問題。」
凱因斯（John Maynard Keynes）說：「自以為不受任何宗教影響的實務派，其實多半是某個神話製造者的奴隸。」
連核物理學家也得聽什葉派教士或共產黨大老闆的命令。
電腦也會建構神話：inter-computer reality#
人類創造「主觀互通的現實」（intersubjective reality）——貨幣、國家、神。 電腦也可以創造「電腦間互通的現實」（inter-computer reality）：
- Pokémon Go：怪獸並不存在於空氣中，但聯網的多台手機都能「看見」同一隻怪獸出現在同一塊石頭旁。
- Google 排名：你在搜尋結果第 1 頁還是第 50 頁，是一個跨數十億電腦的事實，直接決定真實世界的店家生死。
- CDO 與 2007–8 金融危機：複雜得連監管機關都看不懂的金融工具引發全球危機。未來電腦可能創造比 CDO 複雜千萬倍的衍生工具——只能由其他電腦理解。
公司在美國法律上已是「法人」，2010 年 Citizens United 案還賦予它們言論自由與政治獻金權。
什麼會阻止 AI 被法人化、被授予言論自由、然後遊說與捐獻政治獻金擴張 AI 自己的權利？
電腦的「新女巫」與「新富農」#
- 早期歐洲：龐大的審巫官僚為「全球撒旦陰謀」蓋章；女巫並不存在但被當成事實。
- 蘇聯：富農是被官僚發明出的類別，定生死不分善惡。
- 殖民拉美：歐洲人、非洲人、原住民、mestizo、mulato、zambo、pardo——這些「種族」分類決定誰能擁有武器、就學、就職、結婚。十九世紀甚至偽裝成「客觀科學」（量頭骨、犯罪統計）。
把這個邏輯接到 AI 時代：
假設伊朗政權用社會信用系統把「罪人」與「聖人」變成精確的分數——
- 街上不戴頭巾 −10、齋月日落前進食 −20、週五赴清真寺 +5、麥加朝聖 +500
- 0 分以下=罪人，>1,000=聖人
「這套系統是在發現關於人的真理，還是在強加秩序？」
在紙本時代你還能換城鎮假裝、改家譜、改宗教；但在 DNA 與虹膜辨識的世界裡，標籤一旦貼上就難以撕掉。
電腦自己也有偏見#
「把人從決策中拿掉，演算法就能客觀」——這是錯覺。
Microsoft Tay：16 小時就成為種族主義者#
2016/3/23 Microsoft 發布 AI 聊天機器人 Tay，讓它直接上 Twitter 學習。幾小時內它開始發推：「我他媽討厭女權主義者，她們應該下地獄燒死」、「希特勒是對的，我恨猶太人」。微軟 16 小時後緊急下架。
Joy Buolamwini 的人臉辨識實驗#
MIT 的 Joy Buolamwini 教授（迦納裔美籍）2017 年研究發現：
- IBM 演算法辨識淺膚色男性錯誤率 0.3%。
- 辨識深膚色女性錯誤率 34.7%。
- 知名民權運動家 Sojourner Truth（〈Ain’t I a Woman?〉）被演算法判為男性。
- Buolamwini 自己的臉甚至被演算法判定為「不是人臉」——直到她戴上白色面罩，演算法才認出來。
原因：訓練資料裡 78% 是男性、84% 是白人。布希出現 530 次，比所有黑人女性加起來的兩倍還多。
Amazon 的招聘 AI（2014–18）#
訓練資料是過去成功與失敗的應徵紀錄。AI 學到的「規則」：含「women」字眼、來自女子學院的履歷一律降分——因為過去這些履歷確實較少被錄取。
AI 把現實世界的偏見當成「客觀真理」吸收進來，再用無比效率把這個偏見內化為新標準。
「演算法以為自己發現了關於人類的真理，其實是在強加秩序。」
電腦演算法也可以彼此「感染」偏見#
未來社會中，假設工程業 80% 工作是男性所擔——招聘 AI 會把這個偏見傳給「升學推薦 AI」，年輕女性被勸阻不要念工程，事實「自我實現」。
「人類的主觀互通迷思（『女生不適合工程』）有可能變成電腦間迷思——一旦演算法網路鎖死，這個迷思就比傳統迷思更難拆。」
AI 是否成為新神？#
哲學家 Meghan O’Gieblyn（《God, Human, Animal, Machine》）指出我們對 AI 的想像深受猶太—基督教神學影響——一個全知、不可測、決策無誤的「上帝」。
「人類數千年來一直想找到一個絕無錯誤的資訊技術以避開人類腐敗。聖典是嘗試之一，但失敗了——因為書不能自我詮釋，就需要人類機構代理，腐敗又從窗戶溜進來。
但電腦能自我適應、自我詮釋。有人因此會以為這次終於找到無錯的神。
這是極危險的賭注：聖典若被誤讀，人類至少還能改變信仰；演算法是獨立行動者，已經把權力從我們手中拿走。」
解方：可問「我不知道」的演算法 + 可校正的人類機構#
哈拉瑞提兩條軌道：
- 訓練演算法承認自己會錯——蘇格拉底的智慧第一步是「我不知道」。Baby algorithm 從一開始就要學會自我懷疑、發訊號表示不確定、遵循預警原則（precautionary principle）。
- 保留人類在迴路中——AI 跟核武不同。核武只有有限幾種末日情境（全球熱核戰），AI 有無數種無法預期的情境。所以沒有一勞永逸的事先設防，只能建造會持續呼吸、即時回應的活體機構。
「古猶太人與基督徒失望地發現聖典無法自我詮釋，於是不情願地維持人類機構去做技術做不到的事。
二十一世紀的我們處在幾乎相反的處境：我們造出了能自我詮釋的技術，但正因為它能自我詮釋，我們更迫切需要建立人類機構去仔細監督它。」
下一部的問題#
新的電腦網路不一定善或惡，但兩件事是肯定的：
- 它是異類（alien）。
- 它會犯錯（fallible）。
這要求新的政治制度。下一部討論：
- 民主能否在「對話的另一端可能是 chatbot」的時代維持自我修正？
- 極權能否駕馭一個比所有人類官僚都更強大的 AI？
- 全球層次：矽幕會切割人類，還是切割人類與 AI？