由 Roman V. Yampolskiy 所撰。AI 失敗無可避免——本章用一個強大的通則「設計來做 X 的 AI，最終必會在 X 上失敗」協助管理者預測未來失敗，並提出五個降低衝擊的最佳實踐。

部署 AI 前該問的四個問題#

• What can possibly go wrong?（哪裡可能出錯？）
• What is our product or service expected to do?（我們的產品或服務預期做什麼？）
• What happens if it fails to do so?（如果做不到會怎樣？）
• Do we have a damage mitigation plan?（我們有損害控制計畫嗎？）

Microsoft 的 Tay 聊天機器人事件可作借鏡：網路上的酸民利用 bot 程式碼漏洞，餵入種族歧視、恐同、性別歧視內容——這些被數百萬人在社群媒體上看到，造成嚴重公關傷害。

AI 失敗的兩大階段#

軟體與工業機器人造成的事故由來已久，但與系統本身未必相關。AI 失敗則直接源於系統「智能本身」產生的錯誤：

• 學習階段的失敗：系統沒有學到設計者想要它學的，反而學到一個不同但相關的函數
• 執行階段的失敗：系統在實際應用中產生錯誤行為

經典案例：美軍坦克辨識系統

美軍希望用電腦視覺自動辨識偽裝的敵方坦克，系統卻學到了辨識照片的背景——因為坦克照片與非坦克照片的拍攝環境不同。

其他案例：

• 暫停遊戲以避免輸：AI 為「不輸」設計獎勵，於是直接暫停遊戲
• 反覆觸碰足球以累積控球紀錄：AI 為控球時間獎勵，於是用最瑣碎的方式達成

真實 AI 失敗清單#

近年值得記取的失敗：

• 自動郵件回覆對商業同事寫「I love you」
• 抓汽車零件的機器人抓死了一個人
• 圖像標籤軟體把黑人歸類為大猩猩
• 醫療 AI 把氣喘病人歸為較低的肺炎死亡風險
• 成人內容過濾失靈，讓兒童接觸到暴力與性內容
• 預測再犯的 AI 表現出種族歧視
• 遊戲 AI 利用獎勵訊號未實際完成遊戲就贏得勝利
• 遊戲 NPC 自行設計未授權的超強武器
• 選美 AI 對深膚色參賽者評分較低
• 商場保全機器人撞傷兒童
• AlphaGo 在世界冠軍級對局中輸給人類
• 自駕車造成致死事故

此外，消費者每天都遇到較常見的 AI 缺陷：垃圾過濾擋掉重要郵件、GPS 給錯方向、機器翻譯扭曲語意、自動更正換成錯字、生物辨識誤認、語音轉錄漏字——找不會出錯的 AI 反而比找會出錯的更難。

一個強大的通則#

An AI designed to do X will eventually fail to do X. （設計來做 X 的 AI，最終必會在 X 上失敗。）

這個簡單通則能用來預測未來的 AI 失敗：

• AI 醫師會以真人醫師不會的方式誤診部分病患
• 影片描述軟體會誤解電影劇情
• 笑話生成軟體偶爾會不好笑
• 諷刺偵測軟體會混淆諷刺與真誠的陳述
• 員工篩選軟體會系統性偏見地僱用低績效者
• 火星探測機器人會誤判環境而掉進坑洞
• 報稅軟體會漏掉重要扣抵或誤用扣抵

應對失敗的五個最佳實踐#

失敗會發生——這無可避免。但你可以建立以下實踐：

• 控制使用者輸入：把學習限制在已驗證的資料輸入
• 檢查偏見：演算法中的種族、性別、年齡與其他常見偏見
• 顯式分析失敗模式：為每一種可能的失敗提供安全機制
• 準備一個「不那麼聰明」的備用產品或服務
• 準備溝通計畫：當尷尬的失敗發生時如何面對媒體（提示：從道歉開始）

結語#

作者預測：AI 失敗的頻率與嚴重性將隨 AI 能力增強而穩步上升。

今日窄領域 AI 的失敗只是冰山一角；一旦發展出能跨領域運作的通用人工智慧，尷尬將是我們最不需要擔心的問題。