為什麼商業實驗值得認真對待#

組織內實驗評估（即經濟學家所說的「田野實驗（field experiment）」）的興起，正在轉變決策方式——從產品設計、人力資源到公共政策都受其影響。投資隨機評估（randomized evaluation）的公司能取得改寫遊戲規則的優勢。

然而，作者在科技公司觀察到大量實驗做錯了。即使設計沒問題，實作階段也常出現可避免的錯誤，使許多組織無法享受到科學方法的真正好處。

本章整理出七個原則，協助你的實驗真正交付出可用的資料與洞察。

1. 找一個夠窄的問題#

「廣告值得花錢嗎？」「該調高還調低年終獎金？」這類問題雖然抓到了核心目標，但不可能用一次實驗回答。

把問題拆到可測試（testable）的層次：

• 不好：廣告值得花錢嗎？
• 好：在 Google AdWords 上投放品牌字廣告，每月銷售提升多少？

eBay 的研究人員就用這類窄問題的實驗發現：他們長年在 Google 上的品牌字廣告，對付費客戶造訪率根本沒有影響。

2. 用「大鎚」（big hammer）出手#

公司做實驗是因為不確定什麼方法有效。在不確定下從小處著手聽起來保守，但你的目標其實是先確定某種版本的介入會不會帶來差異，這需要夠強的處理力道。

範例：在地小農標籤#

雜貨店想加上「主要來自在地小農」的標籤：

• 建議：先用大字、貼在包裝正面
• 如果用小標籤、貼在背面，且沒看到效果，主管會陷入兩難——
  • 是消費者根本沒注意到？（介入太弱）
  • 還是消費者真的不在乎？（沒有處理效果）
• 用大鎚先打：若沒有效果，這條路就放棄；若有效果，再回頭微調尺寸與位置

3. 進行資料盤點（data audit）#

決定介入方式後，列出與目標結果相關的所有資料，並記下何時量測。

• 包含你希望會改變與希望不會改變的指標——後者用來偵測非預期副作用（unintended consequences）
• 也納入外部資料以提供額外觀點

範例：化妝品包裝測試#

跨地區跑隨機對照試驗（randomized controlled trial）時：

• 內部資料：回購率、客服回饋
• 外部資料：Amazon 上的使用者評論、不同州別的差異

4. 選擇研究母體（study population）#

挑出與你想理解的客戶輪廓相符的子群體。

別貪圖方便就拿線上使用者代替全部客群——年輕的純電商使用者，行為可能跟年長的店面客戶完全不同。從前者推論到實體店策略可能會錯得很離譜。

5. 隨機化（randomize）#

把人隨機分配到處理組（treatment group）與對照組（control group）。

兩條鐵律：

• 不能讓參與者自己決定屬於哪一組
• 兩組之間除了被測試的變數外，不能有其他差異

第二條容易被違反。例：週日推一張優惠券、週一推另一張——即使每天的客流量一樣，週日購物者本身就可能與週一購物者系統性不同。

6. 訂計畫，照計畫走#

開跑前要把以下細節寫下來：

• 蒐集多少觀察值？
• 實驗跑多久？
• 收集與分析哪些變數？

紀錄方式可以是 Google 試算表，也可以是公開試驗註冊（trial registry）。透明度有助於避免實驗實作的常見陷阱。

開跑後別插手。實驗最忌諱的事情，是「跑到結果剛好符合假設就停」——心理學界的「重現危機（replication crisis）」就是這樣來的，會嚴重偏倚結果並降低洞察價值。

7. 讓資料自己說話#

呈現結果時報告多項指標：

• 有些可能沒變化、不起眼，甚至難以解釋
• 比起選擇性忽略，透明攤開才是上策

接著問自己：「我真的找到結果背後的機制了嗎？」如果沒有，修正實驗設計、再跑一次。

結尾：把實驗當成長期過程#

實驗早已是社會科學的核心，現在也快速成為組織的核心。設計良好的實驗能：

• 戳破你的假設
• 改變你的做法
• 讓你領先競爭者

實驗是一個長期、累積、相互銜接的學習過程——每一次的結果，都成為下一次的起點。