測試大策略的最佳方式,是用「小、快、可疊加」的實驗。問題不在你有沒有跑實驗,而在你跑的是不是好的實驗。

什麼是策略?#

「策略」是被各種立場與情緒綁架的字。Henry Mintzberg 1998 年提出策略可以是計畫(plan)、模式(pattern)、視角(perspective)、定位(positioning)或詭計(ploy)。

它們其實都在描述同一件事:在不確定條件下達成目標的提案

套用本書語境,可以更精煉地表述為:

策略 = 在時間 X 內,把客戶吞吐量從 A 點推到 B 點的提案。

把這些策略寫進前一章的一頁式驗證計畫,再以實驗逐步測試。

用小實驗測試大策略#

策略往往龐大,而實驗必須小而快。怎麼辦?找出可以提前驗證的「領先指標」,先測那一段。

範例:測試內容行銷策略#

直觀做法:

  1. 想 blog 名字
  2. 註冊網域
  3. 設計 logo
  4. 架 WordPress
  5. 發表第一篇文章
  6. 推廣

前 4 步都需要取得新資源、燒掉時間,但完全沒有測試到最大的風險假設——「你能不能寫出能引起讀者共鳴的內容?」。這個假設要到第 5、6 步才會被測試。

更快的做法:

  1. 找出讀者群與你重疊的部落客。
  2. 用幾個標題與摘要與他們聯繫。
  3. 有人接受才動筆。
  4. 文末連回你的登陸頁。

這就是聚焦三步驟(Learn、Leverage、Lift)。推進性問題:「不創自家 blog 怎麼測試內容行銷?

認知偏誤是隱形的對手#

每次發新功能、跑行銷活動、試新銷售話術,都是在跑某種實驗。問題不是有沒有跑,而是有沒有設計好

「第一原則是不要愚弄自己——你最容易被自己愚弄。」——Richard Feynman

科學界對抗偏誤的方式(如雙盲試驗)對創業來說過度嚴謹。我們需要的是——夠快地把訊號從噪音中分離,再 double down——同時用以下七個習慣對抗自己的偏誤。

一次實驗永遠無法完全證實一個策略,但一次實驗可以完全推翻一個策略

七個習慣#

1. 事先宣告期望結果#

科學家不會隨意混合化合物「看會發生什麼」。但創業者常落入「邊做邊看」的陷阱。

「如果你只打算『看看會發生什麼』,那你永遠都會成功——因為一定會有事發生。」——Eric Ries

不宣告結果的兩個藉口:

  • 不喜歡被證明錯
  • 對未知很難做有依據的猜測

下面兩個習慣分別解決這兩件事。

2. 把宣告結果變成團隊運動#

我們的自我(ego)綁在工作上——做為作者,我得學會「做出對的產品比永遠是對的更重要」。

「強意見、弱固守(strong opinions, weakly held)。」——突破來自勇敢提出與既有觀點不同的角度,再嚴謹地被打臉。

具體做法:

  • 個別預測再合議:別讓單一人扛責任,每位成員先各自寫下對結果的預測,再交換比較。
  • 避開 HiPPO(Highest-Paid Person’s Opinion,Amazon 用語):避免老闆一錘定音。
  • 實驗結束後再來一次:拿真實結果跟全員預測比對。可以小獎品鼓勵最接近者。
  • 獨立創業者:在跑實驗前寫下你的預測,效果一樣。

3. 強調估計、而非精準#

你必須接受「永遠沒有完美資訊」的事實——同時你仍須做出預測

技巧:

找類比#

業界的轉換率多半是商業機密,但仍可像第 2 章那樣拼湊。最終最準的數字,是你對自家客戶建立的判斷力——只能透過反覆預測 → 比對結果累積。

第一次預測通常會偏離很多——預期 100 下載/天卻只有 10 下載/天是常見的。當你連續被打臉一個數量級時,自然會開始把預期向真實對齊。

用你建好的牽引力與客戶工廠模型#

預測的數字不能憑空——它們應該源自你建好的模型。建模的意義就在於先計算後果再用實驗驗證

從區間開始,而非絕對值#

Douglas Hubbard 證明「估算不確定性」是可以被訓練的技能。技巧:把預測表達為 90% 信賴區間。

練習:747 翼展是多少?

  • 下界:可以小於 6 公尺嗎?9 公尺呢?逐步提高直到不再有信心。
  • 上界:可以大於 152 公尺嗎?91 公尺(一個美式足球場)呢?逐步降低。
  • 正解:64 公尺(211 呎)。在工作坊中,原本說「不知道」的人最後常落在 ±2~6 公尺內。

對應到實驗:取得轉換率不可能 100%(太理想)也不可能 0%(沒意義)。透過迭代調整可得到例如 20%–40% 的 90% 信賴區間。過一陣子信心會上升、區間會縮小

4. 衡量行動而非言語#

質性學習特別容易陷入確認偏誤(confirmation bias)——我們只記住與自己世界觀相符的部分。

別問「你會不會用 X 解決問題 Y?」(誘導問題),改問「告訴我上次遇到問題 Y 的時候,你是怎麼處理的?」(追問過去行為)。

每場學習實驗都要以可衡量的行動呼籲作結,即便只是「微承諾(microcommitment)」——

  • 允許追蹤訪問。
  • 願意把你介紹給其他人。

如果你浪費了潛在客戶 30 分鐘卻沒得到任何微承諾,他可能出於禮貌不點破,但絕不會付出更多時間或社交資本——這就是訊號。

解決方案訪談腳本:每個區段都有可衡量的微承諾——Demo 段測試問題、Test Pricing 段測試方案,Wrap Up 段請求 follow-up 與推薦

5. 把假設轉成可被否證的假說#

模糊的理論非常難被推翻。

考慮這個假設:「我相信被視為專家會把早期採用者帶到我的產品。」這還太模糊:

  • 多少註冊算「驗證」?10、100、1,000?
  • 你混合演講、推文、blog post 等多種行為,無法歸因。

改寫為可被否證的假說

寫一篇 blog post 將帶來 >100 個註冊。

通用句型:

<具體可重複的行動> 將帶來 <期望的可衡量結果>

精實畫布上的假設起初都是信心一躍(leap of faith),不是可被否證的假說。要把它們改寫成上述句型才能被測試。

6. 把實驗時間箱化#

跑了一週收到 20 個註冊,覺得不錯再跑一週、再一週……「再一陣子」會輕易變成數月。

缺乏時間箱讓我們無止境延長實驗。

加入時間箱:

寫一篇 blog post 將在兩週內帶來 >100 註冊。

不只把單一實驗時間箱化——把所有實驗都裝進同一個時間箱(兩週是常見預設)。

如果預估 4 週才達 100 註冊,就拆成兩個實驗:

  • 實驗 1:兩週內帶來 >50 註冊。
  • 實驗 2:再兩週內再帶來 >50 註冊。

實驗 1 結束時若只有 10 註冊,馬上知道後兩週要矯正,而不是等 4 週後才發現失敗。

把時間箱當成「強迫批次變小」的機制——批次愈小,回饋迴路愈快。

實務上:作者引入兩週時間箱與固定的進度更新會議後,團隊「像被施了魔法一樣」自動把大實驗拆成小實驗,更快地否定大方向累積對其他方向的信心——兩種都是進展。

7. 永遠用控制組#

進展是相對的——必須有基準才能比較。

  • 時間序列基準:日、週、月批次(cohort)作為控制基準,要在實驗中超越它。算「序列性的 split test」。
  • 平行 split test(A/B test):黃金標準。把目標族群劃出一個子群試新版本,比較其與其他人。
  • A/B/C 多臂測試:流量足夠時,可同時測多個方案彼此競爭。

把多個點子在 Build/Measure/Learn 三階段平行對抗——這就是 A/B 測試的精神

一頁式實驗報告(Experiment Report)#

把七個習慣內建為檢核表 + 思考共享工具。和驗證計畫不同,實驗報告是分階段填寫——對應 Build / Measure / Learn 三個階段。

一頁式實驗報告範本:左半 BUILD(背景、可否證假說、細節),右半 MEASURE(結果)+ LEARN(驗證學習、下一步)

Build 階段#

1. 背景#

連結到你正在測的驗證計畫的高層目標。USERcycle 例:「用預告頁 + blog post 驅動訪談 leads」(驗證計畫實作的第一步)。

2. 可被否證的假說#

把信心一躍改寫成:

<具體可重複的行動> 將帶來 <期望的可衡量結果>

USERcycle 例:「預告頁 + blog post 將收集 >100 個訪談 leads」。

3. 細節#

具體實作面:

  • 要建什麼?
  • 怎麼衡量結果?
  • 需要哪些資源?
  • 要花多久?

把報告分享給團隊,這就是 Build 階段需要的全部。

USERcycle Build 階段:假說「&gt;100 訪談 leads」、Rationale(2,000 訪客 × 10% 轉換 = 200 預期)、Details(blog post + 預告頁 + Google Analytics)

Measure 階段#

實驗在以下三種情況之一標記為完成

  • 滿足所有預期結果:時間箱還沒到就達標 → 提早結案,移到下一步行動。
  • 時間箱到期:即使快達標,也不延長——記錄結果並結案。
  • 發生壞事:例如新功能造成大量負面反應,可能不該等到時間箱結束 → 紀錄學習、結案、止血。

把結果寫到報告的 Results 欄,使用句型:

<具體可重複的行動> 帶來了 <實際測量的結果>

這個句型讓「期望 vs 實際」一目了然。

USERcycle Measure 階段:「Teaser page + blog post 帶來了 134 訪談 leads」——預期 200,實際 134,但問題/方案契合所需的 100 已達標

Learn 階段#

Validated Learning 欄是你詮釋結果的地方:

  • 假說被驗證 → 設計下一個可疊加的實驗,繼續推進策略。
  • 假說失敗 → 接下來怎麼做才是真正的關鍵——這是下一章主題。

USERcycle Learn 階段:「45.6% 報名表轉換率值得注意——blog 把流量送到表單但不到一半完成填寫」;Next Action:「繼續跑問題訪談」

「TPS 報告」的疑慮#

「對的流程會產生對的結果。」——Jeffrey Liker,《The Toyota Way》

引入這些一頁式報告時,團隊一度抗拒,覺得像 Office Space 中沒人想填的 TPS 報告。但作者強調:

  • 流程不是由上而下強制下達,是由真正做事的人擁有的「活產品」。
  • 經過上百小時迭代後,作者團隊得到三個持續好處:
    • 濃縮思考、縮短會議:把模糊想法寫到一頁紙會立刻暴露盲點。
    • 建立學習檔案:避免重跑已測過的實驗。Toyota 把每一台車相關的 A3 報告都建成知識庫供全公司查閱。
    • 加速新成員 onboarding:新人/顧問常熱心提建議,但其實多半被測過了。給他們最近 60 天的報告先看,討論立刻變得有意義。

章節重點回顧#

  • 任何大策略都能被一個或多個小、快、可疊加的實驗測試。
  • 內化七個習慣:
    1. 事先宣告期望結果。
    2. 把宣告變成團隊運動。
    3. 強調估計、而非精準。
    4. 衡量行動而非言語。
    5. 把假設改寫成可被否證的假說。
    6. 把實驗時間箱化。
    7. 永遠用控制組。
  • 把實驗濃縮在一頁式實驗報告上。