Amy Gallo 與 Thomas Redman 對談整理。Redman 是《Data Driven》作者，並輔導企業的資料品質專案。

開場：商業意義 vs. 統計顯著性#

跑實驗或分析資料時，每個人都想知道結果是否「顯著（significant）」。但要小心：

• 實務顯著性（practical significance）：對商業決策是否重要
• 統計顯著性（statistical significance）：你對「這個結果不是純粹巧合」的信心

兩者經常被混為一談。隨著愈來愈多公司用資料做關鍵決策，這個概念對經理人越來越重要。

什麼是統計顯著性？#

「統計顯著性協助量化：結果比較可能來自巧合，還是真的來自你關心的因素。」

當結論統計顯著時，意味著你能放心相信它是真的，不是因為運氣好或壞、剛好抽到一組偏的樣本。

行銷活動範例#

• 新活動：平均銷售 $10.17
• 舊活動：平均銷售 $8.41
• 差距：$1.76

差距看起來不小，但你抽到的樣本可能無法代表母體——也許兩個活動其實沒差。這就是「抽樣誤差（sampling error）」。

抽樣誤差的兩個來源#

1. 樣本大小（sample size）#

想像丟硬幣：丟 5 次與丟 500 次，後者的「正面遠多於反面」機率小得多。

樣本愈大 → 結果反映隨機性的可能性愈低。

但放大樣本要錢，必須與預算權衡。1,000 人做的測試比 25 人可信，但成本也高。

2. 母體變異（variation）#

「母體變異越大 → 抽樣誤差越大」。Redman 強調這是用資料的經理人最該培養的直覺。

• 變異小：多數人花費都接近平均，抽到偏離平均很多的樣本機率低
• 變異大：花費分散，抽到偏離平均的樣本機率高

分析時把資料畫出來看分布——對變異有感，才會對抽樣誤差與統計顯著性有感。

評估顯著性的標準流程#

1. 提出虛無假設（null hypothesis）：例「顧客平均並不偏好新活動」
2. 提出對立假設（alternative hypothesis）：例「顧客平均偏好新活動」
3. 設定目標顯著水準，通常以 **p 值（p-value）**表示——p 值越低，結果越不可能來自純巧合
4. 蒐集資料、畫圖、計算 p 值
5. 若 p 值低於目標 → 拒絕虛無假設，採信對立假設

p 值要設多嚴格？#

要看你在分析什麼：

• 找尋希格斯玻色子（Higgs boson）→ p 值需極低（0.00001）
• 行銷概念是否較好、新鑽頭是否較快 → 容忍 0.25 都可能可以

許多商業實驗會跳過前兩步、結果出來才擔心顯著性。好的科學實踐應在事前就把假設與顯著水準訂好。

怎麼計算？#

「經理人不該信任自己看不懂的模型。」

實際計算可交給統計軟體、Excel 或線上工具，但理解流程才能解讀結果。

公司怎麼用統計顯著性？#

協助理解「實驗結果該多大程度影響決策」。回到行銷活動例子：

大資料時代有個陷阱：統計顯著但實務上完全沒意義。例如「群組 A 比群組 B 點擊率高 0.000001%」——統計上顯著、決策上無意義。

信賴區間（confidence interval）#

選舉民調例子：1,000 名「可能投票者」中，A 候選人 49%、B 候選人 51%，誤差 ±3%。

多數人解讀為「A 真實得票率有 95% 機率落在 46%–52% 之間」——這是錯的。

正確解讀：「如果重複做這項民調，95% 次以同樣方法建立的區間會涵蓋 A 的真實得票率。」

Redman 直言：「這個區別微妙得令人抓狂——對多數經理人甚至許多有高等學位的研究者都是。」

實務上更有用的講法：「B 看起來領先，但領先幅度未達統計顯著」。

經理人最常犯的錯#

錯誤 1：把「significant」當隨意用語#

在資料對話中用詞要精準：

• 講策略重要性 → 可說「significant」
• 講統計上的顯著性 → 明確說「statistically significant」

下次看到調查或實驗結果時，主動詢問統計顯著性（如果分析師沒說）。

錯誤 2：只擔心抽樣誤差，忽略「非抽樣誤差」#

Redman 更擔心的是非抽樣誤差（non-sampling error）：

• 受訪者說謊
• 資料遺失
• 分析過程出錯

「我比較擔心原始資料是否可信任，而不是訪問了多少人。」乾淨的資料與審慎的分析，比統計顯著性更重要。

錯誤 3：過度執著於 p < 0.05#

科學文獻中存在「p < 0.05 才能發表」的偏見，但商業上的決策往往不需要這麼嚴。Redman 的提醒：

**「結果在市場上能不能站住腳——哪怕只是短期？」**這往往比統計顯著更關鍵。

結論#

Redman 收尾：「我支持使用統計，但永遠要與良好的判斷力結合。」