核心概念#

本章探討數據的重要性以及大數據概念的興起。作者指出，過去人們重視模型與算法而輕視數據，但隨著雲計算和存儲能力的提升，數據的價值被重新認識，並在 2010 年後催生了「大數據」這一概念。

數據的重要性#

• 數據的定義：廣義的數據不僅是數字，還包括所有形式的信息——文字、圖片、檔案、影像等
• 數據的歷史：人類文明的進步本質上就是對數據的收集、處理和總結。從伏羲演八卦、農耕時代的經驗傳承，到文藝復興後科學家系統性地採集實驗數據
• Google 的數據文化：在 Google 內部，產品經理遵循「在沒有數據之前，不要給出任何結論」的規則，因為直覺往往與數據相反

作者舉了三個例子說明人的直覺與數據的差異：世界人口最多的十大城市（多數人猜不到首爾、馬尼拉、卡拉奇等）、網頁廣告點擊成本（實際超過 1000 元而非大眾猜測的幾十元）、以及 95% 的個人投資者長期跑不贏大盤。

數據的統計和信息技術#

• 統計量充足性：統計首先要求數據量充足。切比雪夫不等式說明：樣本數足夠多時，隨機變量與其期望值之間的誤差可以任意小
• 樣本代表性：1936 年美國大選中，《文學文摘》收回 240 萬份問卷卻預測失敗，而蓋洛普僅用 5 萬個具代表性的樣本就預測成功，說明代表性比數量更重要
• 搜索引擎中的數據競爭：今天搜索引擎的品質差異主要在於數據量。點擊模型（根據用戶點擊行為排序搜索結果）貢獻了搜索排序 60%-80% 的權重，而訓練這個模型需要大量用戶數據
• 機器翻譯的數據驅動：2005 年 Google 的機器翻譯系統在 NIST 評比中以 BLEU 分數 51.31% 大幅領先第二名，秘訣在於使用了比其他機構多幾千甚至上萬倍的數據
• 語音識別的進步：1995-2005 年語音識別錯誤率從約 40% 降至 20%-25%，其中七成的改進來源於大量數據

為什麼需要大數據#

• 大數據的本質：不僅是量大，更重要的是多維度和完備性，能將看似無關的事件聯繫起來，全方位描述事物
• 百度「中國十大吃貨省市排行榜」案例：從 7700 萬條百度知道問答中挖掘出各地飲食習慣，這種多維度、非結構化的數據分析是傳統調查方法難以實現的
• 醫療保健的應用：一位高中生用大數據統計上百萬份病例，在 X 光和 CT 圖像上標記可疑部位，乳腺活檢準確率達 98%；微軟利用大數據預測急診病人再次回診的可能性
• 基因研究與 23andMe：透過收集大量用戶唾液樣本，以低成本（100 美元）進行基因分析，將基因缺陷與疾病的條件概率 $P(B|A)$ 計算變為可能
• Google Calico：2013 年成立，致力於用大數據和 IT 技術解決醫療問題，如治癒癌症、防止衰老

本章小結#

• 人類早已認識到數據的重要性，但過去受限於存儲和計算條件，一般認為數據量「夠用即可」
• 隨著信息技術發展，超大量數據帶來了意想不到的驚喜，催生了大數據的興起
• 大數據的採集是自然的過程，有利於消除主觀偏差
• 多維度的大數據能讓看似無關的事件產生聯繫，發現新的規律，成為解決 IT 以外領域難題（如醫療）的鑰匙