核心概念#
上一章介紹了衡量網頁質量的 PageRank，本章討論搜索的另一個關鍵問題：如何確定網頁和查詢的相關性。核心方法是 TF-IDF（Term Frequency - Inverse Document Frequency）。
1. 搜索關鍵詞權重的科學度量 TF-IDF#
影響搜索引擎質量的四大因素：
- 完備的索引
- 網頁質量度量（如 PageRank）
- 用戶偏好
- 網頁和查詢的相關性方法——本章重點
TF（詞頻）#
- 以「原子能的應用」為例，分為三個關鍵詞：原子能、的、應用
- 直覺上，關鍵詞出現次數越多的網頁，相關性越高
- 需根據網頁長度歸一化：詞頻 = 關鍵詞出現次數 / 網頁總字數
- 相關性 = 各關鍵詞詞頻之和：$TF_1 + TF_2 + \cdots + TF_N$
停止詞（Stop Word）#
- 「的」這類詞佔了總詞頻的 80%，但對確定主題毫無用處，稱為停止詞
- 在度量相關性時應忽略停止詞（漢語中還有「是」「和」「中」「地」「得」等）
IDF（逆文本頻率指數）#
- 不同詞的預測主題能力不同：「原子能」比「應用」更能鎖定主題
- 一個關鍵詞 $w$ 在 $D_w$ 個網頁中出現過，IDF 的公式為：$\text{IDF} = \log\left(\frac{D}{D_w}\right)$，其中 $D$ 是全部網頁數
- 例如：停止詞「的」在所有 10 億網頁中都出現，$\text{IDF} = \log(1) = 0$；「原子能」只在 200 萬個網頁中出現，$\text{IDF} = \log(500) \approx 8.96$
TF-IDF 公式#
$$TF_1 \cdot IDF_1 + TF_2 \cdot IDF_2 + \cdots + TF_N \cdot IDF_N$$
TF-IDF 的本質是一個加權求和：詞頻（TF）衡量詞在特定網頁中的重要性，逆文本頻率（IDF）衡量詞在整個語料庫中的區分能力。兩者相乘，就能科學地度量網頁和查詢的相關性。
- TF-IDF 的概念最早由劍橋大學的斯巴克·瓊斯（Karen Sparck Jones）於 1972 年提出，被公認為資訊檢索中最重要的發明
- 結合 PageRank 和 TF-IDF，網頁的綜合排名大致由相關性和網頁排名的乘積決定
2. 延伸閱讀：TF-IDF 的資訊論依據#
- 每個關鍵詞 $w$ 的權重應該反映它提供了多少資訊量
- 從資訊論出發，一個詞的資訊量為：$I(w) = -P(w)\log P(w)$
- 簡化後可得：$I(w) = TF(w) \cdot \log\frac{N}{TF(w)}$
- TF-IDF 和資訊量之間的差異體現在一個修正項上：
$$TF\text{-}IDF(w) = I(w) - TF(w) \cdot \log\frac{M}{c(w)}$$
- 其中 $c(w)$ 是該詞出現在多少篇文獻中。一個詞的資訊量越多，TF-IDF 值越大；同時該詞分散在越多文獻中，TF-IDF 也越大
- 這些結論與資訊論完全相符，證明 TF-IDF 具有堅實的理論基礎
本章小結#
TF-IDF 是對搜索關鍵詞重要性的科學度量，具備很強的理論根據。即使不精通搜索的人，直接採用 TF-IDF 效果也不會太差。現在各家搜索引擎都在 TF-IDF 的基礎上做了一定的改進和微調，但原理上與 TF-IDF 相差不遠。