核心概念#
搜索廣告比傳統展示廣告（Display Ads）賺錢多很多，關鍵技術在於靠預測用戶可能點擊哪些廣告來決定展示哪些廣告。邏輯回歸模型（Logistic Regression Model）正是預估點擊率的核心工具。
搜索廣告的發展#
搜索廣告經歷了三個階段：
- 競價排名（早期 Overture 和百度）：按廣告主出價高低排名，誰給錢多就優先展示。雅虎假設出得起價錢的就是好公司，但事實上很多是賣假藥謀暴利的公司，破壞了用戶體驗
- 點擊率預估（Google 模式）：不只看出價，還綜合考慮點擊率（Click Through Rate, CTR），Google 的 RPM（千次搜索收入）是雅虎的兩倍以上
- 全局優化：進一步優化，與本章主題無關
預估點擊率的挑戰：
- 新廣告沒有歷史數據
- 即使舊廣告，特定查詢對應的數據也嚴重不足（數據稀疏問題）
- 點擊率與展示位置有關，需要消除位置噪音
- 影響點擊率的因素非常多，難以用單一模型描述
邏輯回歸模型#
- 邏輯曲線（Logistic Curve）是一條 S 形曲線，值域在 $(0, 1)$ 之間，一開始變化快、逐漸減慢、最後飽和
- 邏輯回歸函數：$f(z) = \frac{e^z}{e^z + 1} = \frac{1}{1 + e^{-z}}$
- 好處：自變量範圍為 $(-\infty, +\infty)$，而值域限制在 0-1 之間，正好對應概率分布
- 將多個影響因素線性組合：$z = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + … + \beta_k x_k$
- $x_i$ 代表各種影響概率的變量（廣告位置、與搜索詞的相關性、展示時間、目標人群性別等）
- $\beta_i$ 為回歸參數，表示對應變量的重要性
邏輯回歸函數其實是一個一層的人工神經網絡。它和最大熵模型在函數值和形態上有共性，訓練最大熵模型的 IIS 方法可以直接用於訓練邏輯回歸函數的參數。
實例：搜索「鮮花」、廣告是「玫瑰」、用戶為男性，設定參數後計算 $Z=52$，點擊率預估 $P = \frac{1}{Z} = 0.019 = 1.9%$。
本章小結#
邏輯回歸模型是一種將影響概率的不同因素結合在一起的指數模型，訓練方法與最大熵模型類似，可採用迭代算法 GIS 和改進的 IIS 來實現。目前 Google 和騰訊的廣告系統都採用了邏輯回歸函數來預估點擊率。