核心概念#
投資上常說「不要把所有雞蛋放在一個籃子裡」，在數學上對應的就是最大熵原理（The Maximum Entropy Principle）。當我們遇到不確定性時，應保留各種可能性，將風險降到最小。
1. 最大熵原理和最大熵模型#
- 最大熵原理：對一個隨機事件的概率分布進行預測時，預測應當滿足全部已知條件，而對未知的情況不做任何主觀假設
- 以骰子為例：對一無所知的骰子，假設每面概率均等（1/6）是最安全的做法；若已知四點朝上概率為 1/3，則其餘面概率均為 2/15——這正符合最大熵原理
- 從投資角度看是風險最小的做法；從資訊論角度看是保留了最大的不確定性（熵最大）
拼音轉漢字的例子#
- 輸入 “Wang-Xiao-Bo”，語言模型給出「王小波」和「王曉波」兩個候選
- 結合主題資訊和上下文資訊，可以建立一個最大熵模型同時滿足這兩種資訊的特徵
- 匈牙利數學家希薩（I. Csiszar）證明：對任何一組不自相矛盾的資訊，最大熵模型不僅存在，而且是唯一的
最大熵模型的數學形式#
- 採用指數函數形式：$P(w_3|w_1, w_2, s) = \frac{1}{Z} e^{\lambda_1(w_1,w_2,w_3) + \lambda_2(s,w_3)}$
- 其中 $Z$ 為歸一化因子，參數 $\lambda$ 需要通過觀測數據訓練得出
- 最大熵模型形式上最漂亮，是最完美的統計模型，在自然語言處理和金融方面有廣泛應用
拉納帕提（Adwait Ratnaparkhi）是第一個在實際資訊處理應用中驗證最大熵模型優勢的人，他成功地將上下文、詞性、句子成分等結合，做出當時世界上最好的詞性標注系統和句法分析器。
2. 延伸閱讀：最大熵模型的訓練#
- 最大熵模型形式簡單，但實現上計算量非常大
- 最原始的訓練方法是 GIS 演算法（Generalized Iterative Scaling），步驟為：
- 假定初始模型為等概率的均勻分布
- 用第 $N$ 次迭代的模型估算每種資訊特徵在訓練數據中的分布，調整參數
- 重複步驟 2，直到收斂
- 達拉·皮垂兄弟（Della Pietra）在 IBM 改進了 GIS，提出 IIS 演算法（Improved Iterative Scaling），將訓練時間縮短了一到兩個數量級
- 作者在約翰·霍普金斯大學讀博時發現了一種數學變換，進一步將訓練時間減少兩個數量級
- 最大熵模型可說是集簡繁於一體——形式簡單，實現複雜；在 Google 的機器翻譯等產品中被直接或間接地使用
- 達拉·皮垂兄弟後來用最大熵模型在文藝復興技術公司（Renaissance Technologies）進行股票預測，該基金自 1988 年以來淨回報率高達平均每年 34%
本章小結#
最大熵模型可以將各種資訊整合到一個統一的模型中。它形式簡單、效果優美，是唯一一種既能滿足各個資訊源的限制條件、又能保證平滑性（Smooth）的模型。但其計算量巨大，工程實現方法的好壞決定了模型的實用與否。