核心概念#

將自然語言處理從基於規則的方法轉向基於統計的方法，貢獻最大的兩個人是賈里尼克（開創性人物）和米奇·馬庫斯（Mitch Marcus，將此方法發揚光大）。馬庫斯的貢獻不是直接的發明，而是通過建立 LDC 語料庫和培養一大批優秀弟子來造福整個領域。

1. 教父馬庫斯#

• 馬庫斯和賈里尼克一樣，經歷了從工業界（AT&T 貝爾實驗室）到學術界（賓夕法尼亞大學）的轉行
• 他在賓大用統計的方法進行句子分析，做出不少成績，證明了統計的方法比規則的方法更適合自然語言的深入分析
• 馬庫斯發現兩大難題：可用於研究的統計數據明顯不夠；各國科學家因使用不同數據導致結果無法互相比較

建立 LDC 語料庫#

• 馬庫斯推動美國自然科學基金會（NSF）和 DARPA 出資，聯絡多所大學和研究機構，建立了 LDC（Linguistic Data Consortium）
• 其中最著名的語料庫是 Penn Tree Bank：收集真實書面英語語句，人工進行詞性標注和語法結構標建
• 後來 LDC 擴展到覆蓋多種語言（包括中文）的語音、機器翻譯等多種數據庫
• 過去 20 年裡，機器學習和自然語言處理領域 80% 的成果來自數據量的增加，馬庫斯對數據的貢獻獨一無二

管理風格#

• 馬庫斯放手讓博士生研究自己感興趣的課題，題目覆蓋了自然語言處理的很多領域
• 他能快速判斷一個研究方向是否正確，省去博士生大量無謂嘗試的時間
• 他主張建立幾個世界上最好的專業，而不是專業最齊全的系
• 在互聯網熱門時期，他有遠見地在賓大設立了生物資訊學專業

馬庫斯有點像日本圍棋界的木谷實——他的影響力很大程度上是靠他的弟子們傳播出去的。

2. 從賓夕法尼亞大學走出的精英們#

2.1 柯林斯：追求完美#

• 邁克爾·柯林斯（Michael Collins）1993 年從劍橋大學碩士畢業後，師從馬庫斯
• 他寫了以自己名字命名的自然語言句法分析器（Sentence Parser），在相當長時間內是世界上最好的
• 柯林斯的特點是把每個細節都研究得很仔細，整個工作可以用完美來形容
• 他的博士論文基本成為自然語言處理領域的範文
• 在麻省理工學院短短七年間，三次獲得 EMNLP 最佳論文獎、兩次 UAI 最佳論文獎、一次 CoNLL 最佳論文獎
• 2011 年被哥倫比亞大學以潘迪特（Vikram Pandit）教席教授職位挖走

2.2 布萊爾：簡單才美#

• 艾里克·布萊爾（Eric Brill）的研究方法與柯林斯截然相反——總是試圖尋找最簡單的方法
• 他的成名作是基於變換規則的機器學習方法（Transformation Rule Based Machine Learning），看似複雜但其實非常簡單：
  1. 把每個拼音對應最常見的漢字作為初始結果
  2. 「去偽存真」：根據上下文列舉所有同音字替換規則
  3. 「去粗取精」：將規則應用到標注好的語料中，保留有用的、刪掉無用的
• 布萊爾離開學術界後去了微軟研究院，創立了數據挖掘和搜索研究領域，後升任 CTO 兼主管研究的副總裁
• 他善於尋找簡單但有效的方法，且不隱瞞自己的方法，所以常被別人超越——但他總是已經轉向新方向了

本章小結#

馬庫斯和他的弟子們代表了自然語言處理領域的兩種重要風格：柯林斯的「務於精純」和布萊爾的「觀其大略」，兩者都為這個領域做出了重要貢獻。