核心概念#

數字、文字和自然語言一樣，都是信息的載體，它們之間原本有著天然的聯繫。語言和數學的產生都是為了同一個目的——記錄和傳播信息。直到半個多世紀前香農博士提出信息論，人們才開始把數學和信息系統自覺地聯繫起來。

信息#

• 人類的祖先在長成現代人的模樣之前，就開始使用和傳播信息了
• 原始人通過特定的聲音來傳播信息，如用「那裡有只熊」來提醒同伴
• 這種信息的產生、傳播、接收和反饋，與今天最先進的通信在原理上沒有任何差別
• 隨著文明的進展，需要表達的信息越來越多，語言就此產生
• 語言是那個時代最寶貴的財富，通過口述傳給了後代

文字和數字#

• 當語言和詞彙多到人類大腦記不住的時候，高效記錄信息的需求產生了——這便是文字的起源
• 在中國，最早的甲骨文出現在幾千年前；古埃及發明了象形文字（Hieroglyphic）
• 象形文字的數量與文明需要記錄的信息量顯然相關
• 文字按照意思來聚類，產生了概念的歸類，這與今天自然語言處理中的聚類原理相似
• 數字的出現是因為人們的財產多到需要數一數才能搞清楚有多少
• 早期數字只是承載信息的工具，並不具有任何抽象含義
• 古印度人發明了包括 0 在內的 10 個阿拉伯數字，這是全世界通用的數字表示法

羅塞塔石碑（Rosetta Stone）上刻有三種語言的同一內容，它的破譯讓我們了解了整個古埃及的歷史。對自然語言處理有兩點啟示：(1) 信息的冗餘是信息安全的保障；(2) 雙語對照語料是機器翻譯研究的基礎。

文字和語言背後的數學#

• 自然語言的發展在冥冥之中受著信息科學規律的引導
• 楔形文字實際上是拼音文字，是地球上最古老的拼音文字
• 從象形文字到拼音文字是一大飛躍：人類在描述物體的方式上，從物體的外表進化到了抽象的概念，同時不自覺地採用了對信息的編碼
• 在羅馬體系的文字中，常用字短、生僻字長；意型文字中，常用字筆畫少、生僻字筆畫多——完全符合信息論中的最短編碼原理
• 猶太人抄寫《聖經》時發明了一種校驗碼方法，原理和我們今天計算機中的校驗是相同的

語言的語法規則是解碼的規則。詞可以被認為是有限而封閉的集合，而語言規則是無限和開放的集合。這就是為什麼任何語言都有語法規則覆蓋不到的地方。

本章小結#

文字、數字和語言的歷史展示了語言和數學天然的內在聯繫。本書後續討論的重點概念包括：通信的原理和信息傳播的模型、（信源）編碼和最短編碼、解碼的規則（語法）、聚類、校驗位、雙語對照文本與機器翻譯、多義性和利用上下文消除歧義性。