核心論點#
人類的所有思所想、發明過的所有概念、所有「語義」，都可以用數學組織起來。智能不是隨便排列組合的字符，智能應該有某種數學結構。我們可以用研究幾何學的方法研究智能，數學也許能幫我們尋找新的智能。
語言模型並不是用「語言」推理的#
跟 ChatGPT 對話，無論用中文還是英文，得到的答案並沒有實質的不同。這說明：
- GPT 面對中文提問時，並不是使用從中文語料中學到的知識回答，而是調動從所有語料中學到的全面知識
- GPT 不是先把中文翻譯成英文再思考的——它根本沒有「翻譯」這個步驟
- 不同語言之間不需要翻譯，同義詞和近義詞也不需要專門處理
因為語言模型並不是用「語言」推理的——它是用「語義向量」來推理的。
向量空間模型（Vector Space Model）#
GPT 以及任何語言模型都要先建立一個向量空間模型：
- 這是一個多維的、理論上可以無窮維的坐標系
- 每個詞語都被映射到這個空間中的一個點
- 詞語不是根據外形，而是根據語義來被映射的
具體特徵：
- 語義相近的詞在向量空間中位置非常靠近（如「汽車」「car」「automobile」「座駕」）
- 反義詞也在同一片區域但呈現某種方向相對的結構
- 模型可以從大量語料學習中自行發現各個詞彙的語義關係，不需要人為設定
一切語義都是關係，一切關係都是數學#
- 一個詞的語義是由它和別的詞之間的關係決定的
- 模型不需要學習什麼叫動詞、名詞，但能自動學會像我們一樣說「人使用錘子」而不是「人錘子用」
- 不論你輸入的提示語是哪種語言，模型只在乎其中的語義，思考過程會走到神經網絡中同樣的地方
AI 並不是用語言思考的，它是用語義思考的——它是用語言表象背後的本質思考的。
GPT 真的理解語義嗎？#
對於「GPT 只是統計數字，沒有真正理解語義」的質疑，作者有兩個反駁：
模型已經見過語義：高級的大語言模型都有多模態能力，可以處理聲音和圖像。視頻中的一輛車和文本中「車」這個詞，對應向量空間中同樣的位置。如果一個模型知道「車」字怎麼寫、怎麼讀，對應的物體是什麼樣的、有什麼用，你還能說它不「理解」車嗎？
知道詞語之間的關係就是最全面、最深刻的理解：一句話用中文說和用英文說意思一樣，具體的語言只是表象，這句話所對應的數學結構才是本質。語言模型抓住了那個數學結構，這難道不就是最本質的理解嗎？
語義幾何學的腦洞#
想象一個有多維度的向量空間，人類已知的每個語義都對應一個亮點，遠遠看去如同滿天星斗。
- 每句話由若干個語義組成，對應向量空間中幾個亮點組成的一條曲線
- 每個想法、每首詩、每個故事、每個計謀、每個智能，就都是由若干條曲線組成的形狀
- 有了向量空間這個工具，我們就把對智能和思想的研究變成了一種幾何學——也許可以叫「語義幾何學」或者「思想幾何學」
語義空間中的未知領域#
就像元素周期表剛做出來時還有一些空白位置，後來科學家果然找到了那些元素：
- 向量空間中必定還有大片黑暗的區域——那些區域對應著人類尚未發現的語義
- 蝙蝠的超聲波感知、鯨魚大腦中的特別區域——這些人類感覺不到的「感覺」，也許都在語義向量空間中有獨特的位置
- GPT 已經能夠創造出合理還很新穎的語言表達——發明新詞、新成語、新故事——這其實都是數學功夫
智能是星辰大海，數學似乎已經給我們提供了一張地圖。就算語義是有限多的，語義的組合也是無限的，而且不同文化背景中的人對同一個語義的體驗也不一樣——所以我們不用擔心智能被 AI 窮盡。