百度使用數據分析對 2014 年高考作文題目預測「命中了全國 18 卷中 12 卷作文方向」。但更重要的是:大數據的這種玩法,會給世界帶來什麼改變。

錘子和釘子#

中國高考作文出題方法有固定套路:給一段小故事,然後讓你根據這個故事想想自己受到什麼啟發。換句話說,作文重點根本不是這個故事,故事只是素材

關鍵問題:到底是主題多還是素材多?答案當然是素材多。

素材怎麼編都可以,但全體高中生都能想明白和說明白的道理就那麼幾個——具體來說,據百度數據分析,只有六個方面而已

只要熟讀這六個方面各種可能主題的文章,掌握寫作套路,不管高考出什麼素材都能應對自如

俗諺「如果你手裡有一把錘子,你看什麼東西都是釘子」本是貶義。但用在準備考試上,正好相反——只不過你需要掌握的不是一把錘子,而是六把錘子。

主題模型(Topic Modeling)#

百度作文預測使用的技術叫**「隱含狄利克雷分布」(Latent Dirichlet Allocation, LDA)**——2003 年才被提出的新技術,發明人之一剛加入百度負責「百度大腦」項目(吳恩達 / Andrew Ng)。

LDA 基本思想#

計算機認為文章只不過是一些詞匯的集合,每個主題也只是一些關鍵詞的集合。計算機沒必要「理解」每個主題或詞的意思,甚至不用管詞出現的順序。

工作流程:

  • 人為設定一些主題,並用數據分析給每個主題設定關鍵詞
    • 例:「狗」主題的關鍵詞包括「骨頭」、「汪星人」、「忠誠」、「朋友」(最近恐怕還要加上「廣西玉林」)
  • 同一個詞可在多個主題中出現,但出現概率不同
  • 計算機分析文章詞匯,計算對應每個主題的可能性

百度把海量作文用此方法分析一遍,再結合年度風雲搜索信息和當年熱點新聞,就能判斷現在最流行的作文主題。

LDA 的應用#

  • 改成「圖像」+「物體」 → 圖像分析和分類
  • 音樂樂句 + 受喜愛程度 → 歌曲推薦
  • 新聞報道、電影劇本、小說和遊戲情節分析

機器可以比任何文化批評家更早意識到現在流行什麼。

未來:軍備競賽#

設想幾年之後,所有考生都熟練掌握百度指出的任何主題:

  • 高考作文成績將非常接近
  • 但這是出題者所不願意看到的——高考作用不是證明學生學得好,而是為了選拔,必須有比分差距

出題者怎麼辦?必須打破俗套,發明全新主題! 從這個意義上講數據分析帶來了社會進步。

但這有一個問題。數據分析會迅速發現新主題並促使其流行,等到所有考生都掌握,這個新主題就又沒用了。

所以數據分析的真正作用是能讓好東西迅速流傳開來……然後迅速消亡。

華爾街軍備競賽的啟示#

華爾街金融公司使用數學模型進行股票交易:

  • 一開始只有你在用,可以非常賺錢
  • 一旦別人也開始用,市場效率提高,回報率越來越低
  • 必須再發明新模型、更複雜的模型
  • 直到這個模型也變得不好使

結果華爾街永遠需要新模型,而且越來越複雜,越來越不容易賺錢。這是一場軍備競賽。

主題也是如此。一個好使的主題會因太多人使用而不再好使,人們被迫發明新主題,但新主題也將會變得不好使。

這都是互聯網和數據分析帶來的。整個過程的節奏可能會越來越快。歷史必然加速前進,直到……