知識表達

符號處理其中的一個關鍵技術是「知識表達 (knowledge representation)」，它是一個非常困難的工作，而到目前為止還沒有令人滿意的成果。

在 AI 的歷史裏，在這方面投入最大的專案，是由 Lenat 等人於 1984 年倡議的 CYC 專案 (CYC: Using common sense knowledge to overcome brittleness and knowledge acquisition bottlenecks.)。他們試圖將心理學、政治學、經濟學、生物學等等領域中的常識，以嚴謹的邏輯形式建構出來，以突破知識獲得的瓶頸。在數以千計的人年 (person-years) 投入後，至今仍未能看到成功的商業應用，許多人已將其視為失敗的案例。

CYC 專案耗費了數十年的時間以及龐大的人力，試圖以人工的方式將人類的知識以機器能夠理解的格式表達出來。但終究成果有限。相較於 CYC 投入的人力及其有限的成果，GPT-2 (and GPT-3) 表現不得不讓人覺得驚豔！GPT 似乎毫不費「人力」地將海量輸入資料內的「知識」提取出來。

GPT 的問題是，它只能算是一個「文字使用」的模型，而非一個「知識及概念」的模型 (it is a model of word usage, not a model of ideas)！它所表現類似智慧的行為其實只是文字語句的統計結果。

由 CYC 的耗費時間人力，以及 GPT 的膚淺，Marcus 得到的結論是：

我們需要一個像 CYC 那種以符號及抽象概念為主的知識系統，但是絕不能再試圖以人工的方式建立它，我們要找出系統化及自動化的方法，必須像 GPT 一般，無須人力介入即能處理海量的資料。
This brings me to the second major claim of the current paper: systematic ways to induce,represent, and manipulate large databases of structured, abstract knowledge, often in causal nature, are a prerequisite to robust intelligence

新的知識系統

這個知識系統必須有下列的特質：

1. 它必須要有學習能力 (Most is likely to be learned)
世界隨時都有新的知識產生，它必須能夠擷取新知識的抽象概念，及其因果關係。

2. 這個知識系統其中一部份，要包含以「符號」方式表達的社會文化常識。
這類的知識需界定變數之間定量的關係 (quantified relationships)。例如：對於所有的人類 x, y, z，如果 x 是 z 的孫子，那麼必定有個 y 他是 x 的父母 (parent) 也是 z 的子女 (child)。

3. 這個知識系統其中一部份，要包含「高階的抽象概念」
現有的知識表達形式，比較容易表達像是「出生於」 BORN (ABRAHAM LINCOLN, KENTUCKY) ，以及「首府」 CAPITAL (KENTUCKY, FRANKFORT) 這類的知識，但是對於「如果瓶子破了，他的內容物會溢出來」這類高階的概念，還沒有適當的表示方法。新的知識系統必須要克服這一點。

4. 規則 (rules) 及例外 (exceptions) 必須共存 (Rules and exceptions must co-exist)
知識系統必須能同時兼容規則及例外狀況，並能處理統計及機率性的知識。例如：「蚊子會傳染瘧疾，但不是每一隻蚊子都會」這類的知識必須能有效的表達。

5. 這個知識系統其中一部份，要包含「因果關係」，並支援「違實推論 (counterfactual reasoning)」
人們知道美國每一州有一個首府，也知道它由當州居民及政府的某些政治行為決定出來的 (因果關係)，更知道在特定的狀況下此首府是可能被更改的 (違實推論)。

6. 補足網路上無法獲得的知識
有很多知識 (由其是常識) 並不常出現在網路上，因為它們被視為理所當然，普通到人們不會去談論它們 (例如掉落的瓶子會破)。

7. 這個知識系統必須包含廣博的知識
要看懂一篇小說或一場電影，所需的知識是極其多的，這個知識系統必須有這樣的廣度。

8. 克服將知識應用於實務的困難
這個部份目前尚無有效的解決方法。

9. 這個知識系統必須包含必要的「先備知識 (prior knowledge)」
就像人類與生俱來就擁有一個本能一般，這個知識系統在自動學習之前，也應具備有先備知識。

固有的知識框架 （Innate Frameworks for Knowledge）

AI 系統是否應該具有「先備知識」？這是一個非常有爭議的話題。現今的 AI 及機器學習的主流意見，是非常排斥「先備知識」的，他們認為絕大部份的知識都應由「學習」而來。而 Marcus 和一些少數的研究人員，則認為先備知識是強固型 AI 系統所必須具備的特性！

我們暫且拋開爭議，來看看 Marcus 提出的「固有的知識框架 (Innate Framework for Knowledge)」的相關論述。

Marcus 強調:

我們需要一些核心知識， 利用這些核心知識來監督及指導我們學習其他的知識。
We need some core knowledge in order to direct the rest of what we learn.

強固型的 AI 系統應該不是從無到有，全部由學習而來的。我們應該建立一個新的學習系統，一開始它就必須包括了固有的知識框架，這個知識框架具備處理「時間 (time)」、「空間 (space)」、以及「因果關係 (causality)」的基本能力，這些基本能力一方面能加速往後系統的學習速度；另一方面能限制系統學習的結果 (constrain the hypotheisi space)，讓系統更值得信賴。

這個知識框架的格式為何有待討論，它可能是類似 CYC 的格式，也可能是一個新發明，無論如何，它是一個強固型 AI 系統的先決條件。