對於 Marcus 以及其他認知科學家來說，認知過程是一種循環：有機體 (例如人類) 藉由其所察覺的外界信息 (information from outside) ，建立其內在的認知模型 (cognitive models)，這個模型包含了外在世界的存在實體 (entities)，這些實體的特徵，以及這些實體的彼此相關性等等。這個認知模型不見得完整，也不是百分之百精確，卻是此有機體看待世界的重要依據，此一模型的良寙，攸關了這個有機體能否在這個世界蓬勃發展。

而這個認知模型的運作，也是有機體產生「有智慧的行為」之關鍵。

Marcus 堅決主張，不遵循上述的模式，將無法創造出強固型 AI 。AI 系統會只像 GPT 模型一樣，由大量的資料集中硬記住其關連性，而不了解其內部的涵義，而外界環境稍稍偏移其訓練資料時，這個模型的表現將非常不值得信賴。

Marcus 舉了一個簡單的例子來說明目前的 DNN 模型的弱點：

假設有一個智力測驗的題目告訴你一個函數的輸入和輸出值的對應如下，請問如果現在輸入值是 1111 ，那麼輸出值應該是多少？

身為一個一般智力的成人，我想你很容易的就可以推理出這個函數很有可能是

f(x) = x + 0

所以這個問題我們大概都會回答 1111。

如果用一個 DNN 模型，以題目所提供的輸入值做為訓練資料，並以 1111 做為測試資料，它的結果會是如何？Marcus 實作一個 Multi-layer perceptrn (MLP) ，訓練完成之後，它的輸出值是 1110！就連老頭這個半生不熟的 AI 人都不會驚訝於這個結果，因為訓練資料的 Output (也就是一般所謂的 Target) 的最右邊的那一碼永遠是 0，這會使得 MLP 在訓練過程中，將輸出的最右邊那一碼固定在 0，這是 backpropagation 演算法的特性，不論你加多少層神經網路，用其他更複雜的網路結構 (CNN, LSTM, Transformer) 都不會有什麼幫助。

總的來說，以 MLP 及 Backpropagation 為基礎的 DNN 架構有兩個重要的缺陷：

特應性 (Idiosyncrasy)

模型非常擅長記住訓練資料，測試資料如果接近訓練資料的分佈 (distribution) 狀況，它們的表現也會非常好。但是測試資料的分佈如果與訓練資料差距太大，它們的表現就會很糟糕！

對於訓練方法的過度依賴 (Excessive dependency on exact details of training regime):

深度神經網路對於訓練方式非常敏感，由其是訓練資料的順序。它們傾向記住較後的資料而淡忘之前的資料，這個現象稱為「災難性干擾」或「災難性遺忘」(catastrophic interference)。維基百科中提到：災難性干擾，也稱為災難性遺忘，是人工神經網絡在學習新信息時完全突然遺忘先前學習的信息的趨勢。

成為一個真正智慧的個體，知識的外插能力是極其重要的，任何一個成年人對於下列的敘述都可輕易的判斷它是正確的：

如果你打破一個裝有液體的瓶子，其中某些液體很可能會漏出來。
IF YOU BREAK A BOTTLE THAT CONTAINS A LIQUID SOME OF THE LIQUID WILL PROBABLY ESCAPE THE BOTTLE.

這種推理基於一些高階的抽象概念，不管這瓶子是什麼顏色，也不管其中的液體是水、咖啡、還是茶，這句話都成立。人類也可輕易地將其泛化 (generalization) ，如果其內容物不是液體，而是像砂、金屬小滾珠、骰子等固體，這個推理也是成立的。

同樣的人類也可輕易的判斷下列敘述是不正確的：

如果你打破一個裝有液體的瓶子，其中某些液體很可能會濺出到 300 公尺外。
IF YOU BREAK A BOTTLE THAT CONTAINS LIQUIDS SOME OF THE LIQUID WILL PROBABLY WIND UP 300 METERS AWAY.

以 MLP 及 Backpropagation 為基礎的 DNN 架構獲取這種高階的抽象知識，以及要擁有知識的外插能力是相當困難的，我們必須考慮使用另外一種架構。它應該是結合符號推理 (symbolic reasoning) 及 DNN 的一個混合式系統 (Hybrid System) 。