要把那些技術混合在一起，才能達到我們的目標呢？

符號式操作 (Symbolic Operation)

符號式操作 (Symbolic Operation) 是混合式架構的其中一項重要技術。軟體工程師們對符號式操作絕對不陌生，我們每天寫的電腦程式就是一種符號式操作。變數 (variables) 、實例 (instance)、變數與實例結合 (bindings that tie variables to instances)、以及對變數的操作 (operations over variables) 代表了每一個電腦程式運作的狀況。

當我們寫一個程式來比較兩個輸入浮點數 (floating point) 的大小時，經過除錯後，我們可以預期對於所有的浮點數，不管在程式開發時我們有沒有用到它們來測試，這個程式都可以輸出正確的結果，或者是說我們可以信任這個程式的輸出結果。

「可信任」，這個是符號式操作的很重要的優點，試想如果是一個 DNN 模型，我們要收集多少訓練資料來訓練我們的模型，而後我們才敢說「對所有可能的輸入，此模型的輸出是可以被信任的」！

符號式操作另外一個重要的特點是，它處理的是經過符號化的高階抽象概念，一個符號代表了某一類型資料的全體，而現今的機器學習模型，它們是針對訓練資料集合中的每一個「個別資料」執行訓練，在複雜的問題上，我們不太容易保證所收集到的訓練資料集可以完全代表實際運作時的輸入資料。

Marcus 與許多認知科學家都認為，對於符號的掌握 (symbol manipulation) 是人類認知行為中的重要基礎。例如「姊姊」這個語言符號，小孩子很快就會學會它不只代表某一個人，它代表了家庭裏具有某種特質的一群人。研究顯示，七個月大的嬰兒就可以學會認出像「la ta ta」這種 ABB 音節的聲音模式，並且可以將此模式外插至她從來沒有聽過的音節組合 (例如「嚕拉拉」)。

對於符號的掌握也是建構人類高階認知結構的基礎，同時人類也用這個能力來追踪某一「隨著時間變化的特定個體」，不致因為此個體的些許變化而造成我們不認得它。

雖然符號的掌握是如此的重要，現今大多數的 AI 研究都忽略了它的存在。然而 Marcus 預估在未來的幾年，AI 的研究會重新重視它。深度學習的技術，在「人工學習」與「大量資料的運用」上發揮得淋漓盡致，而符號的處理則適合於知識的抽象化，研究人員將會開始思考將符號處理與現行的深度神經網路結合，建立一個混合式的系統，因為這是突破 DNN 限制的最佳選擇。

混合系統的興起

一般說來，混合系統會比單一系統更加有效能。

事實上，現今一些知名的 AI 系統皆是混合系統，Google Search 就是一例，由許多資料來源顯示，它是融合了深度學習技術與符號處理機制的一個混合系統。它使用了一個稱為 Google Knowledge Graph 的傳統符號圖形資料結構 (classic symbolic graph structure)，並結合 BERT 和 RankBrain 等深度神經網路模型。

AlphaGo 也是一個混合系統，它結合了蒙地卡羅樹搜尋 (Monte Carlo Tree Search) 技術，其結構本身就是一個由符號架構出的搜尋樹。文獻中記載，若僅使用深度學習模型，AlphaGo 是無法達到現在的水準的。

也有其他一些嘗試將符號處理與深度神網路結合的研究，有些獲得相當不錯的效果。有許多這類的例子，不勝枚舉，他們提出了各式各樣的新的架構建議。目前還無法判斷那些架構未來將會勝出，就讓我們拭目以待。

反對的聲音

當然會有些立場鮮明的反對聲音，其中之一是來自大師 Hinton，他認為投資在混合模型是一個巨大的錯誤，就好像拿一個古老的汽油引擎放入現代的電動車裏。(真的很毒)

另外還有：

符號並沒有在生物學或生理學上存在的證據
Symbols are not biologically plausible

符號式的系統和混合式的系統過去並沒有良好的效能表現
Symbolic systems/hybrid systems haven't worked well in the past

符號處理和混合式的系統沒有辦法擴充
Symbol manipulation/hybrid systems cannot be scaled

Marcus 認為這些論述雖然確實部份反應了現況，但並不是永恒的真理，事實上其中充滿了偏見。

結語

符號操作提供了解決資料外插問題的部份解答 (亦即還要配合其他方法)，其中最有效的符號操作方式，應是使用變數來架構演算法，使得此演算法適用於這些變數所代表的所有數值。符號操作同時提供了一個建構「更結構化的知識表達體系」的基礎。

了解了符號操作的優點，接下來最重要的，是找出一個令人滿意的學習 (或訓練) 框架 (framework for learning)。這個框架要能以混合系統來整合兩者的強項：深度學習處理大量資料及學習的能力，加上符號處理知識抽象化能力及邏輯推理能力。