邁向強固型 AI (Towards robust artificial intelligence)

邁向強固型 AI，這是論文的第一章標題。

Marcus 認為下一個階段的 AI，應該是「強固型的 AI (Robust AI)」，在現在這個時間點，它應該比「超人類 (superhuman) 的智慧系統」或「通用人工智慧」更重要，畢竟一個不強固、不能被信任的系統，就算它的能力再強，也不能被廣泛使用。（就像是一個人，能力非常強但不值得信任，我們也不敢在工作上委以重任）

Marcus 定義強固型 AI 的特質是：

• 能被信任，值得依賴，可以被系統性地應用於廣泛的場合，解決廣泛的問題。
• 綜合各種知識來源，能夠理解我們所處的這個變化多端的世界。
• 由一個環境脈絡（context）所學習到的知識，可以遷移應用（transferring）於另一個環境脈絡中，達到一個人類成人所能達到的水平。

Ｍarcus 之所以提出這個強固型 AI 的概念，應該是因為現今以 DNN 為主的深度學習模型，存在著一些嚴重的缺陷，它們所展現的智慧，Marcus 稱之為「狹隘的智慧 (narrow intelligence)」及「點彩式的智慧 (pointillistic intelligence)」。

狹隘的智慧系統，針對某個特定的工作能夠展現出非凡的效力，但是只要環境條件有些許的變化，它就没有辦法應付，而整個系統也必須重新訓練。AlphaGo 可能就是其中一個例子，如果今天圍棋棋盤不再是19×19 而變為 20×20 ，人類棋士稍加習慣即可去適應它，但 AlphaGo 將完全無法調適，必須打掉重練。

點彩式的智慧系統應用的範圍稍廣，在若干場合之下它們運作正常，而在另外一些場景時它們則會失誤，比較麻煩的是，使用者無法得知到底那些狀況會造成系統的失誤！時下流行的人臉辨識系統就是一例，貴公司的門禁系統導入了最新的人臉辨識系統，原本一切運作良好，然而當新冠肺炎流行大家開始戴起口罩之後，這系統一下子就失效了。

Marcus 在論文中也舉了一個例子，一輛在「雪中翻覆的校車」被誤判為「鏟雪車」，如下圖：

當系統訓練時，想必絕大多數的校車圖片裏，車體都是正常擺放的，一旦用一個翻覆的校車照片來測試系統時，就沒辦法做出正常分類！

Marcus 認為，AI 系統要能夠強固，必須先發展一個「深度理解 (Deep Understanding)」系統 (有別於現行的深度學習系統)，這個系統不僅僅是要找出訓練資料中細微的模式 (pattern) ，也要去探索 5W1H (who, what, where, why, when, and how)。

In my view, we have no hope of achieving robust intelligence without first developing
systems with … deep understanding, which would involve an ability not only to correlate and discern subtle patterns in complex data sets, but also the capacity to look at any scenario and address questions such as a journalist might ask: who, what, where, why, when, and how.

因此，僅僅期待資料量的增加及算力的提升是不夠的，我們必須重新建構一個框架 (framework) ，它能夠獲取 (acquire) 、表示 (represent)、及操控 (manipulate) 抽象化的知識，利用這些知識來建構及持續更新「外在世界的內在模型 (internal models of the external world)」。

Marcus 主張回到古典 AI 所關注的議題：知識 (Knowledge)、內在模型 (Internal Model) 、及邏輯推理 (Reasoning)，這再一次的顯示他和 Sutton 的不同，Marcus 不是不知道過去在這些方面的努力常常遇到瓶頸而無法突破，他希望能找到一些新的方法來探討這些議題。

近幾年來流行的以「深度神經網路」為主的機器學習系統早已經不再強調 (甚至於刻意忽視這些議題，並引以為傲) ，以 GPT 2/3 為例，它並沒有涉及任何「常識」的建構及擷取，沒有邏輯論證的程序，更沒有認知模型在背後支持它的產出，它是一個標準的「數據驅動典範 (data-driven paradigm)」模型。另一個例子，是 DeepMind 發表的著名的論文「Mastering the game of Go without human knowledge」，從標題上就直接否定人類知識的價值。

但是，儘管到了 GPT-3 這個堪稱史上最大的模型，運用了極為龐大的訓練資料集，它的可信賴度仍然倍受質疑。

Marcus 認為 Sutton 在「慘痛的教訓」的論述中，所舉出的例子，都局限在一個封閉領域 (closed ended domains) 中 (棋局、物件分類、語音辨識等皆屬此類)，而常識則是開放系統 (open ended)；解決下圍棋所需的技術，迥異於「有意義地評論」一則新聞，以及解決阿波羅十三號空氣過濾器的故障這種突發的狀況。後者需要大量的常識，而這是現代深度神經網路所欠缺的能力。

Marcus 在這章提出的總結是：這是要重新思考的時候了，從深度學習的諸多限制中，我們學到的，不就是應該重新考慮將「人類知識」及「認知模型」再次放入我們的 AI 系統中！

It's time for a rethink: what would our systems look like if we took the lessons of deep learning, but human knowledge and cognitive models were once again a first class citizen in the quest for AI?