以下文章來源于數據STUDIO ，作者路

在今年的三月10日，Robust.AI 創始人、紐約大學名譽教授 Gary Marcus 表示端到端的深度學習可能將要撞到南墻了。在他的一些文章中，他認為目前的端到端深度學習會在我們需要粗略結果時表現得很好，但在讓真正人工智能具備理解能力這件事上早已遇到瓶頸。而他認為人工智能的正確發展方向可能是符號系統+神經網絡的混合系統。

Marcus推特，圖片來源@Twitter

為什么他會提出這樣的觀點，目前人工智能的發展方向到底出了什么問題？而符號系統又是什么體系，AI的未來是否真正和它有關系？本文就針對此問題進行討論。

要討論智能，首先需要強調人類的兩類認知系統。認知科學中將人類的認知分為系統1和系統2，其中系統1表示直覺的、快速的、無意識的、非語言的、習慣的認知系統，系統2則表示慢的、有邏輯的、有序的、有意識的、可用語言表達以及可推理的系統。想要形象地理解這兩者可以看下圖。

穆勒-萊爾視覺，圖片來源@知乎

該圖是經典的穆勒-萊爾幻覺，實際上三個線段長度相同，但在第一眼看上去會認為它們長度不同。這里認為它們長度不同的第一直覺就運用了系統1，經過推理后得出它們長度相同的結論就運用了系統2。目前的深度學習，具備快速、端到端、非語言、不可解釋的特點，就類似于人類智能中的系統1。但我們知道，人的智能絕不僅僅限制于直覺，而是具有推理能力和可解釋性的系統2。因此未來想要發展出真正人性化的人工智能，需要的不是繼續在系統1人工智能的領域深耕，而是轉向系統2人工智能進行研究。提起人工智能不得不首先提及圖靈。早在1950年，圖靈就提出了著名的圖靈測試，用于測試機器能否表現出與人等價或無法區分的智能。在1956年的達特茅斯會議上，“人工智能”的概念被首次提出。這是人類歷史上第一次人工智能研討，標志著人工智能學科的誕生。之后在人工智能的發展過程中，不同時代、學科背景的人對于智慧的理解及其實現方法有著不同的思想主張，并由此衍生了不同的學派，影響較大的學派及其代表方法如下：

人工智能學派，圖片來源@知乎

其中聯結主義和符號主義是最主要的兩大派系。近年來由于強化學習取得了顯著成就（AlphaZero稱霸圍棋領域），行為主義學派也越來越受重視。在人工智能的發展過程中，不同的學派提出了不同的研究方法，其中最主要的一個分支就是機器學習。目前常見的機器學習算法如下圖所示，該圖按照有監督學習、無監督學習和強化學習的類別進行分類，需要強調有一些算法游離于這個體系之外（如PCA降維），有一些算法不僅僅局限于標記出的這一個類別（如神經網絡）。

機器學習分類，圖片來源@自制

需要強調的是，人工智能包括機器學習，機器學習包括深度學習，相互之間是包含和被包含的關系。目前而言，在各種問題領域效果最好的無疑是深度學習。

深度學習（即神經網絡）最近幾年的興起始于2012年，Hinton和他的學生Alex Krizhevsky設計的AlexNet神經網絡模型在ImageNet競賽大獲全勝，這是史上第一次有模型在 ImageNet 數據集上有如此出色的表現，并因此引爆了神經網絡的研究熱情。但和很多人想象中不同，神經網絡在很早之前就已經產生。1957年，Frank Rosenblatt就已經在當時的計算機上模擬實現了感知機（Perceptron），可以被視為一種最簡單形式的前饋式人工神經網絡。1974年，哈佛大學Paul Werbos在其博士論文里首次提出了通過誤差的反向傳播(BP)來訓練人工神經網絡，但局限于算力在該時期未引起重視。1982年，John Hopfield發明了霍普菲爾德網絡，這是最早的RNN的雛形。1986年，Hinton等人先后提出了多層感知器(MLP)與反向傳播（BP）訓練相結合的理念，開啟了神經網絡新一輪的高潮，但同樣由于算力不足未能取得較大突破。1989年，LeCun 結合反向傳播算法與權值共享的卷積神經層發明了卷積神經網絡（Convolutional Neural Network，CNN），并首次將卷積神經網絡成功應用到美國郵局的手寫字符識別系統中（類似于現在的MNIST數據集）。1997年，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長短期記憶神經網絡(LSTM)。2006年，Hinton以及他的學生正式提出了深度學習的概念（Deeping Learning），這一年也被稱為深度學習元年，而Hinton被稱為深度學習之父。之后自從2012年AlexNet網絡的爆火直到現在，深度學習一直是人工智能研究的最前沿，陸陸續續解決了許多不同領域的各種問題。

神經網絡，圖片來源@知乎

但同時，深度學習也有許多不可忽視的缺點：只能根據既有的數據來學習而不會判斷數據正確性，且無法解釋做出的決策。而從系統設計的角度上來說，深度學習正因為犧牲了微觀和主動意義上的可解釋性（如設定某個節點或者某個參數的含義），轉向架構和機制上的設計，從而獲得了系統描述能力上的靈活性。即深度學習取得如此優秀成績的原因，恰恰是因為其有這些缺點。到目前為止，深度學習的唯一真正的成功是使用連續幾何變換將空間 X 映射到空間 Y 的能力，但還要給出大量的人為注釋的數據。神經網絡做到的這一切基本上能改變每一個行業的游戲規則，但是距離第二類人工智能還有很長一段路要走。為了讓 AI 解決這些限制，并開始與人類大腦競爭，我們需要跳出簡單的輸入到輸出映射，關注推理和抽象。這也是Gary Marcus認為需要引入符號系統的原因之一。那么除了深度學習之外，機器學習的其他類型能否成為AI未來所走的道路呢？

如本文第一部分所述，深度學習被包含在機器學習里面。而機器學習又可分為主要三種類型：有監督學習、無監督學習和強化學習。在監督學習中，計算機從過去的數據中學習，并將學習的結果應用到當前的數據中，以預測未來的事件。在無監督學習中，計算機使用既未分類也未標記的數據自行學習。在強化學習中，計算機通過與環境進行交互獲得的獎賞指導行為。

有監督學習和無監督學習的區別，圖片來源@知乎

目前而言，無監督學習很難取得突破性進步。在機器學習領域，輸入數據一般是現實生活中的數據。這些數據存在著動力學特征、邏輯聯系等等，對于人類來說，這很容易找到其中的關系、但是對只有邏輯計算能力和數學計算能力的計算機來說，這很難去理解。事實上很有可能需要等計算機擁有自主邏輯思考和推理能力后，無監督學習才能取得較大突破，即無監督學習不是系統2人工智能的產生方式，而是系統2人工智能的產生結果。而有監督學習，包括深度學習，無論方法如何繁復，其本質都是一樣的，就是在大量輸入輸出數據中找出一個能夠較好擬合輸入對應輸出的函式。這使得在訓練集能較好地代表整個數據集的分布時，有監督學習能取得較好的結果。而訓練集無法代表整個數據集時，會大大降低有監督學習的效果。這也是有監督學習中數據處理往往占據最重要地位的原因。要想在有監督學習中取得更精確的效果，就必須獲取更多的數據進行訓練，這些數據往往都需要人工進行標注。有監督學習的學習結果類似于我們人類進行大量訓練后在相似情景下第一直覺做出的反應，并沒有超出系統1人工智能的范疇。此外，有監督學習還有一個巨大的隱患就是當其遇到與訓練集差別巨大的數據時，其輸出結果極為不可控（例如特斯拉事故）。那么，強化學習能否產生更人性化的智能呢？

從理論上看，強化學習中計算機通過與環境進行交互獲得的獎賞指導行為，更類似于我們人類的學習方式，而且AlphaZero及其他強化學習模型的成功應用似乎也證實了這一點。強化學習的學習過程為設計獎勵函數、模型進行訓練、按照獎勵結果進行自我調整，比起深度學習模型來說，確實更有主動學習的味道。目前圍繞深度強化學習的一些實驗已經取得了一定的成功，可以教會深度強化學習智能體玩一些電子游戲和棋類游戲。但是將深度強化學習的任何成果轉移到現實世界的生產系統中，卻無一例外都失敗了。這是為什么呢？

強化學習，圖片來源@知乎

舉一個現實點的例子。假設你需要教會機械臂幫你疊衣服，你該如何寫一個獎勵函數來獎勵或懲罰它呢？當你向另一個人描述這一點很容易，你可以說“把這堆衣服疊整齊”。但是，計算機并不理解“整齊”是什么意思。對于每個步驟，都必須用一種計算機能夠自己衡量進展的方式來設計獎勵函數，而不需要知道它實際在做什么。因此，可能會從機械臂觸摸褲子開始獎勵，然后機械臂抓住褲子或者移動褲子就獎勵更多的分數。接下來實際的折疊動作這塊，該如何獎勵呢？疊三折可以得到獎勵嗎？不起皺的話，獎勵怎么算？看到問題的關鍵出在哪里了嗎？獎勵函數的設計。針對游戲、棋類這種人類定義好規則的行為，我們當然可以輕易地設定好獎勵函數來訓練模型。但是針對現實中的、非人類預定好的各種情況，想要設計獎勵函數需要從環境中抽象出規則，抽象的這個過程需要人類智能的參與。比如疊衣服中的“整齊”，人類有智能可以輕松理解整齊的含義，但計算機不理解，就需要人類通過自己的智能將“整齊”的各種規則抽象成獎勵函數。要想解決這個問題需要計算機能自己從環境中進行規則抽象，例如讓計算機理解“整齊”的含義，而這又跟無監督學習一樣，強化學習成了系統2人工智能的產生結果，而非系統2人工智能的產生方式。因此強化學習也很難真正成為AI未來的發展道路，只能在有明確獎勵機制的問題中發光發熱。

以數據的對象、存儲以及應用來說，無論是神經系統還是符號系統，數據建模的目的都是求解給定輸入問題的答案。而符號系統主要支持結構化的查詢、推理引擎等，能夠實現復雜問題的求解，用來處理離散的、結構性的表示、操作以及知識（包括圖結構、變量、遞歸和指代等），具有清晰、精確、高執行效率、可解釋的優點。可以認為結構化數據庫是目前符號系統的最典型應用。ACM圖靈獎獲得者Leslie Valiant曾精辟地指出：神經系統側重對數據特征的學習過程，而符號系統包含的一定是一個搜索過程，后續大量面向符號系統的研究本質上致力于各種高效的搜索算法。

符號系統，圖片來源@百度學術

總的來說，符號系統具有完備的推理過程和良好的可解釋性，而“神經+符號”系統無疑是人工智能的理想模型。一個完美的“神經+符號”系統應該具有以下特點和優勢：可以輕松處理目前主流機器學習擅長的問題；對于數據噪音有較強的魯棒性；系統的求解過程和結果容易被人理解、解釋和評價；可以很好地對各類符號進行操作；可以無縫地利用各種背景知識。然而，實現“神經+符號”的有機結合并不容易。目前而言，“神經+符號”的結合工作主要可以分為神經助力符號和符號助力神經兩類，仍停留在僅以一方為主，并到另一方問題的適用或遷移，實現“神經+符號”真正有機結合的系統還任重道遠。現如今，AI的研究領域仍以深度學習為代表的有監督學習為主，實現各種交叉領域的系統1人工智能。但隨著對人工智能研究的愈加深入，有越來越多的人意識到了深度學習模型的一些問題和局限性。筆者并不能確定神經網絡+符號系統的研究方向一定是對的，但就目前而言，結合神經與符號的方向值得我們去開拓和探索。哪怕最后不能取得滿意的效果，相信也會在讓AI具有推理能力的問題上取得進展。參考鏈接：https://www.51cto.com/article/627025.html
https://www.afenxi.com/116462.html
https://www.jiqizhixin.com/articles/101402
https://www.infoq.cn/article/RHWNI4h2x3Ao7I0exHMl
https://zhuanlan.zhihu.com/p/235270477
https://zhuanlan.zhihu.com/p/87153966
https://zhuanlan.zhihu.com/p/375549477
https://zhuanlan.zhihu.com/p/158896481
https://blog.keras.io/the-limitations-of-deep-learning.html