人工智能領域的缺口：“必須有更多的概念上的突破，在規模上，還需要加大。"

神經網絡的弱點：“神經網絡在處理多參數少量數據時，表現不錯，但是這方面，人類似乎做得更好。"

人腦如何工作：“大腦內部是參與神經活動的大向量。"

現代人工智能革命始于一場默默無聞的研究競賽：2012年，即第三屆圖像網絡競賽（ImageNetcompetition），挑戰團隊需要建立一個能識別1000個物體的計算機視覺系統，這1000個物體中包括動物、景觀和人類。

在前兩年，即便是最好的參賽團隊，準確率都不超過 75%。但是到了第三年，三位研究人員（一位教授和他的兩個學生）突然打破了這個天花板，他們驚人地超出了10.8個百分點，贏得了比賽。那個教授便是杰弗里·辛頓，他們使用的技術叫做深度學習。

自20世紀80年代以來，辛頓一直致力于深度學習的研究工作，由于缺乏數據和計算能力，其有效性受到了限制，一直到2012年才取得成果。辛頓對這項技術的堅定信念最終帶來了巨大的回報：在第四年的圖像網比賽（ImageNet competition）中，幾乎所有參賽隊都在使用深度學習，并獲得了神奇的準確性。很快，深度學習便被應用于圖像識別之外的任務。

去年，由于他在這一領域的特殊貢獻，辛頓與人工智能的先驅們YannLeCun和Yoshua Bengio一起被授予圖靈獎。10月20日，我在麻省理工學院技術評論的年會“Em Tech MIT會議”上與他談到了這個領域的現狀，以及下一步的方向。

為了表達清楚，對以下內容進行了編輯和濃縮。

你認為深度學習足以復制人類所有的智力，為什么這么確定？

我深信深度學習將無所不能，同時，我認為必須有相當多的概念上的突破。例如，2017年AshishVaswani等人，引入“transformer”“transformers”這個概念，它利用向量來表示詞義，這是一個概念性的突破，目前幾乎用于所有的自然語言處理模型。我們需要更多類似的突破。

如果有了這些突破，是否能夠通過深度學習來模擬所有人類智力？

的確如此，特別是如何獲得神經活動的大向量來實現“推理”這樣的突破。但同時我們需要大幅度增加規模。人腦大約有100萬億個參數，即突觸，是真正的巨大模型，像GPT-3（https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/），有1750億個參數，但它比大腦小一千倍。GPT-3現在可以生成看似合理的文本，但與大腦相比，它依然太小。

提到規模時，是指更大的神經網絡，更多的數據，還是兩者兼而有之？

兩者兼而有之，計算機科學中發生的事情和人們實際發生的事情之間存在某種差異。與獲得的數據量相比，人們擁有更多的參數。神經網絡擅長處理有大量參數的少量數據，但人類在這方面卻做得更好。

很多業內人士認為，下一個大的挑戰是常識，你同意嗎？

我同意，這是一件非常重要的事情，我認為運動控制也非常重要，而深層神經網絡現在正變得越來越擅長這一點。特別是，谷歌最近的一些工作表明，可以完成精細的運動控制并與語言相結合，比如：打開一個抽屜，取出一個小木塊，系統便可以用自然語言告訴你它在做什么。

像GPT-3這樣的模型，它可以生成精彩的文本，很明顯，它必須深入理解才能生成該文本，雖然我們對于它理解的程度還不太清楚。但是，如果有什么東西打開抽屜，拿出一個小木塊并說：“我剛剛打開一個抽屜，拿出小木塊一個”，也可以說它明白自己在做什么。

人工智能領域一直把人腦作為其最大的靈感來源，不同的人工智能方法源于認知科學中的不同理論。你是否相信大腦實際上建立起了外部世界的表征之后，再來理解它，或者這只是一種有用的思考方式？

很久以前，在認知科學中，兩個學派之間存在著一場爭論：其中一個是由斯蒂芬·科斯林(Stephen Kosslyn)領導的，他認為，當大腦處理視覺圖像時，你擁有的是一組正在移動的像素；另一學派則更符合傳統的人工智能，“不，不，這是胡說八道，它是分層、結構性的描述。腦內處理的是一個符號結構。”

我認為他們都犯了同樣的錯誤。科斯林認為我們處理的是像素，因為外部圖像是由像素組成的，這是能為我們理解的一種表示；有人認為大腦處理的是符號，是因為我們也在用符號表示事物，這也是我們能理解的一種表示。我認為二者都不對，實際上大腦內部是多個神經活動的大向量。

仍然有許多人認為符號表示是人工智能的方法之一。

當然。我有像赫克托·萊維斯克（Hector Levesque）這樣的好朋友，他們相信符號表示的方法，并在這方面做了很棒的工作。我不同意他的觀點，但符號表示方法是一件完全合理的事情。我猜測，符號只是存在于外部世界中，在大腦內部，用大向量進行內部操作。

你認為你對人工智能未來最與眾不同的觀點是什么？

好吧，我早先持有的與眾不同的觀點，五年后，它們卻成為了主流。早在20世紀80年代，我的大多數反向觀點現在都被廣泛接受了，現在大多數人都同意并接受了這些觀點。所以，在某種程度上可以說，我的逆向觀點已被削弱了。

原文標題：

AI pioneer Geoff Hinton: “Deep learning is going to beable to do everything”

原文鏈接：

https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/