前OpenAI聯(lián)合創(chuàng)始人和首席科學(xué)家、GPT的關(guān)鍵締造者伊利亞·蘇茨克維（Ilya Sutskever），在最近的深度訪談中揭開了當(dāng)前AI研究最刺痛的真相：Scaling Law這條路還能繼續(xù)走，但絕不會(huì)通向AGI。他還指出，今天的模型再?gòu)?qiáng)，泛化能力也遠(yuǎn)遠(yuǎn)配不上其參數(shù)量和Benchmark的分?jǐn)?shù)，甚至遠(yuǎn)遜于人類。

這次訪談最為關(guān)注的論點(diǎn)是，Ilya認(rèn)為目前主流的路線已經(jīng)明顯遇到瓶頸，AI的擴(kuò)展（Scaling）時(shí)代已經(jīng)終結(jié)。其實(shí)在NeurIPS 2024上，他就曾預(yù)言“預(yù)訓(xùn)練的終結(jié)”，但這一次他更加明確：我們來到了研究的時(shí)代，從規(guī)模化擴(kuò)展回到了研究范式本身。他認(rèn)為2012年到2020年，是研究的時(shí)代；2020年到2025年，是規(guī)模化時(shí)代。但現(xiàn)在算力規(guī)模已經(jīng)很大了，卻不能持續(xù)帶來更好的“擴(kuò)展”，擴(kuò)展與浪費(fèi)算力之間的界線變得模糊。于是我們又回到了研究時(shí)代，“只是有了更大的計(jì)算機(jī)”。

AI與現(xiàn)實(shí)脫節(jié)

在繼續(xù)通向AGI的路途中，需要解決的根本問題是，大模型的泛化能力為什么會(huì)比人類差很多。Ilya坦言，這正是當(dāng)前AI令人困惑，最矛盾的點(diǎn)之一 —— 在各種基準(zhǔn)評(píng)測(cè)中，AI模型性能的表現(xiàn)幾乎“超乎人們的想象”，但在真實(shí)世界中，它卻常常犯一些讓人抓狂的錯(cuò)誤。

他提出了兩種可能的解釋：“比較異想天開的解釋是，也許強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練讓模型變得有點(diǎn)過于一根筋和視野狹窄，過于缺乏意識(shí)，盡管這同時(shí)也讓它們?cè)谄渌矫娓幸庾R(shí)。正因?yàn)槿绱耍鼈儫o法完成一些基本的事情。”但另一個(gè)解釋是，或許現(xiàn)在AI訓(xùn)練選擇的數(shù)據(jù)太狹窄，相比做預(yù)訓(xùn)練（pre-training）時(shí)用上所有的數(shù)據(jù)，現(xiàn)在做強(qiáng)化學(xué)習(xí)訓(xùn)練時(shí)，會(huì)針對(duì)評(píng)測(cè)集去選擇對(duì)應(yīng)的數(shù)據(jù)。這有可能解釋評(píng)測(cè)性能與實(shí)際現(xiàn)實(shí)世界性能之間的脫節(jié)。

他的猜測(cè)是，人類的價(jià)值函數(shù)在某種重要的方面受到情緒的調(diào)節(jié)，這種調(diào)節(jié)是由進(jìn)化硬編碼的。也許這對(duì)于人類在這個(gè)世界上有效行動(dòng)很重要，“簡(jiǎn)單的東西在非常廣泛的情況下非常有用”。

現(xiàn)在是研究時(shí)代

Ilya表示，預(yù)訓(xùn)練最大的突破，就是大家意識(shí)到的：“擴(kuò)散”這套「配方」真的好用，但是數(shù)據(jù)顯然是有限的。在某個(gè)節(jié)點(diǎn)上，預(yù)訓(xùn)練總歸會(huì)把數(shù)據(jù)用光的，不過Ilya再次提到，擴(kuò)散價(jià)值函數(shù)讓AI以更像人類的方式學(xué)習(xí)。也就是為模型內(nèi)置類似人類的判斷直覺、穩(wěn)定價(jià)值感受器，任務(wù)過程中的「自我評(píng)分」，這樣才能學(xué)得更快。

現(xiàn)在大家都在做一樣的事：大模型、更大模型，再大一點(diǎn)的模型。但隨著天花板臨近，瓶頸變成了點(diǎn)子本身。未來，將回到“小而美”的實(shí)驗(yàn)產(chǎn)生巨大突破，大量新的想法出現(xiàn)，以及不依賴超級(jí)算力的創(chuàng)新。就像AlexNet當(dāng)時(shí)僅用兩張GPU訓(xùn)出、Transformer用8-64塊GPU做出，也許下一次重大范式轉(zhuǎn)變，也來自“看起來不夠大”的實(shí)驗(yàn)。

在Ilya看來，「AGI」這個(gè)詞存在的理由，并不主要是因?yàn)樗且粋€(gè)描述某種智能終極狀態(tài)的重要且本質(zhì)的描述符，而是因?yàn)樗菍?duì)另一個(gè)已存在術(shù)語的反應(yīng)，那個(gè)術(shù)語就是「狹義AI」。如果你回溯到游戲AI的遠(yuǎn)古歷史，比如跳棋AI、國(guó)際象棋AI、電腦游戲AI，國(guó)際象棋AI能打敗卡斯帕羅夫，但它別的什么也不能做。

Ilya預(yù)測(cè)，大概5到20年能夠像人類一樣學(xué)習(xí)并因此隨后變得超越人類AI系統(tǒng)就會(huì)出現(xiàn)。他確信，在某個(gè)時(shí)刻，AI實(shí)際上會(huì)開始讓人感到強(qiáng)大。當(dāng)那一刻來臨時(shí)，他們會(huì)變得更加充滿危機(jī)感，我們將看到對(duì)待安全的方式，所有AI公司都發(fā)生巨大變化。