AI當(dāng)前技術(shù)路線后勁不足：模型雖持續(xù)改進(jìn)，但無(wú)法實(shí)現(xiàn)AGI

• 前OpenAI聯(lián)合創(chuàng)始人和首席科學(xué)家、GPT的關(guān)鍵締造者伊利亞·蘇茨克維（Ilya Sutskever），在最近的深度訪談中揭開(kāi)了當(dāng)前AI研究最刺痛的真相：Scaling Law這條路還能繼續(xù)走，但絕不會(huì)通向AGI。他還指出，今天的模型再?gòu)?qiáng)，泛化能力也遠(yuǎn)遠(yuǎn)配不上其參數(shù)量和Benchmark的分?jǐn)?shù)，甚至遠(yuǎn)遜于人類。這次訪談最為關(guān)注的論點(diǎn)是，Ilya認(rèn)為目前主流的路線已經(jīng)明顯遇到瓶頸，AI的擴(kuò)展（Scaling）時(shí)代已經(jīng)終結(jié)。其實(shí)在NeurIPS 2024上，他就曾預(yù)言“預(yù)訓(xùn)練的終結(jié)”，但這一次他更加明確：我
• 關(guān)鍵字： AI  AGI  Scaling  預(yù)訓(xùn)練