在最新一期的《Dwarkesh Podcast》訪談中，OpenAI的創(chuàng)始元老、前特斯拉AI團(tuán)隊(duì)負(fù)責(zé)人、深度學(xué)習(xí)的大佬Andrej Karpathy與主持人Dwarkesh Patel深入探討了AGI、智能體與AI未來(lái)十年的走向等AI圈核心問(wèn)題的看法。Andrej Karpathy預(yù)測(cè)未來(lái)10年的AI架構(gòu)仍然可能是類似Transformer的巨大神經(jīng)網(wǎng)絡(luò) —— 認(rèn)為當(dāng)前的智能體仍處早期階段，強(qiáng)化學(xué)習(xí)雖不完美，卻是目前的最優(yōu)解。

Andrej Karpathy認(rèn)為真正學(xué)習(xí)知識(shí)，要從你從頭開(kāi)始構(gòu)建一些東西時(shí)開(kāi)始。因?yàn)檫@時(shí)你才會(huì)被迫面對(duì)你所不理解的東西。他相信費(fèi)曼的一句名言：“如果我不能構(gòu)建它，我就不理解它。”所以，他給出的最佳學(xué)習(xí)方式是：“不要寫博客文章，不要做幻燈片，去構(gòu)建代碼，并讓它工作，這是唯一的學(xué)習(xí)途徑。否則你就會(huì)缺少知識(shí)。”

AGI還有十年之遙

對(duì)于業(yè)內(nèi)普遍鼓吹的「智能體元年」，Andrej Karpathy認(rèn)為行業(yè)里存在一些過(guò)度預(yù)測(cè)，“雖然我每天都在用一些非常出色的智能體，比如Claude和Codex，但它們?nèi)允且恍┓浅３跗诘闹悄荏w，還有大量工作要做，這也是我們?cè)谖磥?lái)十年內(nèi)要持續(xù)研究的東西。”

Andrej Karpathy列舉了當(dāng)前智能體的主要問(wèn)題：智能不足、多模態(tài)能力弱、無(wú)法自主操作電腦等，這主要是由于智能體在認(rèn)知上存在缺陷，也沒(méi)有持續(xù)學(xué)習(xí)能力。而這些基礎(chǔ)性問(wèn)題的解決，大約需要十年。

親自經(jīng)歷了AI行業(yè)的幾次重要變革，Andrej Karpathy從中看到一些規(guī)律性，這是基于他的個(gè)人直覺(jué)以及在AI行業(yè)大約15年的經(jīng)驗(yàn)所做出的判斷。值得注意的是，他還預(yù)測(cè)未來(lái)十年AI的核心架構(gòu)仍可能基于Transformer，但形態(tài)會(huì)有所演化，“可以打賭的是，根據(jù)平移等變性，十年后我們?nèi)匀粫?huì)用前向后向傳播和梯度下降來(lái)訓(xùn)練巨大的神經(jīng)網(wǎng)絡(luò)，但也許它看起來(lái)會(huì)有點(diǎn)不同，而且所有東西都會(huì)變得更大。”

談及當(dāng)下最熱門的大模型，Andrej Karpathy認(rèn)為它們?nèi)源嬖诟拘缘恼J(rèn)知局限。在他看來(lái)，這個(gè)行業(yè)“跳”得太快了，有時(shí)假裝很神奇，但可能只會(huì)出現(xiàn)粗制濫造的東西。

在被問(wèn)及如何讓AI進(jìn)一步學(xué)習(xí)和改進(jìn)時(shí)，Andrej Karpathy提到了強(qiáng)化學(xué)習(xí)的兩難處境：在強(qiáng)化學(xué)習(xí)中，假設(shè)要在解決一個(gè)數(shù)學(xué)問(wèn)題，首先會(huì)嘗試數(shù)百種不同的嘗試，這些嘗試的過(guò)程可能很復(fù)雜，而且還會(huì)產(chǎn)生許多“噪聲”；但相比過(guò)去的方法，它仍是目前最優(yōu)解。未來(lái)可能需要引入更高層次的「元學(xué)習(xí)」或合成數(shù)據(jù)機(jī)制來(lái)改進(jìn)模型評(píng)估，但目前尚無(wú)實(shí)驗(yàn)室在大規(guī)模通用環(huán)境下成功實(shí)現(xiàn)這一點(diǎn)。

人類學(xué)習(xí)與機(jī)器學(xué)習(xí)的對(duì)比

人類在學(xué)習(xí)時(shí)不僅吸收信息，還通過(guò)反思、討論等方式整合知識(shí)，而當(dāng)前大模型僅僅通過(guò)預(yù)測(cè)下一個(gè)詞進(jìn)行學(xué)習(xí)，缺乏這種“思考”過(guò)程。Andrej Karpathy指出與大模型相比，人類的不擅長(zhǎng)記憶反而是一種進(jìn)化優(yōu)勢(shì)，迫使我們學(xué)習(xí)可泛化的模式。他認(rèn)為，未來(lái)的AI應(yīng)減少機(jī)械記憶，更像人類那樣依靠思考與探索來(lái)學(xué)習(xí)。換句話說(shuō)，真正的智能不在于記憶更多，而在于理解與泛化。

對(duì)于超級(jí)智能（ASI）Andrej Karpathy認(rèn)為只是社會(huì)自動(dòng)化進(jìn)程的自然延伸，“很多事情會(huì)逐漸自動(dòng)化，而超級(jí)智能將是這種趨勢(shì)的延伸。我們期望隨著時(shí)間的推移，會(huì)有越來(lái)越多自主的實(shí)體：它們?cè)谧龃罅康臄?shù)字工作，最終甚至可能會(huì)從事體力工作。”