據(jù)韓媒報道，被韓媒譽為“HBM之父”的韓國科學(xué)技術(shù)院（KAIST）電氣工程系教授金仲浩表示，高帶寬閃存（HBF）有望成為下一代AI時代的關(guān)鍵存儲技術(shù)，并將與HBM并行發(fā)展，共同推動各大芯片廠商的性能增長。

HBF的設(shè)計理念與HBM類似，都利用硅通孔（TSV）連接多層堆疊芯片。不同的是，HBM以DRAM為核心，而HBF則利用NAND閃存進行堆疊，具有“更高容量、更劃算”的優(yōu)勢。Kim Joung-ho指出，雖然NAND比DRAM慢，但其容量通常大10倍以上。有效地堆疊數(shù)百層甚至數(shù)千層，可以滿足AI模型的海量存儲需求，有可能成為HBM的NAND版本。

生成式AI模型正在迅速擴展，單個模型的輸入令牌數(shù)量已經(jīng)達到數(shù)百萬，處理需要數(shù)TB的數(shù)據(jù)。在每秒數(shù)千次讀寫作中，內(nèi)存帶寬不足可能會造成瓶頸，從而顯著減慢ChatGPT和Google Gemini等大型語言模型（LLM）的響應(yīng)速度。

Kim Joung-ho強調(diào)，這種限制來自當(dāng)前的馮·諾依曼架構(gòu)。由于GPU和內(nèi)存是分開設(shè)計的，數(shù)據(jù)傳輸帶寬決定了性能上限。“即使GPU大小翻倍，如果帶寬不足，也沒有意義。”

他預(yù)測，未來的GPU將同時整合HBM和HBF，形成一個互補的架構(gòu)：HBM將作為實時數(shù)據(jù)處理的高速緩存，而HBF將提供大容量存儲，直接存儲完整的AI模型。這將有助于克服內(nèi)存瓶頸，使GPU能夠處理更大、更復(fù)雜的生成式AI，甚至包括長片。Kim Joung-ho表示：“未來，AI將超越文本和圖像，能夠生成長片。所需的內(nèi)存容量將比目前大1000倍以上。