深入了解AMD或英偉達最先進的AI產品包裝，你會發現一個熟悉的布局：GPU兩側被高帶寬內存（HBM）覆蓋，這是市面上最先進的內存芯片。這些內存芯片盡可能靠近它們所服務的計算芯片，以減少人工智能計算中最大的瓶頸——將數十億比特每秒從內存轉化為邏輯時的能量和延遲。但如果你能通過將 HBM 疊加在 GPU 上，讓計算和內存更加緊密結合呢？

Imec最近利用先進的熱仿真探討了這一情景，答案在2025年12月的IEEE國際電子器件會議（IEDM）上給出，頗為嚴峻。3D疊加會使GPU內部的工作溫度翻倍，使其無法使用。但由Imec的James Myers領導的團隊并未輕易放棄。他們發現了幾項工程優化方法，最終能夠將溫差降至接近零。

2.5D與3D高級封裝

Imec最初是對GPU和四個HBM芯片進行熱仿真，就像今天你會看到的那樣，裝在所謂的2.5D封裝內。也就是說，GPU和HBM都位于稱為中介器的基底上，且兩者之間的距離極小。這兩種芯片通過數千個微米級銅互連連接連接在介質器表面。在這種配置下，模型GPU功耗414瓦，峰值溫度略低于70°C——這是處理器的典型表現。存儲芯片會額外消耗大約40瓦，且發熱會稍微降低一些。這種液冷技術通過新型AI數據中心中普遍使用的液冷技術，從封裝頂部去除熱量。

Imec高級研究員陳玉凱告訴IEDM工程師：“雖然這種方法目前仍在使用，但它在未來擴展性上表現不佳——尤其是因為它阻擋了GPU的兩側，限制了未來GPU之間的連接。”相比之下，“三維方法帶來了更高的帶寬和更低的延遲......最重要的改進是包裝的占地面積?！?/p>

不幸的是，正如陳博士和同事們發現的，最直接的堆疊方式——將HBM芯片放在GPU頂部，并在中心加一塊空白硅片填補空隙——GPU溫度飆升至140°C——遠超GPU的80°C極限。

系統技術協同優化

Imec團隊開始嘗試多種技術和系統優化，以降低溫度。他們首先嘗試的是扔掉一層現在已多余的硅層。要理解原因，首先你得弄清楚HBM到底是什么。

這種內存形式由多達12個高密度DRAM芯片組成的堆棧。每個都被稀釋到數十微米，并用垂直連接線穿透。這些薄化的芯片層疊加，并用小焊球連接，這堆內存垂直連接到另一塊硅片，稱為基底芯片。底座芯片是一種邏輯芯片，設計用來復用數據——將其壓縮到能跨越毫米級間隙與GPU的有限線內。

但現在 HBM 集成在 GPU 上，就不需要這樣的數據泵了。比特可以直接流入處理器，而不考慮芯片側面有多少根線。Myers表示，這一變化意味著將內存控制電路從基礎芯片移至GPU中，從而改變處理器的布局。但他認為應該有足夠的空間，因為GPU將不再需要用于解復用來解復用的內存數據電路。

去掉這個中間節點后，溫度僅降溫了不到4°C。 但更重要的是，它應該能大幅提升內存和處理器之間的帶寬，這對團隊嘗試的另一個優化——降低顯卡速度——也很重要。

這似乎與提升人工智能計算的初衷相悖，但在此情況下，這反而是一種優勢。大型語言模型被稱為“內存受限”問題。也就是說，內存帶寬是主要的限制因素。但邁爾斯團隊估計，在GPU上3D疊加HBM將使帶寬提升四倍。有了額外的余裕，即使將GPU時鐘降低50%，性能依然能提升性能，同時降溫超過20°C。 實際上，處理器可能不需要被大幅減速。邁爾斯表示，將時鐘頻率提高到70%后，GPU僅提高了1.7°C。

優化的HBM

另一個大幅降低溫度來自于使HBM堆疊及其周圍區域更導電。這包括將四根煙囪合并為兩組較寬的煙囪，從而消除了熱量滯留區域;將堆疊頂部（通常較厚）模具變薄;并用空白硅片填充HBM周圍空間，以傳導更多熱量。

在這些條件下，煙囪的運行溫度約為88°C。 最后一次優化將溫度調回接近70°C。 通常，芯片約95%的熱量是從封裝頂部帶走的，這里是水帶走熱量。但底部也加入類似冷卻，堆疊的芯片最終降低了17°C。

盡管 IEDM 上公布的研究成果證明了 HBM 堆疊 GPU 的可行性，但邁爾斯強調，這未必是最佳方案。“我們正在對其他系統配置進行仿真，以驗證這一方案是否為最優解?！?他表示，“業界部分廠商對‘GPU 堆疊于 HBM 之上’的方案更感興趣”—— 因為這種設計能讓 GPU 更貼近散熱系統。不過，該方案的設計復雜度會更高，原因是 GPU 的供電與數據傳輸線路都需要垂直穿過 HBM 堆疊體才能接入。