久久ER99热精品一区二区-久久精品99国产精品日本-久久精品免费一区二区三区-久久综合九色综合欧美狠狠

新聞中心

EEPW首頁 > 智能計算 > 設計應用 > 面對英偉達的DGX機頂盒,蘋果展示了搭載萬億參數AI模型的Thunderbolt 5 Mac

面對英偉達的DGX機頂盒,蘋果展示了搭載萬億參數AI模型的Thunderbolt 5 Mac

作者: 時間:2025-11-24 來源: 收藏

為了跟上的 DGX 工作站臺式機,能夠連接以處理更大規模的 模型,釋放了 Thunderbolt 5 作為“ 集群”的能力,準備支持萬億參數模型。

1763948364211598.jpeg

不希望讓像這樣的競爭對手在人工智能競賽中占據先機。為了保持競爭力,它讓現有支持Thunderbolt 5的能夠相互連接,形成更先進的“AI集群”,實現雙聯AI模型處理,類似于最近發布的DGX產品。

對英偉達DGX的回應?當然是

這對蘋果來說并非未知領域,但這是首次使用Thunderbolt 5。該功能將隨目前處于測試階段的macOS 26.2一起推出,并采用蘋果的開源AI陣列框架MLX。它本質上是一個應用程序接口(API),允許開發者創建或測試新的 AI 模型,并對其進行新功能和能力迭代。

蘋果并非獨自完成這一切;它與開發商Exo Labs合作,利用MLX API創建了雙聯AI處理能力。該工具被稱為EXO 1.0,它可以支持最多四臺Thunderbolt 5 Mac Studio臺式機或兩臺MacBook Pro筆記本,運行相同的AI模型,這些AI模型的規模遠超它們單獨能處理的:多達1萬億個參數。Thunderbolt 5 連接使系統能夠作為一個整體運行,將統一內存合并到單一資源中,供 AI 模型調用。

1763948404492398.jpeg

在最近的一次網絡演示中,蘋果產品團隊成員向我們展示了四臺配備M3 Ultra的Mac Studio臺式機,將資源匯聚在一起運行一個名為Kimi-K2-Thinking的1萬億參數模型,它們加起來的功耗不到500瓦(W),遠低于單個傳統GPU在AI集群中的功耗: 最高可達700瓦。

對于那些比較比較的人來說,英偉達的DGX Spark盒子在最大負載下額定功耗最高可達240W,但像約翰·卡馬克這樣的知名開發者對此表示不滿,懷疑發布前性能下降。連接與蘋果Mac Studio演示相同數量的DGX Spark系統理論上可達960W,但這幾乎不可能。無論如何,蘋果的解決方案在這里可能有優勢,尤其是對于有意運行多集群的開發者來說。至于吞吐量,現在下這種結論還為時過早。

蘋果首次授權M5芯片訪問MLX

不過,蘋果最近在一篇博客文章中樂于從數字平臺大聲宣揚其M5芯片的人工智能能力。MacOS 26.2使開發者能夠通過MLX訪問M5的新型神經加速器,同時提升AI工作負載中的內存效率。這使得首次代幣生成時間(TTFT)指標更為重要——模型在提示后生成第一條信息的速度——因為它受計算限制,而蘋果的M5擁有極強的計算能力。

蘋果在M5一代處理器中最重要的升級是每個GPU核心的神經加速器,這大大提升了AI性能,正如我們在對M5 MacBook Pro 14的評測中所發現的那樣。

“M5芯片提供專用的矩陣乘法作,這對許多機器學習工作負載至關重要,”蘋果的博客文章寫道。“MLX利用了Metal 4引入的張量作(TensorOps)和金屬性能原語框架,支持神經加速器的功能。”

M5 AI 計算能力的這些進步意味著大多數大型語言模型(LLM)的 TTFT 大幅降低。在評估其M5硬件時,蘋果在阿里云開發的Qwen模型上發現,M5的TTFT評分(以秒計)比M4高達四倍。

1763948474590077.jpeg

正如帖子所解釋的,第一個令牌需要較高的計算能力,而后續所有令牌的推理工作負載性能更依賴內存。這意味著4倍的性能提升無法覆蓋整個提示詞,但蘋果在不同型號中,M5相比M4硬件,整體LLM性能提升了19%到27%,這得益于其更大的內存帶寬。

文章強調,這些性能提升不僅體現在圖像生成和文本上。當使用 MLX 生成 1,024×1,024 的圖像時,蘋果發現 M5 硬件的速度比 M4 硬件快多達 3.8 倍。

這對任何在macOS上利用蘋果智能功能以及希望在Mac上開發AI的人來說都是令人振奮的消息。不過,如果你真的想在MacBook上加速這類工作負載,使用外置RTX顯卡可能會帶來最佳效果。至少在我們看到兩臺M5 MacBook Pro筆記本如何協同運行之前,情況是如此。



關鍵詞: 蘋果 AI 英偉達 Mac

評論


相關推薦

技術專區

關閉