10月8日消息，近日人工智能（AI）技術公司Inflection AI宣布其最新的企業平臺將放棄采用英偉達（Nvidia）的GPU，轉而使用英特爾的Gaudi 3 加速器。

英特爾對此表示：“雖然 Inflection AI 的 Pi 客戶應用程序以前在英偉達GPU上運行，但 Inflection 3.0 將由英特爾Gaudi 3 提供支持，部署在英特爾 Tiber AI Cloud 提供的云中實例上。”

資料顯示，Inflection AI 成立于 2022 年，最初是一家AI大模型開發廠商，開發了一款名為 Pi 的對話式個人助理。然而，在今年春天，其主要創始人 Mustafa Suleyman 和 Karén Simoniyan 離開 Microsoft 后，這家初創公司已將重點轉移到使用其數據為企業構建定制的微調模型。

這家初創公司平臺的最新版本 Inflection 3.0 旨在使用他們自己的專有數據集對其模型進行微調，目標是構建整個企業特定的 AI 應用程序。英特爾公司本身也將成為首批采用 Inflection 3.0服務的客戶之一，而這或許也是推動讓Inflection放棄英偉達GPU，轉向采用英特爾Gaudi 3 加速器的原因。

雖然 Inflection 3.0將在英特爾Gaudi 3 加速器上運行，但Inflection AI公司不會馬上建立自己獨立的系統。與托管在亞馬遜Azure 中的 Inflection 2.5 類似，最新版本將在英特爾的 Tiber AI Cloud 服務上運行。Inflection AI公司計劃從 2025 年第一季度開始，提供基于英特爾 AI 加速器的物理系統。

雖然 Inflection AI正在使用 Gaudi 3 加速器來支持其企業平臺，但并不意味著客戶只能使用 Gaudi 3 加速器來運行他們完成的模型。

AI 模型和軟件開發并不便宜，但與所需的硬件加速器相比，還是要低很多。比如一個英偉達H100 GPU大約就需要30000美元，而英特爾的Gaudi 3 則要便宜很多，只要15000美元左右。

資料顯示，Gaudi 3基于臺積電5nm工藝，擁有 8 個矩陣數學引擎、64 個張量內核、96MB SRAM（每個Tile 48MB，可提供12.8 TB/s的總帶寬） 和 128 GB HBM2e 內存，16 個 PCIe 5.0 通道和 24 個 200GbE 鏈路 。在計算核心的周圍，則是八個HBM2e內存堆棧，總容量為128 GB，帶寬為3.7 TBps。擁有 1,835 teraFLOPS 的密集 FP8 或 BF16 性能。

英特爾官方公布的數據顯示，Gaudi 3 在流行的大語言模型（LLM）訓練速度方面，比英偉達H100平均快了40%；在流行大模型的推理能效表現上，比如英偉達H100領先50%。英特爾 Gaudi 3 與英偉達 H100 在相同節點數量下，相關大模型訓練時間對比上最高快了1.7倍，其中，LLAMA2 70 億參數對比有 1.5 倍于 H100 的優勢，LLAMA2 130 億參數最高有 1.7 倍的優勢，GPT-3 1750 億參數有 1.4 倍優勢。在大模型推理速度表現上，Gaudi 3 相比 H100 平均快了1.5倍，最高快了4倍。

雖然Gaudi 3的 FP8性能與 H100 大致相當，但在 BF16精度下，它提供的密集浮點性能幾乎是H100的兩倍，這對 Inflection 所針對的訓練和微調工作負載產生了很大的影響。至少在紙面上，Gaudi 3 不僅有望在訓練和推理方面比 英偉達H100 更快，而且成本更低。

“通過在英特爾Gaudi 3上運行 Inflection 3.0，我們看到性價比提高了 2 倍...與目前的競爭產品相比。“Inflection AI 首席執行官肖恩·懷特 （Sean White）本周一在一篇博客文章中寫道。

值得一提的是，IBM 也計劃將對 Gaudi 3 的支持擴展到其 watsonx AI 平臺。英特爾此前也曾宣布，該Gaudi 3 加速器已經向戴爾科技和超威電腦（Supermicro）等OEM 發貨。

從明年開始，Gaudi 將讓位于名為 Falcon Shores 的 GPU，它將英特爾的 Xe 圖形計算技術與 Habana 的技術融合在一起，從而導致有關遷移路徑的問題是可以理解的。

英特爾堅持認為，對于在 PyTorch 等高級框架中編碼的客戶，后續向 Falcon Shores的遷移將大部分是無縫的。對于那些在較低級別構建 AI 應用程序的人，英特爾已承諾在 Falcon Shores 首次亮相之前提供額外的指南。

編輯：芯智訊-浪客劍