今天，Google Cloud 推出了新的面向 AI 的實例，由自己的 Axion CPU 和 Ironwood TPU 提供支持。新實例旨在訓練和大規模 AI 模型的低延遲推理，這些新實例的主要特點是 AI 模型的高效擴展，這得益于 Google 基于 Ironwood 的系統的非常大的擴展世界規模。

數百萬個用于訓練和推理的 Ironwood TPU。

Ironwood 是 Google 的 7th一代張量處理單元 （TPU），可提供 4,614 FP8 TFLOPS 的性能，配備 192 GB HBM3E 內存，提供高達 7.37 TB/s 的帶寬。Ironwood 吊艙可擴展至 9,216 個 AI 加速器，為訓練和推理提供總共 42.5 FP8 ExaFLOPS，遠遠超過了 Nvidia GB300 NVL72 系統的 FP8 能力，即 0.36 ExaFLOPS。該吊艙使用專有的 9.6 Tb/s 芯片間互連網絡進行互連，總共攜帶約 1.77 PB 的 HBM3E 內存，再次超過了 Nvidia 競爭平臺所能提供的功能。

谷歌尚未公布其 Axion CPU 的完整芯片規格：沒有確認每個芯片的核心數量（超過 96 個 vCPU 和 C768A Metal 實例的 5 GB DDR4 內存），沒有公開的時鐘速度，也沒有公開的工藝節點該部件的詳細信息。我們所知道的是，Axion 是圍繞 Arm Neoverse v2 平臺構建的，與現代 x50 CPU 相比，其設計旨在提供高達 60% 的性能提升和高達 86% 的能效，以及比“當今云中最快的基于 Arm 的通用實例”高出 30% 的性能。有報道稱，該 CPU 每核提供 2 MB 的私有 L2 緩存、80 MB 的 L3 緩存、支持 DDR5-5600 MT/s 內存以及節點的統一內存訪問 （UMA）。

運行 Google Axion CPU 和 Ironwood CPU 的服務器配備了該公司定制的 Titanium 品牌控制器，可從主機 CPU 卸載網絡、安全和 I/O 存儲處理，從而實現更好的管理，從而提高性能。

一般來說，Axion CPU 可以為 AI 服務器和通用服務器提供服務，以執行各種任務。目前，谷歌提供三種 Axion 配置：C4A、N4A 和 C4A 金屬。

C4A 是 Google Axion 驅動的實例系列中的第一個也是主要產品，也是當今唯一普遍可用的產品。它提供多達 72 個 vCPU、576 GB DDR5 內存和 100 Gbps 網絡，搭配高達 6 TB 本地容量的 Titanium SSD 存儲。該實例經過優化，可在各種應用程序中實現持續的高性能。

接下來是 N4A 實例，它也針對數據處理、Web 服務和開發環境等一般工作負載，但它可擴展到 64 個 vCPU、512 GB DDR5 RAM 和 50 Gbps 網絡，使其成為更實惠的產品。

另一個預覽模型是 C4A Metal，這是一種裸機配置，可能直接向客戶公開完整的 Axion 硬件堆棧：多達 96 個 vCPU、768 GB DDR5 內存和 100 Gbps 網絡。該實例適用于專用或許可證受限的應用程序或 Arm 原生開發。

完整的定制芯片產品組合

這些新產品建立在谷歌十年來定制芯片開發的基礎上，從最初的 TPU 開始，一直延續到 YouTube 的 VCU、Tensor 移動處理器和 Titanium 基礎設施。Axion CPU——谷歌首款基于 Arm 的通用服務器處理器——完善了該公司的定制芯片產品組合，而 Ironwood TPU 為與市場上最好的人工智能加速器的競爭奠定了基礎。