芯片架構師在設計高效 AI 處理器時，必須應對多重因素，其中最突出的就是快速迭代的 AI 模型。《半導體工程》邀請多位專家展開討論，以下為訪談精華。

邊緣端目前有哪些類型的智能體？

Steven Woo（Rambus）：當前邊緣智能體主要分為感知、推理，機器人還會包含規劃與執行。這些任務通常在同一設備上并發運行，關鍵不只是推理，而是系統觀察、決策、響應的速度。這迫使設計師重新思考內存層級、互聯與安全邊界。智能體是整個系統協同工作，而不只是框圖里的一個神經網絡。

Sharad Chole（Expedera）：必須區分智能體 AI 與生成式 AI。最核心的差異是自主性。生成式 AI 是輸入提示、給出回復；智能體 AI 在高層任務上具備更高自主性，接收高層指令后，自行負責編排、規劃、執行。

它們還具備記憶能力與工具調用能力，不是被動響應提示，而是主動獲取信息、調用 API / 工具，能查時間、天氣、用戶行為，甚至完成編譯、測試等操作。

它們是 “會思考的機器”，會規劃、閉環執行、迭代優化，通過工具獲得反饋并調整計劃。這是多輪交互，但不靠人工介入，而是通過工具完成。

這導致處理流程高度復雜，輸入輸出 Token 不固定，任務復雜度直接決定算力消耗。

Ronan Naughton（Arm）：私有智能體越來越普遍，本地部署的大模型可訪問私人相冊、日歷，實現自動化任務，充當私人助理。

邊緣設備上的編碼智能體也在興起，可并行執行多項任務，自主運行并反饋結果。

移動端還出現快速應用導航工具，一條指令即可自動打開多個 APP 完成操作。

模型必然持續迭代，架構師該如何啟動項目并做決策？

Steven Woo（Rambus）：性能與功耗效率越來越由內存系統設計與數據搬運決定。架構師必須明確目標場景，果斷砍掉非核心功能，每增加一個功能都會影響 PPA 并提升復雜度。

芯片設計要優先為數據流動而設計，這是決定成敗的關鍵。同時還要融入合適的 RAS 方案，確保高可靠性、高可用性與可預測運行。

Steve Roddy（Quadric）：架構師必須盡可能提升通用性與靈活性，因為未來嵌入式智能體的形態、算力與通信需求都無法預知。

例如未來車載健康智能體，可預測保養、了解駕駛習慣、結合季節天氣給出建議，并適配不同車主的使用場景。計算基礎設施需要足夠通用，才能支撐這類需求。

Jason Lawley（Cadence）：智能體最終指向多模態 AI。車載智能體不僅能監測狀態，還能語音通話、預約維修、降噪、語音識別、調用語言模型，徹底改變人機交互方式。

架構師必須保證模型靈活性，支持不同浮點表示與多種模型類型。

Gordon Cooper（Synopsys）：多模態需求是核心挑戰。NPU 需要靈活適配不斷涌現的多模態模型（視覺 - 語言 - 動作 VLA、視覺 - 語言模型 VLM 等），這是邊緣 NPU 設計的最大難點。

Sharad Chole（Expedera）：從部署角度看，智能體工作負載是長效后臺運行，必須極致優化。

• 必須支持混合專家 MoE：邊緣無批處理，MoE 至關重要。

• 支持KV 緩存量化：節省 2~3 倍帶寬。

• 運行時需支持前綴緩存、工具調用。

  本質是把數據中心級推理能力下沉到邊緣，用最小資源實現最強智能體能力。

  除隱私需求外，聯網設備是否適合在邊緣運行智能體，目前尚無定論。

目前邊緣 AI / 邊緣智能體 AI 最有趣的應用有哪些？

Steven Woo（Rambus）：最具價值的應用在實時性要求高的系統：工業自動化、機器人、汽車感知。

這些系統用智能體行為實時適配動態輸入，而非簡單分類。硬件挑戰是在持續數據流下保持低延遲，這推動了內存帶寬、功耗效率與系統級集成的創新。

Jason Lawley（Cadence）：應用無處不在，覆蓋所有邊緣場景，新場景還在不斷涌現。

Steve Roddy（Quadric）：大模型 / 小模型正在徹底改變人機界面：汽車交互、工廠設備運維、廚房家電。

去掉微波爐物理按鍵，改用語音交互，可降低成本、減少故障點；工廠設備用麥克風 + 揚聲器 + 顯示屏，替代 600 頁手冊；汽車不再需要紙質故障手冊，直接語音對話。

這些改變降低硬件成本、提升用戶體驗，邊緣部署大模型使之成為可能。

Sathishkumar Balasubramanian（Siemens EDA）：個人健康助手快速興起，不只感知，還能執行操作。

西門子與 Meta 合作 Ray-Ban 智能眼鏡，用于工廠車間：工人走近設備，實時顯示儀表盤狀態（正常 / 異常 / 需維護）。

這是典型的邊緣 AI + 人類協作。

筆記類設備的主要瓶頸則是供電，功能越多，功耗效率越關鍵。

Gordon Cooper（Synopsys）：感知式 AI 開始落地真實用例。汽車座艙內，用戶指向窗外建筑即可詢問名稱，多模態能力可結合視覺、地理位置、指令理解。

物理 AI 與機器人（汽車、無人機、人形機器人）也是熱點，英偉達積極布局，盡管家庭機器人尚未普及，但發展前景值得關注。

我們是否經歷過像 AI 這樣快的技術迭代速度？

Sathishkumar Balasubramanian（Siemens EDA）：從業 25 年，從未見過如此快的迭代。每周都有新客戶、新項目、新應用，行業一直在追趕。

Jason Lawley（Cadence）：歷史上 x86 興起、仙童競爭的時代創新活躍，但 AI 的普及廣度遠超當年，全民都在關注。

Sharad Chole（Expedera）：機器人與自主系統將進一步突破極限，會出現PetaOPS 級算力引擎。世界模型需要在自主平臺運行，對視覺與 Token 處理要求極高，這將是一年后的核心話題。

Steven Woo（Rambus）：AI 迭代速度是現代芯片設計史前所未有的。AI 壓縮了全棧開發周期，硬件直接承受壓力。新能力不斷推出，需求持續改寫，一年前的假設很快失效。

這迫使采用系統級整體設計：計算、內存、安全、I/O 從一開始就與軟件需求協同規劃，這是未來芯片設計思路的根本性轉變。

Ronan Naughton（Arm）：迭代呈指數級。AI 不再是概念炒作，已帶來真實的生產力、生活品質提升與創新發現，但伴隨風險，必須平衡收益與潛在隱患。