1   前言

在上一期里，介紹了BYOM( 自帶模型：Bring Your Own Model) 模式，其吸引各行各業都能攜帶自己訓練的AI模型到指定的硬件平臺上運行，這項模式提供上層應用模型的自由納入，并且維護企業知識的資產和主權。此時，BYOM能將AI模型適配到最優IC芯片，獲得最佳運行效能，并且優化模型，提高其推論能力。除了上述的效能提升之外，還能創造出彈性和復用性。在同一個目標運行環境里，隨時能替換模型權重與輸入數據，來適應企業運營的新需求，或應用于新的業務。所以，BYOM讓上層AI應用的企業獲得很多益處。

同時，由于BYOM涵蓋了從開發到部署的整個流程，讓上層AI 模型隨需求而更替，又能讓底層IC芯片持續創新提高算力，實踐AI人員與IC芯片人員之間的流暢協同設計(Co-design)。所以，它對于底層硬件芯片產業也有很大幫助的。如上一期的文章里所述，KG( 知識圖譜) 提供知識燃料，BYOM 帶來上層模型多樣性，也能藉由底層容器化接口支持IC芯片的彈性和復用性，激發芯片的創新和算力提升；這四者的交織協作，強力推動了AI 邁向生態化的康莊大道。簡而言之，KG+BYOM 提供可復制的行業專家智能；而容器化 + IC芯片提供可彈性升級的應件算力，兩端互惠，促進了雙養循環：

●   內容養硬件：行業 KG讓BYOM更懂情境，也持續輸入新的數據和模型需求，帶動IC 芯片( 如SoC)的規格與制程持續升級。

●   硬件養內容：BYOM模式讓芯片廠商能在不改外層接口( 如HAL應件抽象層) 的情況下快速推出更多創新，而且芯片創新一上市，就能立即與上層AI 應用配搭，迅速提升商業收益。

這種雙養循環，形成真正的生態飛輪，讓AI產業生生不息，整個生態無盡繁榮。于是，本期就從生態視野來看BYOM的關鍵角色。

2   BYOM垂直整合模式

BYOM模式能支持AI產業的<應用層+平臺層+芯片層> 的垂直整合，既能快速吸引合作伙伴，又可降低技術風險而促進整體生態發展。在架構方面，BYOM客搭配NN( 神經網絡) 模型的隱空間(Latent space) 作為天然容器(Container)，來提供底層硬件( 如SoC芯片)的即插即用(PnP)。于是，三層容器緊密聯結，創造高度彈性及復用性，來推動AI 生態的蓬勃發展( 圖1)。

圖1 基于容器化架構的BYOM

當底層芯片層更改時，它不會影響應用層，能大幅降低AI芯片開發的風險。把IC芯片放入下層容器( 如隱空間)，可以確保芯片底層設計變動的自由度。這創造了AI生態的有機次序(Organic order)：

●   AI技術成熟：KG( 知識圖譜)、BYOM、GNN、LLM技術已廣泛使用，只需整合與在地化。

●   芯片產業支撐：從芯片設計、制造、封測到系統整合的完整鏈條，提供算力支撐。

●   容器化架構：容器化標準讓知識、模型、芯片彼此協作，讓企業可以從小型試點逐步擴張。

于是，BYOM可以讓IC設計者主動探索AI 可能性，并不需要等待上層應用市場的發聲，就能探索底層芯片設計的創新機會。亦即，IC 設計者可以善用BYOM 打造屬于自己的創新沙盒，去驅動AI 生態的無垠邊界。

3   以BYOM促進「IC設計驅動AI應用創新」

BYOM模式打開一扇門，讓IC設計團隊在SoC還未交付制造(Tape-out) 之前，就能與潛在的模型提供者協同設計，提早發現需求，甚至主導需求。這種模式作為 AI+IC 協同設計的橋梁，主動串連應用層與硬件設計層，讓IC 設計人員更早期接觸ONNX 模型提供者、掌握真實需求，這樣的策略在技術與商業層面上都能為IC 設計者帶來許多益處。其包括：

A.讓芯片設計更有「對準目標的彈性」

●   傳統的局限：IC 設計往往面臨一個問題——當芯片規格確定了，但上層AI模型卻還沒決定；或者模型改了，芯片卻來不及調整。這常會導致規格猜測性設計、過度設計（功耗、面積浪費）或規格錯配，因而讓芯片無法充分發揮效能。

●   BYOM的益處：BYOM使用容器來封裝，提供標準界面( 如HAL) 描述推理需求（如數據型別、張量維度、內存壓力等）。于是IC 設計者可以根據已知的標準模型接口需求來反向優化芯片。由于能明確知道AI模型的推理行為（Inference pattern），芯片的IP模塊（如MAC array、NPU block）即可針對常見模型特征而事先進行優化。這樣地，BYOM 讓模型需求清楚定義，設計不再猜測，能有效對準AI 運算瓶頸。

B.實現IC設計的「通用性 + 專用性」雙贏

●   傳統的局限：IC芯片廠商常面臨兩難，若追求通用性，則難以差異化，常導致效能降低。反之，若追求專用化，則難重復使用，會導致風險增高。

●   BYOM的益處：BYOM讓模型不鎖定平臺、芯片不鎖定模型，于是上下層解耦合了。只要接口( 如HAL) 一致，就能支持多個模型落地，能充分提升芯片的復用率。并且根據目標應用，調整芯片配置（如內存帶寬、NPU size等），達成優化配置，一旦芯片出貨后，仍可后續支持新的AI 應用（由于軟硬件解耦了）。

于是，同一塊芯片可跑瑕疵檢測、跑維修預測、跑語音助手。BYOM協助芯片可對接多個模型，拉長芯片生命周期，還支持多產業模塊化部署。

C.縮短IC驗證與SoC商業周期

●   傳統的局限：通常每次都會硬接( 綁定) 上層AI模型，使得「設計—測試—交付」的周期較長。

●   BYOM的益處：一旦支持BYOM模型部署的SoC( 系統單芯片) 架構完成，你不再需要每次都硬接AI模型，而能使用兼容HAL接口的測試模型快速驗證。其模型還可仿真實際AI 運算負載（如Memory bandwidth、MAC壓力），能減少客制SoC 與模型之間的整合與測試人力。

于是，驗證流程可以提前，來預先掌握SoC 在實際應用中的運行效能，快速建立真實測試場景，驗證時間縮短，也就能大幅縮短交付周期了。

4 以晶心科的BYOM 平臺為例

在上一期里，介紹了高通(Qualcomm) 公司的AI平臺。在本期里，就來介紹晶心科公司的AI 平臺。例如，晶心科的AndesAIRE I370平臺已經提供一套完整的BYOM架構。包括：

●   從PyTorch/TensorFlow模型 → NNPilot優化/ 量化→TFLM轉換→交叉編譯到RISC-V→在芯片上高效推論。

●   透過這個流程，開發者可以用統一的API和工具鏈把自己的模型移植到AnDLA芯片，避免因硬件差異而重寫算法。

現在，茲以旅行社來比喻晶心科的AI平臺。亦即，AndesAIRE SDK如同一家旅行社，其展開AndesBYOM流程，如下述：

Step-1：Andes BYOM( 比喻為：旅行社)，帶旅行客人(ONNX) 來飯店。

Step-2：Andes BYOM 從飯店服務臺(HAL Superclass)查找到有關的Subclass objects( 出租汽車服務窗口)。

Step-3：Andes BYOM詢問這些相關的objects，挑出符合條件( 最適配) 的Target object-1( 旅行車服務窗口)。

Step-4：Andes BYOM從Target object-1取得SoC-1汽車的詳細資料。

Step-5：Andes BYOM 展開交叉編譯& 量化，生成ELF( 導游人員)。

Step-6：ELF( 導游員) 開著旅行車(SoC-1)，載著客人(ONNX) 去各地觀光。

Step-7：客人(ONNX) 采購許多土特產，攜帶回去給親朋好友( 企業客戶)。

其中，個地區或各行業可以自己定義HAL( 硬件抽象層) 標準接口，協助IC 廠商能持續推出優化芯片并快速驗證，模型開發者能更快上架并獲得市場回饋( 圖-2)。

圖2 BYOM+NN隱空間+HAL接口

此架構支持一個改版就有收益、升級就能共贏的生態循環。這即能提升工程效率，以改版即價值來激勵創新，是一項設計帶動制造的美好商業引擎。例如，經由AndesAIRE I370 + BYOM 流程，透過 HAL 抽象化映射，將ONNX 轉換為 Andes BYOM 支持的推論流程，最后產出對應 SoC 架構的 ELF 可執行文件。這樣的 ELF 即代表了模型的可部署封裝，并且能即插即用，彈性新陳代謝。其流程經過『模型展開 → HAL 映像 → 編譯』等步驟，生成可于芯片執行的推論執行文件。其中，ELF檔案包含權重常數（Model weights）、運算流程的Runtime呼叫、可能會動態使用NPU, MAC引擎 或Vector DSP。最終被加載到 I370 SoC 上，由 AndesAIRE runtime 啟動運行。

5   結語

從IC設計人員的視角 來看，BYOM雖然是一個來自AI開發的概念，但它對IC設計實際上帶來了多項關鍵性說明，特別是在芯片定義、驗證與商業價值延伸等面向。這給AI 產業帶來有機次序的生態之美：

●   模型升級，可以即插即用。

●   IC芯片換代，不必重寫應用。

●   服務部署，也能快速橫跨多種硬件。

總之，BYOM展示了一種A 部署的哲學與美學，提供一項新的合作模式，讓IC 設計者與模型開發者共構平臺，擴大市場與獲利來源。

（本文來源于《EEPW》202511）