1   復(fù)習(xí)：BYOM的涵意

在AI技術(shù)快速滲透各行各業(yè)的今天，許多企業(yè)或研究單位手上都已經(jīng)有自己訓(xùn)練好的模型，可能來(lái)自PyTorch、TensorFlow，或者轉(zhuǎn)換成 ONNX、TFLite等格式。BYOM（自帶模型） 的核心精神，就是讓開(kāi)發(fā)者不用受限于平臺(tái)提供的范例或工具鏈，而是能把自己辛苦訓(xùn)練好的模型，直接帶到硬件平臺(tái)( 如AndesAIRE I370) 上運(yùn)行，并享受到專(zhuān)用 AI 加速器帶來(lái)的高效能。因此，BYOM的商業(yè)價(jià)值如下：

●   模型護(hù)照：讓你的模型能自由移植到AndesAIRE等，跨平臺(tái)落地。

●   延續(xù)性：保留原有模型的精準(zhǔn)度與專(zhuān)業(yè)性。

●   靈活性：避免因硬件平臺(tái)不同而必須重寫(xiě)算法。

●   落地性：結(jié)合RISC-V 與AndesAIRE 的低功耗、

高效能優(yōu)勢(shì)，適用于醫(yī)療、智能語(yǔ)音、智能制造等應(yīng)用。

2 簡(jiǎn)介晶心科的AndesAIRE I370平臺(tái)

晶心科AndesAIRE I370結(jié)合了NNPilo（t 模型優(yōu)化與量化工具）以及 TFLM（TensorFlow Lite for Microcontrollers），提供了一套完整的 BYOM 流程。開(kāi)發(fā)者只要準(zhǔn)備好原始模型，透過(guò) NNPilot 就能快速完成剪枝、量化等優(yōu)化步驟，再轉(zhuǎn)換成能在AndesAIRE 硬件上高效運(yùn)行的格式。最后生成的Host Code，可以直接嵌入到目標(biāo)芯片或設(shè)備中，真正做到「訓(xùn)練在云端 /本地，推論在芯片」。

●   NNPilot：提供模型優(yōu)化與量化，幫助模型縮小體積、提升效率。

●   TFLM：將優(yōu)化后的模型轉(zhuǎn)換成能在AndesAIRE硬件上高效運(yùn)行的格式。

●   Host Code自動(dòng)生成：最終得到可直接嵌入芯片的程序代碼。

在本文里，將在AndesAIRE平臺(tái)上實(shí)踐自帶模型（BYOM）流程，它是從模型開(kāi)發(fā)、ONNX導(dǎo)出、API設(shè)計(jì)、交叉編譯，到在RISC-V上部署與推論的完整流程。此流程展示了AndesAIRE I370平臺(tái)在靈活整合外部模型與支持多元運(yùn)行環(huán)境的優(yōu)勢(shì)。

3   BYOM的實(shí)踐流程：基于AndesAIRE

BYOM就像是一張模型護(hù)照。無(wú)論模型是來(lái)自醫(yī)療影像診斷、語(yǔ)音識(shí)別，還是智慧機(jī)器人，你都能把它帶到 AndesAIRE 平臺(tái)。平臺(tái)會(huì)幫你「翻譯」成 RISC-V架構(gòu)下能運(yùn)行的指令與程序代碼，讓你的模型在邊緣設(shè)備上跑得快、省電、而且更穩(wěn)定。其詳細(xì)實(shí)踐流程如下：

Step-1：開(kāi)發(fā)&訓(xùn)練---使用Python/PyTorch進(jìn)行建構(gòu)、訓(xùn)練AI 模型( 例如GAN、RNN等)，然后輸出onnx模型檔案。

Step-2：初步測(cè)試(本地測(cè)試)---用Python/ONNXRuntime撰寫(xiě)主程序(myApp.py)，透過(guò)ONNX Runtime啟動(dòng)onnx模型，進(jìn)行推論，完成初步測(cè)試( 本地測(cè)試)。

Step-3：設(shè)計(jì)API---實(shí)踐myApp.py+API+myDriver.cpp。由myDriver.cpp透過(guò)ONNX Runtime啟動(dòng)onnx模型，進(jìn)行推論，完成API測(cè)試。

Step-4：RISC-V交叉編譯---使用riscv64-unknownlinux-gnu-g++將myDriver.cpp+ONNX Runtime編譯成為RISC-V Linux ELF檔案。

Step-5：基于Libriscv部署&運(yùn)行---由myApp.py+API加載ELF→仿真CPU→讓ELF啟動(dòng)onnx模型、運(yùn)行推論，最后把結(jié)果反饋給myApp.py主程序。

對(duì)于產(chǎn)業(yè)界，BYOM代表的是研發(fā)成果的延續(xù)性與靈活性。企業(yè)多年累積下來(lái)的模型資產(chǎn)，不需要因?yàn)閾Q一個(gè)硬件平臺(tái)就要重寫(xiě)算法。透過(guò)BYOM+AndesAIRE，你能保留模型原有的精準(zhǔn)度與專(zhuān)業(yè)性，并同時(shí)獲得晶心科在低功耗、高效能AI加速 方面的優(yōu)勢(shì)。尤其像醫(yī)療、智能語(yǔ)音、智能制造這些應(yīng)用場(chǎng)景，往往需要高度專(zhuān)屬的模型，BYOM就讓這些獨(dú)特的模型能順利落地在AndesAIRE/AnDLA芯片上，真正把價(jià)值發(fā)揮到最大。接下來(lái)，請(qǐng)觀摩BYOM的實(shí)踐范例：

Step-1：開(kāi)發(fā)模型

撰寫(xiě)Python程序訓(xùn)練AI模型，出onnx檔案。程序代碼：

Step-2：初步測(cè)試( 本地Python初測(cè)---x86主機(jī)）

撰寫(xiě)程序代碼：

此程序執(zhí)行時(shí)，順利輸出正確結(jié)果：y=[2, 3, 4]，測(cè)試成功。

Step-3：設(shè)計(jì)RISC-V端的Driver，以C++撰寫(xiě)

此myDriver.cpp以C++撰寫(xiě)，其輸&輸出都是JSON格式文件。程序代碼：

此程序myDriver.cpp，將會(huì)在RISC-V內(nèi)執(zhí)行，并且用OR加載model.onnx模型。

Step-4：RISC-V交叉編譯（Linux 使用者態(tài)）

●   基于riscv64 版ORT的include/lib。

●   使用riscv64-unknown-linux-gnu-*（Linux user-mode）。

●   目錄是/opt/ort-rv64，內(nèi)含include/與lib/(libonnxruntime.so)。

此程序執(zhí)行時(shí)，輸出：ELF 64-bit LSB executable,RISC-V。并且將myDriver與model.onnx（以及動(dòng)態(tài)鏈結(jié)時(shí)的 libonnxruntime.so）放同文件夾。

Step-5：在libriscv上部署&呼叫

●   使用Python主程序orchestration。

●   使用Python呼叫l(wèi)ibriscv host CLI，來(lái)負(fù)責(zé)「加載ELF→模擬→轉(zhuǎn)接 stdin/stdout」。

●   接口如下：myAppEX.exe--elf myDriver--cwdpathtodir --stdin “1,2,3”。

●   其會(huì)在VM內(nèi)啟動(dòng)myDriver，將“1,2,3n”輸入給stdin，回傳stdout(JSON)。

●   程序代碼：

此程序執(zhí)行時(shí)，順利輸出正確結(jié)果：y=[2, 3, 4]，測(cè)試成功。

4   結(jié)語(yǔ)：BYOM+BYOS的融合

在上一期， 曾經(jīng)介紹了BYOS， 接下來(lái)就能在AndesAIRE平臺(tái)上，進(jìn)行BYOM+BYOS的結(jié)合，其不僅解決了「模型可攜」問(wèn)題，還把「語(yǔ)境可攜」提升到戰(zhàn)略高度。除了引入上期介紹的三層式知識(shí)圖譜（上游–中游–下游），并與GNN+LLM+RAG結(jié)合，構(gòu)成可追溯、可驗(yàn)證、可持續(xù)更新的推理鏈。強(qiáng)調(diào) 反事實(shí)推理（Counterfactual Reasoning），這是未來(lái)可信 AI和因果推理的重要方向。

這種模式能支持AI主權(quán)（Model/Data Sovereignty），對(duì)企業(yè)與市場(chǎng)都具有吸引力。減少幻覺(jué)、可持續(xù)演化、私有部署，直接對(duì)應(yīng)當(dāng)前企業(yè)對(duì)生成式AI的主要顧慮。亦即，BYOS 讓 AI不只是會(huì)說(shuō)話(huà)，而是能用你熟悉的語(yǔ)境，做出可信、可驗(yàn)證的專(zhuān)業(yè)決策。

（本文來(lái)源于《EEPW》202512）