1   前言

大家已經很熟悉KG的建構和GNN模型的訓練工作了。一旦訓練好了GNN模型，接著進入模型的部署和運行（推理）階段了。首先，來介紹一項熱門的部署模式，就是：BYOM（Bring Your Own Model）。這BYOM（自帶模型）的涵意，即是：把您自己訓練好的模型，帶到最接近數據、最貼近用戶的地方、并展現最佳推理效能。

本文就藉由高通（Qualcomm）公司的AI Hub平臺來示范BYOM流程，說明如何把簡單的RNN模型傳送到AI Hub云端平臺，并提供目標裝置（如高通的Snapdragon X Elite）型號，讓AI Hub自動轉換與優化，且在真機上量測。然后，下載可部署&運行模型檔案，實際部署到您的目標裝置上運行。

2 細說BYOM流程

簡而言之，BYOM就是：把你訓練好的模型，真的帶到目標裝置上運行起來。其流程很簡單，如下述：

第1步：選定目標裝置。

第2步：您練好的模型匯成ONNX格式。

第3步：將ONNX檔案傳到Qualcomm AI Hub平臺上，并選擇目標裝置（像Snapdragon X Elite），這平臺會將它進行轉換&量化，并且產出（優化ONNX），并在真機上進行實測。然後把產物（即優化ONNX）下載回來。

第4步：把優化ONNX實際部署到目標裝置上運行（推論）了。

這BYOM模式有個重要特性，就是：同一條流程、同一臺計算機，模型可以「重復利用」在不同場域，創造連續的價值。例如，有兩個情境：

●   情境-1：在醫療臨床上，會關心像長期輸血患者的血鐵沉積趨勢。于是就可以收集醫療數據來訓練RNN時序模型，訓練完成后會出ONNX，然后傳送到AI Hub上做轉換而產出醫療的最佳化ONNX，且把它部署到目標裝置上運行。

●   情境-2：在醫療機構的前臺營運方面。大家可能沒想到，各據點柜臺POS 的交易時序數據，也能訓練RNN模型來做銷售預測、尖離峰判斷，進而排人力班表。于是，就可以收集交易時序數據來訓練RNN時序模型，訓練完成后會出ONNX，然后傳送到AI Hub上做轉換，來產出營運的最佳化ONNX，且把它部署到（同一臺）目標裝置上運行。

這呈現了美好的可復用（Reusability）效果：同一臺計算機、同一套執行環境，就能在上午跑〈醫療輸血風險趨勢〉，下午跑〈柜臺銷售預測＆人力安排〉。其具有很大的商業意義，如下：

●   一機多模：同一臺目標裝置，能切換不同RNN權重，覆蓋醫療教學與長照營運兩種任務。

●   一套流程，多個項目：從ONNX匯出到本地端NPU運行，同一套流程，其訓練流程、評估方法、部署技巧等，都適用于多個不同項目（只要換數據與權重）。

●   邊緣就緒，隱私內建：諸如醫療、營運、或更多領域的數據都能在機器上處理，減少上云端的成本和風險。

于是，只需把模型做對一次，讓它在更多場景重復創造價值；同一臺目標裝置，就能成為您把AI 變成日常工具的起點。同一個目標執行環境，只要替換權重與輸入數據，醫療預測、康養營運都能運行，這種可復用性，正是未來在醫療機構、康養等各單位，把AI 做成低成本、又可持續業務的核心要素。

3   BYOM流程范例：以KG+GIN模型為例

現在，以大家都很熟悉的五行相生相克關系為例。

如下圖：

于是，從行業知識的角度，將整體流程分為兩個階段：

階段-A：上游KG+GIN，掌握行業知識現在，就撰寫一個簡單Python 程序，來建立一個異質性KG，表達上圖的行業知識。并且建立一個GIN模型來學習KG，而輸出KG 的節點嵌入（Node Embedding）。代碼如下：

接著，就把GIN產生的節點嵌入，提供給下游的各項應用任務。下游任務的建構時，并不需要具備上圖的行業知識的推理過程，只憑這些節點嵌入，就能推論出相生和相克關系。因而實現了：不知（行業知識）而亦能用的美好效果。

階段-B：下游任務

基于上游階段-A所提供的節點嵌入，各項下游任務都能輕易地運用上游的行業知識。例如，有一個下游任務（Task-aa）需要使用到五行的相生關系，就可以建立一個分類器模型，如下：

其中的load_embeddings() 函數，先讀取上游產出的節點嵌入，來加速訓練這個下游任務里的FiveGenModel模型。訓練好了，就匯出FiveGen_model.onnx 模型檔案。您就可以輸入五行的某個元素（如< 金>），它就會輸出相生的元素（如< 水>）。

接下來，就進入高通AI Hub 的BYOM 流程了。就來撰寫一支簡單Python 程序：

此程序設定了目標裝置是：”Snapdragon X EliteCRD”，然后把FiveGen_model.onnx 上傳到AI Hub 平臺，進行優化完成之后，回傳優化的fiveGen_quantized_qdq.onnx模型。

最后，進入本地實機部署&運行階段。高通AIHub的BYOM流程了。就來撰寫一支簡單Python 程序：

執行時，輸出：0（金）--- 生--- > 2（水）

得到正確答案。如果模型復雜一些，更能展現其優化的運行加速效益。

4   結束語

本文以上游行業KG為語境支撐層，搭配GIN推論模型，來支持下游各項任務的連接數據、語義與實際推論應用。此一設計可以密切結合下游模型的BYOM流程，強力幫忙打通行業語境這一關，并能直接延伸至多個產業領域進行商業化實踐。

（本文來源于《EEPW》202509）