芯片廠商正越來越多地采用基于人工智能的工具，對用于各類邊緣場景的半導體進行驗證，這些場景包括機器人、無人機、自動駕駛汽車等實體 AI。但他們對這類技術仍持謹慎態度，會限制 AI 的執行范圍，并在必要時依靠人工干預檢查 AI 的運行結果。

這些實體 AI 系統與大、小語言模型、計算機視覺模型、視覺?語言?動作模型等相連。在許多場景下，人們會使用 AI 工具監控這些模型，對海量數據集進行篩選以發現異常。

從功能安全與網絡安全角度看，由 AI 工具監督連接了小語言模型與大語言模型的實體 AI 設備，看似形成了一個危險的閉環。如果模型被輸入錯誤或帶偏差的數據，或最壞情況下惡意攻擊者控制操作系統并啟動具備自主能力的武裝無人機，系統將極易受到攻擊并出現意外行為。但即便在理想情況下，也不應讓 AI 工具全權管控人形機器人。至少在目前，從設計、驗證到監控的全流程中都需要人類參與。

“在人類完全脫離該閉環之前，為保持一定程度的審查，我們仍需要一套制衡機制。” 楷登電子（Cadence）驗證軟件產品管理高級集團總監馬修?格雷厄姆表示，“毫無疑問，執行這些制衡措施的人員會得到 AI 的輔助。我希望如此，但我不認為存在可能出錯的完全自主反饋閉環。制衡機制足夠完善。EDA 工具本身就是該流程的一部分，用于確保無論系統為何，都具備合適的冗余度與功能安全等級。”

但這套制衡機制依賴實體 AI 企業秉持誠信原則建立必要的安全規程，而這一點無法得到保證。例如，近期一篇新聞報道指出了某企業跳過關鍵步驟所引發的擔憂。

基于 AI/ML 工具的安全保障應建立在可映射至標準功能安全生命周期的核心支柱之上。“這包括危害與風險分析、驗證與測試、認證與確認，而對于機器人領域，還包括與人類的動態交互。” 想象力科技（Imagination Technologies）工程與技術負責人、系統與功能安全工程專家安德魯?約翰遜表示，“工具評估與認證在功能安全領域十分普遍。該工具是否會給設計引入系統性錯誤？是否會影響硬件設計？是否會影響軟件？是否會影響代碼？它可能是一款驗證或確認測試工具，在這種情況下，你能否信任該工具正確檢測錯誤或不產生誤報？需要考慮的問題很多。這意味著，由于功能安全傳統上應用于更強確定性的系統，而非基于統計處理的系統，復雜度正以數個數量級提升。”

其他業內人士也認同需要保持謹慎。“工程師應將當前的 AI/ML 工具視為開發工具，這意味著必須對工具使用進行恰當測試或認證。” 是德科技 EDA 首席安全分析師拉杰什?維萊加拉蒂表示，“從 AI/ML 獲得的輸出應具備可復現性與可審計性。這可能包括定義大語言模型的輸入規則。人類應參與閉環，設定目標與風險，并完成最終審批。這一要求可同時出于安全與安防目的。”

換言之，在依靠 AI/ML 工具保障實體 AI 安全與安防方面，其可信程度存在上限。“AI 是解決方案的一部分，因為你可以用 AI 進行監控。” 新思科技（Synopsys）產品管理高級總監達納?諾伊施塔特表示，“最終你會使用多個 AI，其中一個可作為安全監控器。如果它具備足夠的隔離性而無法被篡改，就能為安防帶來顯著價值，無論機器人其余行為是否由 AI 控制。”

保護實體 AI 類似于搭建防火墻。“攻擊者會嘗試繞過防火墻，如果能控制防火墻，就會占據極為有利的位置，因為可以修改防火墻配置，攔截或放行各類信息。” 諾伊施塔特表示，“實體 AI 與此邏輯高度相似。我們不斷為其增加層層復雜度，但風險本質相同，只是在 AI 介入后以不同形式體現。”

專用 AI/ML 程序即專家系統已存在數十年，可用于下棋、駕駛、分析蛋白質折疊。“簡而言之，這些程序都是專用系統。” 芯佰思（Rambus）硅安全產品高級總監斯科特?貝斯特表示，“它們不會像 ChatGPT 那樣流暢、完全無沖突地與人對話，但或許能助力攻克癌癥。在芯片級安全方面，我們評估了數款專家系統，其目標是保障微電子設計與驗證中抗篡改安全功能的有效性。目前沒有一款能真正實現效率倍增。現階段，使用它們所需的投入與不使用它們直接完成工作相當。但我對此持樂觀態度。”

目前，芯片設計人員應負責實體 AI 的安全部分。“任何嵌入式安全應用都具備多層架構。” 新突思科技（Synaptics）物聯網與邊緣處理器副總裁兼總經理約翰?威爾表示，“必須考慮所搭建的安全層級，以及威脅模型是什么。我們為無線產品大量整合、構建優化軟件，安全是其中重要一環。”

語言模型與機器人的發展

發展到當前水平的小語言模型與大語言模型，是支撐下一代機器人的必要條件。其結果是誕生了 “表現尚可的實體 AI 通用大腦，如同 ChatGPT 之于數字 AI。” 英偉達機器人與邊緣 AI 副總裁兼總經理迪普?塔拉在英飛凌 OktoberTech 大會上表示。

圖 1：人形機器人架構基于計算與連接、感知、執行與能源技術。

同樣離不開如今仿真技術的先進能力。塔拉解釋道，仿真比真實世界測試更快、更安全、成本更低。“但在機器人領域，仿真到現實的差距一直很大，因此無法認為仿真中的表現能代表現實情況。由于大語言模型與仿真技術已相對成熟，全球頂尖的科研人員、初創企業、風投資本與大型企業都在轉向解決通用機器人大腦這一問題。”

監督 AI

亞利桑那州立大學計算與增強智能學院助理教授、系統學習評估與自然化實驗室（LENS Lab）主任蘭薩魯?塞納納亞克的研究指出，AI 審計工具可幫助提升連接實體 AI 的語言模型的完整性，但必須由人類界定故障模式范圍。

“我們擁有 AI 審計工具，它會通過多種方式干擾大模型，然后生成常見故障模式報告。” 塞納納亞克表示，“我們將結果交給人類，由人類判斷：‘這種故障模式很危險’或‘這種故障模式可以接受’。機器無法獨立完成審計，因為它無法與人類價值觀、倫理等對齊。人類無法對模型進行窮盡測試，因此我們開發了一種可擴展技術，用于干擾系統并為人類生成簡潔報告。人類查看報告后，指示模型減少特定故障模式，使其與人類價值觀對齊。”

通過反饋閉環，AI 審計工具會逐步更貼合人類需求。“值得注意的是，人類價值觀也會隨時間改變，只是速度更慢。” 塞納納亞克說，“如今可接受的內容，五年左右后可能不再被接受。”

想象力科技的約翰遜同樣認為，人類價值觀與道德是不可忽視的方面。“你該如何真正衡量智能？機器學習模型中的智能程度很低，它高度依賴于你提供的數據。”

因此，極端場景是監控大語言模型的 AI/ML 工具的薄弱環節。“開發 AI 工具的核心目標，是對未見過的場景具備置信度。” 約翰遜表示，“不安全數據集通常規模很小，而統計驗證可在此發揮作用，提供更豐富、多樣化的動態數據，以及大量數據或傳感器輸入。”

AI/ML 芯片驗證與功能覆蓋率工具

實體 AI 系統的安全與安防必須從半導體層面的功能驗證開始，以確保安全關鍵芯片在任何情況下都能按預期運行。在這一點上，汽車與實體 AI 存在共通之處。

AI/ML 工具可輔助該工作流中的多項任務，包括自動化代碼分析審查、功能覆蓋率、架構或規格審查，以及提升驗證生命周期效率，尤其是在覆蓋極端場景時。“在所有現有驗證流程與數據集上，你可以發現規律并找到未覆蓋的部分，而機器學習可在這些極端場景中提供幫助。” 約翰遜說，“但核心問題在于，用于訓練模型的數據是否優質、數據量是否充足，且訓練數據應與測試數據相互獨立。我們必須避免二者直接關聯，否則毫無價值。”

許多新型 AI/ML 與智能體 AI 工具都聚焦于驗證，因為這是人類工程師流程中耗時極高的環節。一旦出現失誤，成本也極為高昂，尤其是高端機器人與自動駕駛汽車芯片將采用先進工藝制造。

最大挑戰之一是根本原因分析（RCA）。“在軟件領域，人人都可以使用助手工具。”ChipAgents 創始人兼首席執行官威廉?王表示，“輸入、輸出、問題、代碼一應俱全，出現缺陷就修復并提交 GitHub 拉取請求。但半導體行業截然不同，因為技術棧極深，對于超大規模倉庫的根本原因分析而言難度極大。假設你在一家前沿芯片公司研發新款 GPU，通常涉及 100 億個邏輯門，不可能將 100 億個邏輯門輸入單個語言模型。這就是為何需要 AI 智能體探查倉庫內容，并提取所需上下文。”

圖 2：多智能體 AI 根本原因分析系統。

AI/ML 工具可實現整個根本原因分析流程自動化。“我們幫助你運行仿真。” 威廉?王說，“我們可以查看你的測試平臺，協助修復測試平臺。我們分析日志文件、波形，協助修復寄存器傳輸級（RTL）代碼。”

但設計驗證的終極問題依然是：“誰來驗證驗證工具？”

“這是一個無限回溯的循環問題，因為最終的基準事實由誰定義？”ChipAgents 工程主管梅希爾?羅拉表示，“我們能否檢查規格書的一致性？能否檢查測試計劃與規格書的一致性？能否實現從規格書到測試計劃、再到測試平臺的全鏈路可追溯性，從而更清晰地明確誰在執行驗證？”

ChipAgents 將功能覆蓋率作為 AI 智能體幫助節省人類工程師時間的關鍵方向。“一個值得關注的問題是，我們能否開發一套系統，生成定向測試用例，能夠跨越多層間接調用，最終找到并定位觸發單一狀態表的方式，從而在大型子系統中遍歷狀態空間。” 羅拉說。

通過配置智能體編寫定向測試用例可縮短仿真時間，這類用例在仿真中運行速度更快。“系統以完全自主模式運行。” 他表示，“可批量、通宵運行，用算力時間換取工程時間，這通常是極具價值的交換。”

當一套系統嘗試通過多層間接調用找到目標路徑時，另一套完整系統會以高度隨機化方式生成 UVM 測試平臺。“我們熟知約束隨機化，這是設計驗證工程師最基礎、最核心的手段。”

大語言模型工具會從目標文件中提取大量不同信息，輸出自然語言內容，所有工程師均可閱讀，盡管與黑白分明的代碼相比，自然語言存在模糊性。“我們必須接受這一難點，但它同樣也是優勢。” 他繼續說道，“傳統仿真器與形式化工具完全不使用英語，但我們認為這種方式價值被低估、未被充分利用。我們能獲得更強目的性與進展的核心途徑，就是通過自然語言、規格書、設計文檔、測試計劃等。”

其目標是利用大語言模型的層級能力與抽象理解解決覆蓋率相關的各類問題。“我們的目標是持續啟用多個智能體，致力于提升現有測試平臺的覆蓋率，編寫定向測試用例，并借助這些用例補全功能覆蓋率模型中定義的剩余覆蓋率。” 羅拉表示。

其他正在開發的工具與方法包括更強確定性與算法化工具、解析覆蓋率數據庫、分支與翻轉覆蓋率，以及構建 UVM 測試平臺。

圖 3：智能體 AI 可用于多種驗證任務。

總體而言，在實現實體 AI 功能安全的目標中，基于統計的功能覆蓋率是否是 AI/ML 工具的最佳應用場景之一？

“說實話，如果你想做好、做透徹，沒有任何一件事是簡單的。” 想象力科技的約翰遜說，“這回到能力本身。在機器學習中驗證概念，引入部分或完整的機器學習流程可能很容易。但真正理解其中的危害與風險，真正領會改進的細微之處并進行量化，難度極高。確保其不會破壞功能安全相關設計，同樣極為困難。如果你想做好、想負責任且安全地實現，沒有任何一項工作是簡單的。但這不會、也無法阻止人們嘗試。”

結論

在謹慎使用的前提下，AI/ML 工具可幫助提升數據密集型實體 AI 與大語言模型系統的安全性，并協助驗證驅動這些系統的芯片。

“AI 只是自動化的下一步，而自動化已經存在數十年。” 是德科技 EDA 高級總監亞歷山大?佩特爾表示，“自動化意味著你擁有規則、可遵循的標準，所有內容都以可自動化的格式（即代碼）呈現。數字電路、VHDL、版圖與原理圖一致性檢查（LVS）等基本都基于規則，自由度受限。相關標準已發展數十年，晶圓廠等芯片生產企業為所有潛在故障設置了防護欄。”

將 AI 引入功能覆蓋率等領域是自然的過渡。“這不是巨大的階躍變化。” 佩特爾說，“現在你讓 AI 代替人類編寫代碼，這很容易。”

通過承擔流程中重復性、高耗時的部分任務，AI/ML 工具還可幫助彌補人才缺口。“毫無疑問，我們看到對驗證工具與驗證工程師的需求持續增長，增速超過行業整體人才培養能力。” 楷登電子的格雷厄姆表示，“這正是我們認為 AI 將彌補的缺口之一。我不認為有人會因 AI 失業。未來的情況是，我們需要招聘 10 名工程師卻只找到 4 名，這一缺口至少會部分由 AI 提升的生產力彌補。”

但無論 AI/ML 以何種方式、在何處使用，最終都回歸到人、流程與能力，以確保所有工作負責任、可信地完成。想象力科技的約翰遜表示：“問題困難且復雜。因此，無論使用何種工具、何種技術，在直接切入機器學習領域之前，都應重點關注工程研發團隊的能力建設，搭建穩健的框架與流程，助力系統開發并合理、高效使用工具。”

成功使用 AI/ML 工具還依賴于對模型的理解。“這包括模型來源、使用方式、在約束與限制下的輸出結果，以及與其他數據點（可能由機器學習生成，也可能不是）之間的平衡。” 約翰遜說，“諷刺的是，在機器學習工具與數據集的支持下，你可能需要更少的工程師。但我的觀點是，必須提前防范問題，否則問題大概率會發生。”