人工智能治理者(ai governor)是一個(gè)框架、一套政策或監(jiān)督機(jī)制，旨在確保人工智能系統(tǒng)的開發(fā)和使用符合倫理、安全、透明，并符合法律和社會標(biāo)準(zhǔn)。該術(shù)語也可以指用作特定人工智能系統(tǒng)中安全機(jī)制的實(shí)際代碼或電路（調(diào)速器邏輯）。

PAI通過電機(jī)、執(zhí)行器和傳感器實(shí)現(xiàn)，為數(shù)字人工智能（DAI）與現(xiàn)實(shí)世界提供橋梁。它可以用于公共空間如機(jī)器人出租車，或工業(yè)運(yùn)營中的自主機(jī)器人或手術(shù)輔助機(jī)器人等受保護(hù)空間。

物理人工智能（PAI）治理不同于生成式人工智能及其他DAI應(yīng)用如聊天機(jī)器人，因其在安全、物理世界互動、責(zé)任制以及潛在的現(xiàn)實(shí)損害和傷害等多方面考慮因素。

為了分析治理需求，PAI 可分為兩類：集中式或自包含式應(yīng)用，以及分布式應(yīng)用。分布式PAI（DPAI）可能存在更高的不確定性和風(fēng)險(xiǎn)。

例如，“存在問題”關(guān)注的是創(chuàng)建能夠可靠且安全運(yùn)行的系統(tǒng)，這些系統(tǒng)在受控?cái)?shù)字模擬或工廠設(shè)置之外存在。

DPIA應(yīng)用中的“社會接受問題”源于對信任、問責(zé)以及人類自主性和社會互動侵蝕的擔(dān)憂。治理是克服存在和接受問題的必要手段。

克服坎尼金定律的限制可能更具挑戰(zhàn)性。PAI的發(fā)展至少涵蓋材料科學(xué)、機(jī)械工程、化學(xué)、生物學(xué)和計(jì)算機(jī)科學(xué)等五個(gè)學(xué)科，成熟度和發(fā)展軌跡各異。Cannikin定律幫助開發(fā)者聚焦于“滯后”學(xué)科的局限性，通過解決確保多樣化組件無縫工作的固有挑戰(zhàn)，構(gòu)建穩(wěn)健且值得信賴的AI，這是現(xiàn)代AI治理的重要方面（見圖1）。

圖1。坎尼金定律可以成為PAI治理的關(guān)鍵因素。（圖片來源：arXiv)

代理型人工智能治理

傳統(tǒng)的人工智能治理假設(shè)可預(yù)測性，側(cè)重于部署前的檢查和監(jiān)督任務(wù)。在考慮動態(tài)、目標(biāo)導(dǎo)向的代理人工智能系統(tǒng)時(shí)，這些系統(tǒng)獨(dú)立規(guī)劃和行動，治理需要持續(xù)的實(shí)時(shí)監(jiān)督。

代理人工智能治理的一些核心考慮因素包括（見圖2）：

• 透明度必須以對代理性人工智能決策的清晰解釋來支持。

• 系統(tǒng)設(shè)計(jì)和法律要求需要明確的責(zé)任鏈。

• 持續(xù)監(jiān)控，確保申請不傾向于歧視或偏見行為。

• 安全需求涵蓋保護(hù)應(yīng)用免受對抗性攻擊和保護(hù)用戶免受傷害。

• 人機(jī)參與監(jiān)督可以提供持續(xù)的培訓(xùn)、協(xié)作和干預(yù)。
  

  圖2。代理人工智能治理的一些要素。（圖片來源：kanerika)

結(jié)合代理型和 PAI

代理性與利益相關(guān)性（PAI）的結(jié)合使治理變得復(fù)雜，將抽象風(fēng)險(xiǎn)轉(zhuǎn)化為具體的物理傷害。這使得對自主行為的責(zé)任追究、管理不可預(yù)測的后果以及確保物理系統(tǒng)遵守不斷演變的倫理和監(jiān)管標(biāo)準(zhǔn)變得困難。

這需要更嚴(yán)格的安全性、倫理和控制規(guī)則，以使PAI活動與人類意圖保持一致。某些組合比其他組合危險(xiǎn)性較低。例如，結(jié)合智能人工智能和PAI的智能建筑應(yīng)用更可能帶來不適，而非直接傷害。

另一方面，像外科輔助和與人類密切合作的協(xié)作工業(yè)機(jī)器人這樣的應(yīng)用，則增加了對人造成身體傷害的風(fēng)險(xiǎn)，需要更嚴(yán)格的控制和治理。

強(qiáng)制治理還是建議？

美國NIST人工智能風(fēng)險(xiǎn)管理框架（RMF）和歐盟人工智能法案中采取了兩種不同的人工智能治理方法。

歐盟人工智能法案直接監(jiān)管與“物理或虛擬環(huán)境”交互的人工智能系統(tǒng)。這包括PAI和DAI。以PAI為例，它專注于機(jī)器人技術(shù)、自動駕駛車輛、關(guān)鍵基礎(chǔ)設(shè)施如供水系統(tǒng)和電網(wǎng)、醫(yī)療設(shè)備以及工業(yè)自動化系統(tǒng)。它特別關(guān)注保護(hù)人們免受“高風(fēng)險(xiǎn)”應(yīng)用的影響，并對安全、透明度和人工監(jiān)督有嚴(yán)格要求。

圖3。NIST人工智能風(fēng)險(xiǎn)管理框架的關(guān)鍵要素。（NIST）)

而NIST人工智能風(fēng)險(xiǎn)管理框架（AI RMF）則是一種結(jié)構(gòu)化、自愿的人工智能治理方法，沒有特別關(guān)注公共利益（PAI）。它旨在補(bǔ)充網(wǎng)絡(luò)安全框架，并增加了特定的人工智能風(fēng)險(xiǎn)。它采用生命周期方法，包含與治理、地圖繪制、衡量和管理人工智能風(fēng)險(xiǎn)相關(guān)的建議（見圖3）。

摘要

治理對于建立人們對人工智能安全、其運(yùn)行符合人類倫理以及符合所有監(jiān)管要求的信任至關(guān)重要。DAI和PAI的治理實(shí)施方式不同。它在中心化PAI和分布式PAI的實(shí)現(xiàn)方式也不同。歐洲采用嚴(yán)格的監(jiān)管，而美國則采取自愿性做法。