你的聊天機器人可能存在數據泄露風險。近期有報道稱，用戶與 OpenAI 的 ChatGPT、xAI 的 Grok 等 AI 聊天機器人的對話 “已出現在搜索引擎結果中”，Meta AI 應用中的用戶指令也可能被公開推送。但如果這些查詢和對話能得到保護，隱私安全是否能得到強化？

這正是專注于隱私增強技術的公司 Duality 想要實現的目標 —— 其推出的私有大語言模型（LLM）推理框架，核心依托全同態加密（FHE）技術。這種加密技術允許在不解密數據的前提下對加密數據進行計算，從根源上保障隱私。

Duality 的框架流程十分清晰：先通過全同態加密技術對用戶指令或查詢進行加密，再將加密后的查詢發送給大模型；大模型無需解密即可直接處理查詢，生成加密回復后反饋給用戶。

“用戶只需解密結果，就能享受大模型的服務，而無需暴露自己的提問內容或模型的回復信息。”Duality 聯合創始人兼首席技術官 Kurt Rohloff 說。

目前該框架仍處于原型階段，僅支持較小規模的模型，尤其是谷歌的 BERT 系列模型。團隊對這些大模型進行了微調以適配全同態加密，例如用近似函數替代部分復雜數學函數，提升計算效率。即便經過這些細微調整，AI 模型的運行效果仍與普通大模型一致。

“我們的推理過程無需重新訓練模型。”Duality 加密技術副總裁 Yuriy Polyakov 表示，“我們的思路是保持傳統的訓練方式不變，重點優化推理過程的效率。”

FHE LLM 推理的挑戰

FHE 被認為是一種量子計算機證明加密。然而，盡管其安全性很高，但加密方法可能很慢。“完全同態加密算法嚴重受內存限制，”CipherSonic Labs 的聯合創始人兼首席技術官 Rashmi Agrawal 說，該公司是她在波士頓大學加速同態加密的博士研究中衍生出來的。她解釋說，FHE 依賴于基于晶格的密碼學，該密碼學建立在網格中向量周圍的數學問題之上。“由于基于格的加密方案，你會放大數據大小，”她補充道。這會導致巨大的密文（數據的加密版本）和需要大量內存的密鑰。

Agrawal 說，另一個計算瓶頸需要一種稱為引導的作，需要定期從密文中消除噪聲。“這項特殊的作非常昂貴，這就是 FHE 迄今為止進展緩慢的原因。”

為了克服這些挑戰，Duality 的團隊正在對一種名為 CKKS（Cheon-Kim-Kim-Song）的 FHE 方案進行算法改進，該方案非常適合機器學習應用。“該方案可以處理實數的大向量，并且實現了非常高的吞吐量，”Polyakov 說。這些改進的一部分涉及集成一項稱為功能引導的最新進展。“這使我們能夠對大型載體進行非常有效的同態比較作，”Polyakov 補充道。

所有這些實現都可以在 OpenFHE 上獲得，OpenFHE 是 Duality 貢獻并幫助維護的開源庫。“這是一個復雜而復雜的問題，需要社區的努力。我們正在提供這些工具，以便與社區一起推動最先進的技術并實現大型語言模型的推理，“Polyakov 說。

硬件加速在加速 LLM 推理的 FHE 方面也發揮了作用，特別是對于更大的 AI 模型。“使用專門的硬件加速設備，它們可以加速兩到三個數量級，”Polyakov 說。Duality 正在考慮到這一點，并在 OpenFHE 中添加了一個硬件抽象層，用于從默認 CPU 后端切換到更快的后端，例如 GPU 和專用集成電路 （ASIC）。

Agrawal 同意 GPU 以及現場可編程門陣列 （FPGA） 非常適合受 FHE 保護的 LLM 推理，因為它們速度快并且連接到高帶寬內存。她補充說，FPGA 尤其可以針對完全同態加密工作負載進行定制。

對于 Duality 的下一步，該團隊正在將他們的私有 LLM 推理框架從原型推進到生產。該公司還致力于保護其他人工智能作，包括針對特定任務根據專門數據微調預訓練模型，以及語義搜索以揭示搜索查詢背后的上下文和含義，而不僅僅是使用關鍵字。

加密大模型是未來趨勢

FHE 與差分隱私和機密計算等技術一起構成了更廣泛的 LLM 隱私保護工具箱的一部分。差分隱私為數據集引入了受控的噪聲或隨機性，在保持集體模式的同時模糊了個人細節。同時，機密計算采用可信執行環境，即 CPU 內用于處理敏感數據的安全隔離區域。

機密計算的出現早于全同態加密這種新技術，Rashmi Agrawal 認為它是全同態加密的 “直接競爭對手”。但她指出，機密計算不支持 GPU，這使其難以適配大模型的運行需求。

“當需要非交互式端到端保密時，全同態加密的優勢最為明顯，因為在整個計算過程中，沒有人能獲取你的數據。”Rashmi Agrawal 說。

使用 FHE 的完全加密的法學碩士開辟了一個可能性的領域。例如，在醫療保健領域，可以在不泄露敏感患者記錄的情況下分析臨床結果。金融機構可以在不披露銀行賬戶信息的情況下檢查欺詐行為。企業可以將計算外包給云環境，而無需透露專有數據。用戶與人工智能助手的對話也可以受到保護。

“我們正在進入隱私技術的適用性和可用性的復興，以實現安全的數據協作，”Rohloff 說，“我們都有數據。我們不一定必須在公開敏感數據和從這些數據中獲得最佳見解之間做出選擇。