眾所周知，?模型代表了??智能技術的前沿發展。它以強?的語?理解和?成能?，正在重塑許多領域。但是從獲得?模型的 API 接?，到將模型應?于實際?產之間，存在巨?的鴻溝，到底要解決哪些問題才能實現真正的跨越？

本文整理自 8 月 12 日「NPCon：AI模型技術與應用峰會」上，來自 Dify.AI 創始人張路宇《LLM 應用技術棧與Agent全景解析》的分享，介紹了當前大模型技術應用技術棧以及 Agent 技術的應用場景和發展趨勢。

五、LLMOps 是如何解決這些問題的？

備注：現場視頻請查閱「CSDN視頻號」，直播回放（56:30處起）

Prompt?程化：代碼與模型解耦

獲得?個?模型 API 之后，開發者需要通過編寫代碼對 Prompt 進?不斷調試和迭代優化。

LLM應用工程的演進路線

但是這種?式存在以下兩個核?問題:

1、Prompt 與代碼?度耦合。?個好的 Prompt 需要?時間的調試和優化才能達到預期效果，但與此同時，實現 Prompt 的代碼通常很簡單，只是起到?個邏輯串聯的作?。這導致 Prompt ?程師和開發者的?作?法有效分離，整個開發過程效率低下。

2、對?技術?員完全不友好。Prompt 的調試實際上需要語?和領域專家進?語義上的迭代優化。但是傳統的代碼開發?式將 Prompt 封裝在代碼邏輯中，使得語?專家和?技術?員?法參與 Prompt 開發和優化過程，?法發揮他們的專?。

這樣的開發?式導致 Prompt ?程很難落地。我們需要實現 Prompt 與代碼的解耦，以更好地發揮語?專家和?技術專家的作?，讓 Prompt ?程像其他軟件?程流程?樣實現??分?、協作開發。同時，我們還需要使?更易?的界?與?具，降低?技術?員的使??檻，讓他們也能參與 Prompt 開發和持續優化，發揮各?的專業價值。

私有化數據接?：持續更新與調整

?模型都是通過公開可?的數據集進?預訓練的，對單次輸??度也存在限制，?般在 4000 個 Token 左右。這使得開發者?法直接利?企業內部的專有數據來豐富模型的應?語境，構建針對業務場景優化的 AI 應?。

要實現私有化數據的有效利?存在以下困難:

• 微調整個模型需要?量標注數據、GPU 算?和時間成本。這對?部分?來說不現實也不可?。

• 簡單的?本匹配?式效果很有限。將??問題與?檔?段簡單匹配，容易產?語義偏差，?法精準理解??意圖。

• ??本 Inputs 也難以直接接?模型，需要切分嵌?。

• ?法進?持續數據接?和更新，模型語境脫離最新業務。

?如利?問答對進?匹配，?不是簡單的上下??段，具體步驟是:

1.使?語義匹配技術對?檔庫進?劃分，?成問答對

2.將??查詢與問答對庫匹配，找到匹配程度最?的問答對

3.提取該問答對的答案作為回復

這種匹配?式充分利?了問答對的雙向互證關系，能?幅提升匹配精確度，使模型理解??意圖的能?上?個臺階。與此同時，還需要?動化處理??本的分割和向量嵌?，以便?效輸?模型。

然?即使這樣?個?常簡單的能?，在實際開發中都會有很多?程細節。

Agent 的演進：?動化編排

AI 提?效率的進程，是從輔助你更快地完成?件事?直接幫你完成?件事?替代?個?。也是 Agnet 從純??編排到?主編排的演進過程。

要實現?個真正智能且?動化的 Agent，需要解決多輪復雜對話中的?動化推理和執?問題。主要?臨以下挑戰：

1、?動化規劃：分解對話?標及完成任務所需的多個步驟，進?動態規劃。

2、提?記憶?：合理利??期記憶知識庫和多輪對話短期記憶，?不是單輪獨?推理。

3、?具使?：?縫調?外部?具和服務，實現復雜任務?標。

4、不斷總結反思：關注對話過程，總結經驗，改進下?輪回復。

5、多輪細致推理：進?跨輪的深度推理，?不只是淺層次單輪推理。

6、?動執?：根據推理結果，完成真實世界的任務和?動。

要實現這些能?，關鍵是以特定格式組織對話過程，引導模型進?結構化推理。包括??語句、過往對話記憶、?具調?以及反思等知識。還需要不斷學習和優化這種過程表?，以產出更?質量的對話與?動執?。

我們最終會丟掉 LangChain 這本教科書

LangChain 在?模型應?開發學習中?疑是教科書級的存在，它提供了完善的模型連接器、Prompt 模板、Agent 抽象概念等?檔。但從產品化應??度，它也存在?些局限：

• LangChain 更偏向代碼庫，與業務系統集成困難，?法直接應?于產品。

• 復雜的概念需要?量學習成本，?檻較?。

• ?具集成脆弱，直接應?效果有限，模型?持存在鴻溝。

• 缺乏運營管理功能，不適合?技術?員使?。

• ?法進?持續優化和數據迭代。

LangChain 讓我們充分認識到?模型應?開發的復雜性。但從代碼庫到產品，還需要進?步的框架和?具?持。每個?都要學習 LangChain，但最終都會丟掉它。

LLMOps是如何解決這些問題的？

?對上述種種難題，是否存在?個?具或平臺，可以幫助我們簡化基于?模型構建應?的過程呢？

LLMOps(LargeLanguageModelOperations) 應運??。

LLMOps 是?個涵蓋?模型開發、部署、優化等全流程的最佳實踐。它的?標是通過流程化和?具化，簡化和降低基于?模型應?開發的?檻，解決數據、Prompt、Agent ?動化等難題，使任何組織和開發者都可以?效地利??模型技術。

?如 Dify，它作為 LLMOps 理念的具體實踐產品，成功地解決了從?模型到實際應?之間的鴻溝,實現了理論到現實的轉化。

在 Prompt ?程化??，Dify 通過可視化編輯實現了 Prompt 與代碼的解耦，降低了學習?檻，提?了協作效率，讓更多??也能參與 Prompt ?程。

在私有化數據利???，Dify 通過?動化的數據處理流程，實現了私有數據的?效注?，增強了模型的業務適配性。

在 Agent 的?動化??，Dify 提供了完整的 Agent 構建框架，??簡化了?動化推理系統的開發。

通過 Dify.AI 等 LLMops 開發工具，可以有效解決以下問題：

• 所?即所得的 Prompt ?程，?持?技術?員實時調試和優化。

• 數據 0 代碼化準備，?持快速數據清洗、分段和集成。

• ?動化??本分割、嵌?和上下?存儲。

• ?鍵應?部署，實時監控和?志追蹤。

• 國內外多模型可插拔組件化，?持GPT、Claude、MiniMax、百川BaiChuan、訊?星?等，選擇更加靈活。

• ?持托管在 HuggingFace 及 Replicate 上的開源模型，如 Llama2。

• Agent 實驗室：智聊，推出了??瀏覽、Google 搜索、Wikipedia 查詢等第??插件。并與開發者共建?主 Agent、插件開發、多模態等新能?探索。

• 多?協作開發和組織管理。

• 快速對接業務系統，提供 API 接?即服務。

LLMOps 正將?模型技術從理想主義的概念，逐步引領?現實的應?落地。它極?降低了基于?模型應?開發的?檻，提供了從理論到實踐的?縫過渡與落地。