- 芯原股份（芯原）近日宣布其超低能耗且高性能的神經網絡處理器（NPU）IP現已支持在移動端進行大語言模型（LLM）推理，AI算力可擴展至40 TOPS以上。該高能效NPU架構專為滿足移動平臺日益增長的生成式AI需求而設計，不僅能夠為AI PC等終端設備提供強勁算力支持，而且能夠應對智慧手機等移動終端對低能耗更為嚴苛的挑戰。芯原的超低能耗NPU IP具備高度可配置、可擴展的架構，支持混合精度計算、稀疏化優化和并行處理。其設計融合了高效的內存管理與稀疏感知加速技術，顯著降低計算負載與延遲，確保AI處理流暢、響應
- 關鍵字：
芯原 NPU 大語言模型推理 NPU IP
大語言模型推理介紹
您好，目前還沒有人創建詞條大語言模型推理!
歡迎您創建該詞條，闡述對大語言模型推理的理解，并與今后在此搜索大語言模型推理的朋友們分享。
創建詞條
關于我們 -
廣告服務 -
企業會員服務 -
網站地圖 -
聯系我們 -
征稿 -
友情鏈接 -
手機EEPW
Copyright ?2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《電子產品世界》雜志社 版權所有 北京東曉國際技術信息咨詢有限公司
京ICP備12027778號-2 北京市公安局備案：1101082052 京公網安備11010802012473
