推理 文章 最新資訊
國產(chǎn)GPU實現(xiàn)萬卡訓練與推理雙突破，摩爾線程發(fā)布“花港”新架構
- 2025年12月20日，北京——摩爾線程首屆MUSA開發(fā)者大會（簡稱：MDC 2025）在北京中關村國際創(chuàng)新中心正式開幕。作為國內(nèi)首個聚焦全功能GPU的開發(fā)者技術盛會，大會系統(tǒng)展示了摩爾線程以自主MUSA統(tǒng)一架構為核心的全棧技術成果，全面展現(xiàn)公司在高端全功能GPU領域的關鍵突破與前瞻布局。本次發(fā)布的核心成果包括：1、新架構“花港”亮相：全功能GPU架構“花港”，支持FP4到FP64的全精度計算，算力密度提升50%，效能提升10倍。未來并將基于該架構推出高性能AI訓推一體“華山”芯片與專攻高性能圖形渲染的“
- 關鍵字： 國產(chǎn)GPU 萬卡 訓練 推理 摩爾線程 花港
將AI模型和推理引入物聯(lián)網(wǎng)
- 人工智能的實施正在從云轉(zhuǎn)向邊緣。帶寬和延遲是在邊緣云應用程序中進行推理時的關鍵問題，因此源推理對于許多物聯(lián)網(wǎng)應用程序至關重要。因此，邊緣對更多計算能力的需求也在上升。然而，邊緣是一個高度分散的領域，包括工業(yè)、智能手機、消費和可穿戴設備等市場。支持音頻、語音、文本和視頻的上下文 LLM 對物聯(lián)網(wǎng)計算提出了越來越高的要求，從數(shù)百個 GOPS 到數(shù)十個 TOPS 甚至更高。針對這一問題，Synaptics 推出了 Astra SL2600 系列多模態(tài)邊緣 AI 處理器，該處理器目前包括 2610 系列邊緣 AI
- 關鍵字： AI模型 推理 物聯(lián)網(wǎng) Synaptics
使用Tensorflow訓練模型并且部署到ESP32S3進行推理
- 1? ?簡介最近這一段時間在學習機器學習，也嘗試將一個SkLearn的模型部署到了PocketBeagle 2 上（感謝論壇提供的試用機會），發(fā)現(xiàn)效果是真的不錯。所以我就在想有沒有什么便捷的方式能夠?qū)⒁粋€簡單的模型部署到單片機上來實現(xiàn)某種行為的邊緣計算。于是經(jīng)過我的搜索后找到了一個ESP32 的基于Tensorfl ow lite 的庫。如下圖所示。上述的這個庫是基于TF官方的TF-lite進行ESP32-S3的適配。所以對應TF官方的介紹如下圖所示。至此邏輯關系已經(jīng)被整理清楚了，TF
- 關鍵字： 202509 Tensorflow 推理 樂鑫
用 OpenVINO? GenAI解鎖 LLM 極速推理：推測式解碼讓 AI 爆發(fā)潛能
- 隨著 DeepSeek、 GPT 和 Llama 等大語言模型（LLMs）不斷推動人工智能的邊界，它們在高效部署方面也帶來了重大挑戰(zhàn)。這些模型在生成類似人類的文本方面具有革命性，但每生成一個 token 都需要耗費巨大的計算資源。這不僅導致成本上升、能耗增加，還使響應速度變慢。在實時應用場景，如聊天機器人、虛擬助手和創(chuàng)意內(nèi)容生成工具等場景中，這些挑戰(zhàn)尤為突出。本文將探討如何利用 OpenVINO? GenAI 的推測式解碼技術使這一變革性創(chuàng)新成為現(xiàn)實。借助于簡化開發(fā)和優(yōu)化硬件利用率的工具，Ope
- 關鍵字： OpenVINO GenAI 推理
Arm計算平臺加持，全新Llama 3.2 LLM實現(xiàn)AI 推理的全面加速和擴展
- 新聞重點：●? ?在Arm CPU上運行Meta最新Llama 3.2版本，其云端到邊緣側的性能均得到顯著提升，這為未來AI工作負載提供了強大支持●? ?Meta與Arm的合作加快了用例的創(chuàng)新速度，例如個性化的端側推薦以及日常任務自動化等●? ?Arm十年來始終積極投資AI領域，并廣泛開展開源合作，為?1B?至?90B?的?LLM?實現(xiàn)在?Arm?計算平臺上無縫運行人
- 關鍵字： Arm Llama 3.2 LLM AI 推理 Meta
| 共6條 1/1 1 |
推理介紹
您好，目前還沒有人創(chuàng)建詞條推理!
歡迎您創(chuàng)建該詞條，闡述對推理的理解，并與今后在此搜索推理的朋友們分享。 創(chuàng)建詞條
歡迎您創(chuàng)建該詞條，闡述對推理的理解，并與今后在此搜索推理的朋友們分享。 創(chuàng)建詞條
推理相關帖子
關于我們 -
廣告服務 -
企業(yè)會員服務 -
網(wǎng)站地圖 -
聯(lián)系我們 -
征稿 -
友情鏈接 -
手機EEPW
Copyright ?2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《電子產(chǎn)品世界》雜志社 版權所有 北京東曉國際技術信息咨詢有限公司
京ICP備12027778號-2 北京市公安局備案：1101082052 京公網(wǎng)安備11010802012473
Copyright ?2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《電子產(chǎn)品世界》雜志社 版權所有 北京東曉國際技術信息咨詢有限公司
京ICP備12027778號-2 北京市公安局備案：1101082052 京公網(wǎng)安備11010802012473