人工智能推理芯片開發(fā)商 Groq Inc. 今天宣布，已籌集 7.5 億美元的新資金。

Databricks Inc. 的支持者 Disruptive 領(lǐng)投了本輪融資。思科系統(tǒng)公司、三星電子公司、德國(guó)電信資本合作伙伴和幾家投資公司也加入了該論壇。Groq 目前的估值為 69億美元，高于去年的 28 億美元。

Groq 提供了一個(gè)稱為語言處理單元或 LPU 的處理器。該公司聲稱，該芯片可以運(yùn)行一些推理工作負(fù)載，能效比顯卡高出 10 倍。Groq 表示，LPU 的效率是競(jìng)爭(zhēng)對(duì)手芯片中未包含的多項(xiàng)優(yōu)化的成果。

協(xié)調(diào)運(yùn)行 AI 模型所涉及的不同處理器組件可能會(huì)消耗大量計(jì)算能力。根據(jù) Groq 的說法，其 LPU 減少了開銷，從而為推理留下了更多的處理能力。該公司表示，其芯片可以運(yùn)行具有 1 萬億個(gè)參數(shù)的模型。

Groq 的 LPU 使用自定義編譯器減少了與電路協(xié)調(diào)任務(wù)相關(guān)的開銷。編譯器會(huì)在推理工作負(fù)載啟動(dòng)之前計(jì)算哪個(gè)電路應(yīng)執(zhí)行哪些任務(wù)，這樣就無需在運(yùn)行時(shí)運(yùn)行必要的計(jì)算。

Groq 的編譯器還以其他方式優(yōu)化 AI 模型。許多芯片使用一種稱為量化的技術(shù)來壓縮神經(jīng)網(wǎng)絡(luò)，這會(huì)以犧牲一些輸出質(zhì)量為代價(jià)來減少內(nèi)存占用。Groq 表示，其編譯器使用了一種名為 RealScale 的改進(jìn)版本的技術(shù)。該技術(shù)僅壓縮神經(jīng)網(wǎng)絡(luò)中在量化時(shí)輸出質(zhì)量不會(huì)顯著下降的部分。

LPU 的另一個(gè)賣點(diǎn)是它具有所謂的確定性架構(gòu)。因此，可以通過單個(gè)時(shí)鐘周期的粒度來預(yù)測(cè)每個(gè)給定的計(jì)算作將花費(fèi)多少時(shí)間。根據(jù) Groq 的說法，LPU 的可預(yù)測(cè)性有助于實(shí)現(xiàn)性能優(yōu)化，否則這些優(yōu)化將難以實(shí)施。

該公司將其芯片作為名為 GroqRack 的設(shè)備的一部分進(jìn)行銷售。該系統(tǒng)包括九臺(tái)服務(wù)器，每臺(tái)服務(wù)器都擁有多個(gè) LPU。Grok 表示，與競(jìng)爭(zhēng)設(shè)備相比，GroqRack 需要更少的外部網(wǎng)絡(luò)硬件，從而降低了成本，并且無需進(jìn)行重大設(shè)施升級(jí)即可安裝在數(shù)據(jù)中心。

該公司還通過云平臺(tái)提供對(duì)其芯片的訪問。GroqCloud，正如該平臺(tái)所稱的那樣，托管 LPU 驅(qū)動(dòng)的 AI 模型，開發(fā)人員可以通過應(yīng)用程序編程接口將其集成到他們的軟件中。Groq 將利用其新資金來擴(kuò)展為 GroqCloud 提供支持的數(shù)據(jù)中心網(wǎng)絡(luò)。

這項(xiàng)投資是在有報(bào)道稱一家推理芯片的競(jìng)爭(zhēng)對(duì)手提供商正在尋求自己的新一輪融資之際進(jìn)行的。據(jù)報(bào)道，總部位于加利福尼亞州圣克拉拉的 Rivos 正在 洽談以 20 億美元的估值籌集高達(dá) 5000 萬美元的資金。該公司正在開發(fā)一種將顯卡與中央處理器內(nèi)核相結(jié)合的片上系統(tǒng)。