電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）近幾年，生成式AI引領(lǐng)行業(yè)變革，AI訓(xùn)練率先崛起，帶動(dòng)高帶寬內(nèi)存HBM一飛沖天。但我們知道AI推理的廣泛應(yīng)用才能推動(dòng)AI普惠大眾。在AI推理方面，業(yè)內(nèi)巨頭、初創(chuàng)公司等都看到了其前景并提前布局。AI推理也使得存儲(chǔ)HBM不再是唯一熱門，更多存儲(chǔ)芯片與AI推理芯片結(jié)合，擁有了市場(chǎng)機(jī)會(huì)。

已經(jīng)有不少AI推理芯片、存算一體芯片將SRAM替代DRAM，從而獲得更快的訪問速度、更低的刷新延遲等。

靜態(tài)隨機(jī)存取存儲(chǔ)器（Static Random-Access Memory，SRAM）是隨機(jī)存取存儲(chǔ)器的一種。這種存儲(chǔ)器只要保持通電，里面儲(chǔ)存的數(shù)據(jù)就可以恒常保持。相對(duì)之下，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器（DRAM）里面所儲(chǔ)存的數(shù)據(jù)就需要周期性地更新。但當(dāng)電力供應(yīng)停止時(shí)，SRAM儲(chǔ)存的數(shù)據(jù)還是會(huì)消失，這與在斷電后還能儲(chǔ)存資料的ROM或閃存不同。

SRAM具有較高的性能，但SRAM的集成度較低，功耗較DRAM大，SRAM需要很大的面積。同樣面積的硅片可以做出更大容量的DRAM，因此SRAM顯得更貴。SRAM可作為置于CPU與主存間的高速緩存，不需要定期刷新，響應(yīng)速度非?？?，可用于CPU的一級(jí)緩沖、二級(jí)緩沖。

GroqLPU近存計(jì)算

在AI推理大潮下，Groq公司開發(fā)的語言處理單元（Language Processing Unit，即LPU），以其獨(dú)特的架構(gòu)，帶來了極高的推理性能的表現(xiàn)。

Groq的芯片采用14nm制程，搭載了230MB SRAM以保證內(nèi)存帶寬，片上內(nèi)存帶寬達(dá)80TB/s。
SRAM 的訪問速度比 DRAM 快得多，這使得它在某些計(jì)算密集型應(yīng)用中表現(xiàn)得非常出色。Groq LPU 芯片采用大容量 SRAM內(nèi)存有助于提高機(jī)器學(xué)習(xí)和人工智能等計(jì)算密集型工作負(fù)載的效率。

Groq成立于 2016 年，總部位于美國(guó)加利福尼亞州山景城，是一家 AI 推理芯片廠商。該公司核心團(tuán)隊(duì)來源于谷歌最初的張量處理單元（TPU）工程團(tuán)隊(duì)。Groq 創(chuàng)始人兼CEO Jonathan Ross是谷歌TPU項(xiàng)目的核心研發(fā)人員。

2024年8月，Groq 在最新一輪融資中籌集了 6.4 億美元，由 BlackRock Inc. 基金領(lǐng)投，并得到了思科和三星投資部門的支持。

2024 年 12 月Groq在沙特阿拉伯達(dá)曼構(gòu)建了中東地區(qū)最大的推理集群，該集群包括了 19000 個(gè)Groq LPU，并在 8 天內(nèi)上線。

今年2月，Groq成功從沙特阿拉伯籌集 15 億美元融資，用于擴(kuò)展其位于沙特阿拉伯的 AI 基礎(chǔ)設(shè)施。

AxeleraAIPU芯片：內(nèi)存計(jì)算+RISC-V架構(gòu)

Axelera公司介紹，內(nèi)存計(jì)算是一種完全不同的數(shù)據(jù)處理方法，在這種方法中，存儲(chǔ)器設(shè)備的橫桿陣列可以用來存儲(chǔ)矩陣，并在沒有中間數(shù)據(jù)移動(dòng)的情況下“就地”執(zhí)行矩陣向量乘法。專有的數(shù)字內(nèi)存計(jì)算(D-IMC)技術(shù)是實(shí)現(xiàn)高能效和卓越性能的關(guān)鍵?；赟RAM(靜態(tài)隨機(jī)訪問存儲(chǔ)器)和數(shù)字計(jì)算相結(jié)合，每個(gè)存儲(chǔ)單元有效地成為一個(gè)計(jì)算單元。這從根本上增加了每個(gè)計(jì)算機(jī)周期的操作數(shù)(每個(gè)存儲(chǔ)單元每個(gè)周期一次乘法和一次累加)，而不受噪音或較低精度等問題的影響。

Axelera的AIPU芯片采用了創(chuàng)新的內(nèi)存計(jì)算技術(shù)。與傳統(tǒng)的磁盤存儲(chǔ)相比，內(nèi)存計(jì)算將數(shù)據(jù)存儲(chǔ)在主內(nèi)存（RAM）中，從而加快了數(shù)據(jù)處理速度。這一技術(shù)使得Axelera的芯片在提供高計(jì)算性能的同時(shí)，能以更低的成本和能耗來進(jìn)行邊緣AI計(jì)算。該芯片還采用了開源的RISC-V指令集架構(gòu)（ISA）。RISC-V作為一種低成本、高效且靈活的ISA，允許根據(jù)特定的應(yīng)用需求進(jìn)行定制。它為Axelera提供了極大的設(shè)計(jì)自由度和創(chuàng)新空間。

去年，Axelera獲得了來自三星電子風(fēng)險(xiǎn)投資部門三星Catalyst的大力支持，成功籌集了6800萬美元，至此Axelera的總?cè)谫Y額已達(dá)到1.2億美元。新投資者包括三星基金、歐洲創(chuàng)新委員會(huì)基金、創(chuàng)新產(chǎn)業(yè)戰(zhàn)略伙伴關(guān)系基金和Invest-NL。

EnCharge AI：模擬存內(nèi)計(jì)算

AI 芯片初創(chuàng)公司 EnCharge AI表示，已開發(fā)出一種用于 AI 推理的新型內(nèi)存計(jì)算架構(gòu)，EnCharge AI的核心技術(shù)是基于模擬存內(nèi)計(jì)算的AI芯片。這種創(chuàng)新的芯片設(shè)計(jì)采用"基于電荷的存儲(chǔ)器"，通過讀取存儲(chǔ)平面上的電流而非單個(gè)比特單元來處理數(shù)據(jù)，使用更精確的電容器替代了傳統(tǒng)的半導(dǎo)體。

與GPU等數(shù)字加速器相比，每瓦性能提高了 20 倍。EnCharge AI的推理芯片僅需一瓦的功率就能以8位元精度提供150 TOPS的AI運(yùn)算。

EnCharge AI源自普林斯頓大學(xué)，該公司創(chuàng)始人兼CEO Naveen Verma的相關(guān)研究項(xiàng)目涉及到內(nèi)存計(jì)算。用于機(jī)器學(xué)習(xí)計(jì)算的內(nèi)存計(jì)算采用在RAM中運(yùn)行計(jì)算的方式，以減少存儲(chǔ)設(shè)備帶來的延遲。

今年初，EnCharge AI完成超額認(rèn)購(gòu)的1億美元b輪融資。此輪超額認(rèn)購(gòu)融資使EnCharge AI的總?cè)谫Y額超過1.44億美元，將推動(dòng)其首款以客戶端運(yùn)算為主的AI加速器產(chǎn)品，并在2025年實(shí)現(xiàn)商業(yè)化。

d-Matrix：數(shù)字內(nèi)存計(jì)算DIMC架構(gòu)

d-Matrix采用數(shù)字內(nèi)存計(jì)算（DIMC）的引擎架構(gòu)將計(jì)算移動(dòng)到RAM（內(nèi)存）附近，該數(shù)字存算一體技術(shù)將存儲(chǔ)器與計(jì)算單元中的乘法累加器（MAC）進(jìn)行了合并，獲得了更大的計(jì)算帶寬和效率，降低延遲，減少能耗。首批采用d-Matrix的DIMC架構(gòu)的產(chǎn)品Jayhawk II處理器，包含約165億晶體管的Chiplet。每個(gè)Jayhawk II Chiplet都包含一個(gè)RISC-V核心對(duì)Chiplet進(jìn)行管理，每個(gè)核心有八個(gè)并行操作的DIMC單元。

去年底d-Matrix首款人工智能芯片Corsair開始出貨。每張Corsair卡由多個(gè)DIMC計(jì)算核心驅(qū)動(dòng)，具有2400 TFLOP的8位峰值計(jì)算能力、2GBSRAM和高達(dá)256GB的LPDDR6。

d-Matrix公司是一家位于加利福尼亞州圣克拉拉市的初創(chuàng)公司，專注于人工智能芯片的研發(fā)。該公司的主要產(chǎn)品是針對(duì)數(shù)據(jù)中心和云計(jì)算中的AI服務(wù)器設(shè)計(jì)的芯片，旨在優(yōu)化人工智能推理工作負(fù)載。d-Matrix公司已經(jīng)獲得了多家知名投資機(jī)構(gòu)的支持，包括微軟風(fēng)險(xiǎn)投資部門、新加坡投資公司淡馬錫、Palo Alto Networks等，D-Matrix曾在2022年4月獲得了4400萬美元融資，由 M12 和韓國(guó)半導(dǎo)體制造商 SK 海力士公司領(lǐng)投。累計(jì)融資超過1.6億美元。

雖然說SRAM的擁有成本比較高，但其在AI推理運(yùn)算中能夠減少數(shù)據(jù)來回傳輸?shù)难舆t，避免拖慢整個(gè)AI處理的速度。在AI推理的浪潮下，SRAM將發(fā)揮更大的作用。還有哪些存儲(chǔ)芯片因AI推理而贏得機(jī)會(huì)，我們將持續(xù)關(guān)注報(bào)道。