以下文章來源于腦啟社區(qū)，作者腦啟社區(qū)

據(jù)悉，“杭州靈汐類腦智算集群”已于7月底實現(xiàn)了大模型快速推理API的企業(yè)服務(wù)試運行。該集群由杭州靈汐類腦科技有限公司牽頭搭建運營，中國電信、中國電子科技南湖研究院以及腦啟社區(qū)作為合作方參與，由杭州電信具體承擔(dān)集成建設(shè)。該集群部署在中國電信杭州智算中心，算力規(guī)模超200POPS。這也是類腦智算集群在全球范圍內(nèi)，首次以支持大模型快速推理的方式，走向商用試運行。

作為類腦智能技術(shù)的創(chuàng)新應(yīng)用成果，該智算集群具有”存算一體、眾核并行、稀疏計算、事件驅(qū)動”的特性，可顯著提升計算效率、大幅降低能耗，實現(xiàn)大語言模型推理的“一快、一低、一降”：一是推理速度快，單用戶的推理延遲控制在毫秒級別，速度性能相對于傳統(tǒng)方案有明顯優(yōu)勢（可流暢響應(yīng)實時交互及長本文深度推理），告別卡頓；二是首token延遲低，可降至百毫秒乃至十毫秒級；三是智算集群的功耗大幅下降，較業(yè)界同等推理算力水平可降低功耗二分之一至三分之二以上。異構(gòu)融合類腦芯片具有兼容PyTorch框架的類CUDA軟件棧，可直接服務(wù)于多類開源大模型的快速推理、而不需要轉(zhuǎn)換類腦算法。

當(dāng)前，大模型推理普遍存在吞吐速度慢（每秒十到幾十詞輸出）和高延遲問題（常常超過1秒甚至數(shù)秒），對眾多行業(yè)場景構(gòu)成了制約。在此背景下，靈汐科技基于類腦智能技術(shù)給出了“高實時、高吞吐、低延遲”的推理服務(wù)解決方案，將在金融應(yīng)用、情感陪聊、快速導(dǎo)覽、大規(guī)模數(shù)據(jù)標(biāo)注以及無人機實時航拍處理、災(zāi)害預(yù)警與應(yīng)急處置等領(lǐng)域場景逐步落地。據(jù)介紹，該智算集群（中心）將持續(xù)升級，新一代類腦智算高密度計算平臺也將在近期正式發(fā)布推出，集群能效比預(yù)計將進一步提升。