近日，RWKV社區(qū)在上海漕河涇舉辦了主題為《RWKV-7與未來趨勢》的開發(fā)者大會，來自全國各地的開發(fā)者、行業(yè)專家和技術(shù)創(chuàng)新者齊聚一堂，共同交流和探討后Transformer時代的AI新架構(gòu)和新的發(fā)展方向。格靈深瞳算法工程師楊鎧成受邀參會并發(fā)表了《RWKV-CLIP:一個魯棒的視覺-語言表征學(xué)習(xí)器》的主題演講。

據(jù)悉，RWKV是國產(chǎn)開源的首個非Transformer架構(gòu)的大語言模型，結(jié)合了RNN和Transformer的相關(guān)特性：出色的性能、快速的推理、快速的訓(xùn)練、節(jié)省VRAM、“無限” 的ctxlen和免費(fèi)的句嵌入，而且100% 不含自注意力機(jī)制。

楊鎧成談到，在大模型時代背景下，RWKV架構(gòu)得益于其在長上下文背景下的高效訓(xùn)練和推理能力，得到了廣泛的關(guān)注。伴隨著RWKV、Mamba等架構(gòu)的爆火，格靈深瞳第一時間將這類架構(gòu)應(yīng)用到圖文表征學(xué)習(xí)任務(wù)中，并構(gòu)建了RWKV-CLIP模型，在相同的預(yù)訓(xùn)練數(shù)據(jù)以及預(yù)訓(xùn)練參數(shù)設(shè)置下，RWKV-CLIP相較于基于Transformer架構(gòu)的CLIP模型，在線性探測、零樣本分類、零樣本檢索等任務(wù)中展示出了顯著的性能提升。相關(guān)論文目前已被EMNLP 2024主會錄用，相關(guān)訓(xùn)練代碼、數(shù)據(jù)均已開源。

作為行業(yè)領(lǐng)先的人工智能公司，格靈深瞳高度重視與社區(qū)和學(xué)術(shù)領(lǐng)域的交流合作。近日，格靈深瞳還發(fā)布了億級規(guī)模的圖文預(yù)訓(xùn)練RealSyn數(shù)據(jù)集，通過構(gòu)建一種高效的數(shù)據(jù)清洗和轉(zhuǎn)換范式，將圖文交錯文檔轉(zhuǎn)換為圖文對比學(xué)習(xí)可高效使用的圖文對數(shù)據(jù)。目前相關(guān)論文與數(shù)據(jù)集均已開源。