算能BM1684X上完成Qwen3-VL 4B/8B模型的適配，推理速度13.7/7.2 tokens/s，使其成為邊緣部署多模態(tài)大模型的最佳選擇。

近日，阿里千問正式開源Qwen3-VL系列的4B和8B版本模型，為邊緣計(jì)算和端側(cè)設(shè)備提供了更高效的多模態(tài)AI解決方案。算能BM1684X芯片已完成對(duì)該系列模型的適配，4B/8B模型在邊緣端實(shí)現(xiàn)了13.7 /7.2 tokens/s的推理性能。

模型性能突破，小參數(shù)大能力

Qwen3-VL系列再添新成員——Dense架構(gòu)的Qwen3-VL-8B、Qwen3-VL-4B 模型，本地部署友好，在MMMU、MathVista等基準(zhǔn)測(cè)試中超越了同級(jí)別的其他模型，并在部分測(cè)試場(chǎng)景中展現(xiàn)出與更大規(guī)模模型相媲美的性能，通過架構(gòu)優(yōu)化，它有效解決了小模型中常見的視覺與文本能力不平衡問題，為邊緣場(chǎng)景帶來了更多解法。

Qwen3-VL 4B和8B模型在保持模型輕量化的同時(shí)，確保了多模態(tài)理解能力的完整性。這兩個(gè)規(guī)模的模型均提供Instruct和Thinking兩個(gè)版本，滿足不同場(chǎng)景的應(yīng)用需求。

Qwen3-VL模型能主動(dòng)識(shí)別異常行為，自動(dòng)調(diào)取多路攝像頭追蹤，并調(diào)用工具生成處置方案，實(shí)現(xiàn)從感知到?jīng)Q策的閉環(huán)；憑借增強(qiáng)的空間推理能力，系統(tǒng)可精準(zhǔn)分析人員軌跡、識(shí)別異常聚集，構(gòu)建動(dòng)態(tài)安防態(tài)勢(shì)圖，預(yù)警潛在風(fēng)險(xiǎn)；進(jìn)一步擴(kuò)展了長(zhǎng)上下文能力，支持對(duì)長(zhǎng)視頻的秒級(jí)精確定位，在文搜檢索的基礎(chǔ)上，提供有邏輯依據(jù)的事件分析，大幅提升調(diào)查效率。

另外，很多傳統(tǒng)算法沒有覆蓋的corner case，不再需要人工標(biāo)注訓(xùn)練，直接通過prompt調(diào)整即可實(shí)現(xiàn)，從"看得見"邁向"看得懂"，Qwen3-VL將為各種端側(cè)設(shè)備的智能化升級(jí)注入新動(dòng)力。

BM1684x適配加速，推理性能一騎絕塵

BM1684X芯片已完成對(duì)Qwen3-VL系列的適配工作，并開源在LLM-TPU倉庫，所有基于BM1684X的盒子、計(jì)算卡、微服務(wù)器都可以穩(wěn)定運(yùn)行。

API一鍵部署：如果想將Qwen3-VL的多模態(tài)能力集成到其他系統(tǒng)中，通過AIGC-SDK封裝好的標(biāo)準(zhǔn)API，只需要一行命令即可實(shí)現(xiàn)：

bash scripts/init_app.sh qwen3vl

測(cè)試數(shù)據(jù)顯示，Qwen3-VL模型在BM1684X平臺(tái)上的推理速度達(dá)到13.7 tokens/s，這一性能表現(xiàn)使得實(shí)時(shí)多模態(tài)理解在邊緣端成為可能。同時(shí)，芯片的多路視頻編解碼能力使其能夠同時(shí)處理32路1080p視頻流，為大規(guī)模部署奠定基礎(chǔ)。

Qwen3-VL系列模型與BM1684X的結(jié)合，為多個(gè)行業(yè)的智能化升級(jí)提供了新的技術(shù)路徑，本地化部署能夠有效降低云端傳輸延遲，提升系統(tǒng)響應(yīng)速度。

開源開放的工具鏈給了用戶更多的控制權(quán)，進(jìn)一步降低了模型部署的難度，開發(fā)者可以便捷地將自己微調(diào)后的模型移植到邊緣設(shè)備，加速應(yīng)用落地。