LLM，全稱大語言模型(Large Language Model)。是一種基于深度學(xué)習(xí)的人工智能模型。它通過大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，從而能夠進(jìn)行對(duì)話、回答問題、撰寫文本等其他任務(wù)。

New
Module LLM

LLM Module是一款集成化的離線大語言模型（LLM）推理模塊，無需云端，即可提供流暢自然的 AI 體驗(yàn)。產(chǎn)品搭載愛芯元智 AX630C SoC 先進(jìn)處理器，集成 3.2TOPs@Int8 高能效 NPU，原生支持 Transformer 模型，輕松應(yīng)對(duì)復(fù)雜 AI 任務(wù)。且配備 4GB LPDDR4 內(nèi)存和32GB eMMC存儲(chǔ)，支持多模型并行加載與串聯(lián)推理，確保多任務(wù)處理流暢無阻。運(yùn)行功耗僅約 1.5W，遠(yuǎn)低于同類產(chǎn)品，節(jié)能高效，適合長時(shí)間運(yùn)行。

無需云端支持

模塊無需依賴云端，確保用戶隱私安全和系統(tǒng)穩(wěn)定性，適合各種對(duì)數(shù)據(jù)安全有高要求的應(yīng)用場景。集成 StackFlow 框架，配合 Arduino/UiFlow 庫，幾行代碼就可輕松實(shí)現(xiàn)端側(cè)智能。

高算力，低能耗

搭載愛芯元智AX630C SoC 處理器，集成 3.2TOPs@Int8 高效 NPU，提供強(qiáng)大的計(jì)算能力，原生支持 Transformer 模型，運(yùn)行功耗僅約 1.5W，確保節(jié)能高效。

AI Benchmark 對(duì)比

支持多模型并行

配備 4GB LPDDR4 內(nèi)存（其中1GB供用戶使用，3GB專用于硬件加速）和32GB eMMC存儲(chǔ)，支持多模型并行加載與串聯(lián)推理，確保多任務(wù)處理流暢無阻。

內(nèi)置外設(shè)

集成麥克風(fēng)，揚(yáng)聲器，TF存儲(chǔ)卡，USB OTG 及 RGB狀態(tài)燈，滿足多樣化應(yīng)用需求，輕松實(shí)現(xiàn)語音交互與數(shù)據(jù)傳輸。

靈活拓展

板載 SD 卡槽支持固件冷/熱升級(jí)，UART 通信接口簡化連接與調(diào)試，確保模塊功能持續(xù)優(yōu)化與擴(kuò)展。USB 口支持主從自動(dòng)切換，既可以做調(diào)試口，也可以外接更多 USB 設(shè)備如攝像頭。

視覺識(shí)別能力

支持 CLIP，YoloWorld 等 Open world 模型，未來將持續(xù)更新 DepthAnything，SegmentAnything 等先進(jìn)模型，賦能智能識(shí)別與分析。

即插即用

出廠預(yù)裝 Qwen2.5-0.5B 大語言模型，內(nèi)置KWS（喚醒詞），ASR（語音識(shí)別），LLM（大語言模型）及TTS（文本轉(zhuǎn)語音）功能，且支持分開調(diào)用或 pipeline 自動(dòng)流轉(zhuǎn)，方便開發(fā)。后續(xù)將支持Qwen2.5-1.5B、Llama3.2-1B及InternVL2-1B等多種端側(cè)LLM/VLM模型，支持熱更新模型，緊跟社區(qū)潮流，適應(yīng)不同復(fù)雜度的AI任務(wù)。搭配M5主機(jī)即可實(shí)現(xiàn)即插即用的AI交互體驗(yàn)。

LLM Module可作為離線語音助手，無需聯(lián)網(wǎng)即可進(jìn)行精準(zhǔn)語音識(shí)別與響應(yīng)，提升設(shè)備使用的智能和便捷性?；蛘呤峭ㄟ^語音指令輕松控制家中智能設(shè)備，實(shí)現(xiàn)智能化生活。產(chǎn)品推薦搭配M5系列主機(jī)進(jìn)行使用，無需繁瑣設(shè)置，即插即用。