TL;DR

將海外廣受歡迎的開源智能相冊(cè)項(xiàng)目Immich部署于樹莓派5上，并通過搭載基于AX650N/AX8850的M.2算力卡，顯著提升了系統(tǒng)算力。借助該方案，我們高效部署了多模態(tài)模型CLIP，有效緩解了僅依賴樹莓派5本體運(yùn)行時(shí)CPU資源占用過高的瓶頸，大幅提升了“以文搜圖”功能的響應(yīng)速度與使用體驗(yàn)。

為何推薦采用M.2形態(tài)的算力卡？原因在于，目前絕大多數(shù)NAS設(shè)備均內(nèi)置M.2 2280接口，主要用于安裝高速SSD緩存或存儲(chǔ)盤。利用這一通用接口擴(kuò)展AI算力模塊，不僅無需額外供電或外接設(shè)備，還能實(shí)現(xiàn)算力升級(jí)與存儲(chǔ)擴(kuò)展的兼容共存，具備極佳的硬件兼容性與部署靈活性。這種“即插即用”的升級(jí)方式，為邊緣設(shè)備賦能AI能力提供了高效、低成本的解決方案。

01背景

今年下半年，隨著業(yè)務(wù)推廣需求增加，我們的大模型適配工作也有了新方向：不再只追求前沿模型的快速適配，而是更聚焦為銷售團(tuán)隊(duì)提供具備實(shí)戰(zhàn)價(jià)值的解決方案，即貼近客戶剛需、可快速落地的大模型應(yīng)用。

因此，接下來的技術(shù)分享會(huì)更聚焦在基于我司邊緣AI芯片（如AX650/AX8850）的實(shí)際應(yīng)用落地，幫助客戶實(shí)現(xiàn)從Demo到量產(chǎn)的跨越。

其中一個(gè)重點(diǎn)場(chǎng)景就是：AI NAS產(chǎn)品應(yīng)用。

自2025年下半年以來，NAS行業(yè)正加速向“AI NAS”演進(jìn)，開啟智能化升級(jí)的新階段。作為產(chǎn)品經(jīng)理，我們?cè)谡{(diào)研中提煉出一系列面向家庭與個(gè)人用戶的“智能內(nèi)容管理”需求，涵蓋圖像、音頻、視頻等多個(gè)維度，推動(dòng)NAS從傳統(tǒng)的數(shù)據(jù)存儲(chǔ)中心向AI內(nèi)容中樞轉(zhuǎn)型。

圖像類功能（已整合至智能相冊(cè)場(chǎng)景）：

自然語言檢索圖片（以文搜圖）

智能去重與相似圖識(shí)別

老照片修復(fù)與圖像超分辨率

時(shí)光縮影（自動(dòng)生成回憶視頻）

音頻類功能：

音質(zhì)增強(qiáng)與降噪

歌詞自動(dòng)匹配與生成

會(huì)議錄音轉(zhuǎn)錄與摘要

視頻類功能：

視頻超分與畫質(zhì)增強(qiáng)

運(yùn)動(dòng)插幀提升流暢度

自動(dòng)生成字幕并支持多語言翻譯

在構(gòu)建智能相冊(cè)能力的過程中，綜合考慮社區(qū)活躍度、功能完整性、擴(kuò)展性與部署復(fù)雜度，最終選定Immich。Immich不僅支持高質(zhì)量的照片與視頻備份，還內(nèi)置了基于CLIP模型的語義檢索能力，是實(shí)現(xiàn)“以文搜圖”的理想基礎(chǔ)平臺(tái)。

然而，在將Immich部署于樹莓派5等端側(cè)設(shè)備時(shí)，我們發(fā)現(xiàn)其默認(rèn)使用CPU運(yùn)行CLIP模型會(huì)導(dǎo)致資源占用過高，響應(yīng)延遲明顯，嚴(yán)重影響用戶體驗(yàn)。為此，我們引入基于AX650N/AX8850芯片的M.2算力卡，通過硬件卸載方式將多模態(tài)推理任務(wù)從主CPU轉(zhuǎn)移至NPU，顯著降低系統(tǒng)負(fù)載，提升檢索效率。

本文將簡(jiǎn)要介紹Immich的核心功能，并重點(diǎn)分享如何利用M.2算力卡實(shí)現(xiàn)CLIP模型的高效推理部署，拓展Immich在低功耗邊緣設(shè)備上的適用場(chǎng)景，為AI NAS的本地化智能演進(jìn)提供可行路徑。

02Immich

自托管的照片和視頻管理解決方案?？梢暂p松的部署在自己的服務(wù)器（x86 mini PC或者樹莓派5）上，實(shí)現(xiàn)備份、整理和管理自己的照片。Immich幫助便捷地瀏覽、搜索和管理照片與視頻，由于是私有化部署，因此完全不用擔(dān)心隱私風(fēng)險(xiǎn)。

官方網(wǎng)站：https://immich.app/

官方文檔：https://docs.immich.app/overview/quick-start/

GitHub項(xiàng)目：https://GitHub.com/immich-app/immich

架構(gòu)淺析

Immich其實(shí)是比較復(fù)雜的項(xiàng)目，在本文中只做最基本的探討，主要是為了引出AI模型在什么位置，詳細(xì)的架構(gòu)說明請(qǐng)參考https://docs.immich.app/developer/architecture

Immich采用傳統(tǒng)的客戶端-服務(wù)器架構(gòu)，并使用專用數(shù)據(jù)庫進(jìn)行數(shù)據(jù)持久化。前端客戶端通過HTTP使用REST API與后端服務(wù)進(jìn)行通信。以下是該架構(gòu)的高層級(jí)示意圖。

示意圖展示了客戶端通過REST與服務(wù)器的API進(jìn)行通信的過程。服務(wù)器則通過倉庫接口與下游系統(tǒng)（如Redis，Postgres，Machine Learning，file system）進(jìn)行通信。圖中未顯示的是，服務(wù)器被拆分為兩個(gè)獨(dú)立的容器：immich-server和immich-microservices。微服務(wù)容器不處理API請(qǐng)求或安排定時(shí)任務(wù)，而主要是處理來自Redis的傳入作業(yè)請(qǐng)求。

Immich后端被劃分為多個(gè)服務(wù)，每個(gè)服務(wù)作為獨(dú)立的Docker容器運(yùn)行。

immich-server-負(fù)責(zé)處理和響應(yīng)REST API請(qǐng)求，執(zhí)行后臺(tái)作業(yè)（如縮略圖生成、元數(shù)據(jù)提取、轉(zhuǎn)碼等）。

immich-machine-learning-執(zhí)行機(jī)器學(xué)習(xí)模型。

postgres-用于持久化數(shù)據(jù)存儲(chǔ)。

Redis-管理后臺(tái)作業(yè)的任務(wù)隊(duì)列。

這些容器協(xié)同工作以提供Immich的完整功能。

Machine Learning

（適配的核心工作）

Machine Learning服務(wù)使用Python編寫，并通過FastAPI進(jìn)行HTTP通信。

所有與Machine Learning相關(guān)的操作均已移至該獨(dú)立服務(wù)（immich-machine-learning）。Python是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的自然選擇，但它也對(duì)硬件有較為特定的要求。將其作為獨(dú)立容器運(yùn)行，使得該容器可以在單獨(dú)的機(jī)器上部署，或根據(jù)需要輕松地完全禁用。

對(duì)機(jī)器學(xué)習(xí)服務(wù)的每個(gè)請(qǐng)求都包含與模型任務(wù)、模型名稱等相關(guān)元數(shù)據(jù)。這些設(shè)置與其他系統(tǒng)配置一同存儲(chǔ)在Postgres數(shù)據(jù)庫中。微服務(wù)容器在每次請(qǐng)求時(shí)會(huì)獲取這些設(shè)置，并將其附加到請(qǐng)求中。

在服務(wù)內(nèi)部，機(jī)器學(xué)習(xí)服務(wù)在處理文本或圖像數(shù)據(jù)之前，會(huì)先為每個(gè)請(qǐng)求下載、加載并配置指定的模型。已加載的模型會(huì)被緩存，以便在后續(xù)請(qǐng)求中重復(fù)使用。服務(wù)使用線程池在不同線程中處理每個(gè)請(qǐng)求，以避免阻塞異步事件循環(huán)。

Immich官方倉庫中，所有模型均采用ONNX格式。該格式在業(yè)界得到廣泛支持，意味著大多數(shù)其他模型格式均可導(dǎo)出為ONNX，且許多硬件API也支持該格式。但是對(duì)于以文搜圖這樣的算法應(yīng)用，Immich采用的是主流的CLIP模型，即使使用性能較強(qiáng)的消費(fèi)級(jí)x86 CPU，運(yùn)行較大的CLIP模型效率也較低。

因此，我們引入基于AX650N/AX8850的M.2算力卡，作為提升邊緣推理性能的硬件加速方案。將“以文搜圖”這類模型體積大、內(nèi)存與算力需求高的任務(wù)，其運(yùn)行負(fù)載卸載到M.2算力卡上。這樣即使在性能較低的NAS主控產(chǎn)品上也能啟用機(jī)器學(xué)習(xí)的服務(wù)，提升用戶體驗(yàn)。我們始終在探索改進(jìn)方法，以專門優(yōu)化該容器在內(nèi)存使用和性能方面的表現(xiàn)。

03示例展示

硬件方案

本方案選用在開發(fā)者社區(qū)中用戶基礎(chǔ)廣泛、生態(tài)成熟的Raspberry Pi 5作為主控平臺(tái)，部署開源智能相冊(cè)系統(tǒng)Immich。樹莓派5憑借其較強(qiáng)的計(jì)算性能、良好的Linux兼容性以及豐富的外設(shè)支持，為輕量級(jí)AI NAS應(yīng)用提供了理想的邊緣計(jì)算載體。

為進(jìn)一步提升端側(cè)AI推理能力，解決多模態(tài)模型（如CLIP）在CPU上運(yùn)行時(shí)資源占用高、響應(yīng)延遲大的問題，系統(tǒng)額外搭載了一塊M.2 2242規(guī)格的AI算力卡（基于AX650N/AX8850等NPU芯片），用于卸載圖像語義分析等高算力需求任務(wù)。該算力卡通過PCIe接口直連主控，具備低功耗、高能效比的特點(diǎn)，可在不增加系統(tǒng)復(fù)雜性的前提下顯著提升本地推理性能。

采用M.2 2242形態(tài)而非更常見的2280，旨在適配更多緊湊型設(shè)備與HAT擴(kuò)展板的空間限制，尤其適合樹莓派生態(tài)中的小型化AI邊緣部署場(chǎng)景。該設(shè)計(jì)也為未來在其他NAS平臺(tái)實(shí)現(xiàn)“存儲(chǔ)+算力”一體化擴(kuò)展提供了參考路徑。

https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card

軟件方案

為充分發(fā)揮M.2算力卡的AI加速能力，我們對(duì)immich-machine-learning服務(wù)進(jìn)行了深度定制與擴(kuò)展，核心在于集成對(duì)AXCL（Axera Compute Library）驅(qū)動(dòng)的原生支持。通過引入Axera提供的NPU Python API，系統(tǒng)可在運(yùn)行時(shí)直接調(diào)用部署于AX650N/AX8850芯片上的axmodel模型，實(shí)現(xiàn)高效、低延遲的本地化推理。

所有axmodel模型均通過Axera官方Pulsar2 NPU工具鏈，由標(biāo)準(zhǔn)ONNX模型轉(zhuǎn)換而來，確保模型精度與推理性能的最優(yōu)平衡。我們特別選用了更大規(guī)模的CLIP-L/14-336視覺-語言預(yù)訓(xùn)練模型，其參數(shù)量顯著優(yōu)于Immich默認(rèn)的ViT-B/16等輕量模型。該模型基于Transformer架構(gòu)，能夠更精準(zhǔn)地提取圖像與文本的高層語義特征，在“以文搜圖”任務(wù)中實(shí)現(xiàn)更高的召回率與語義匹配準(zhǔn)確度。

為降低用戶部署門檻，我們已將定制后的Immich服務(wù)打包為預(yù)編譯的Docker鏡像，并連同轉(zhuǎn)換好的axmodel模型文件一并開源至Hugging Face。樹莓派用戶可直接拉取鏡像并啟動(dòng)服務(wù)，無需手動(dòng)編譯或模型轉(zhuǎn)換，即可在邊緣設(shè)備上體驗(yàn)高性能的本地化AI圖像檢索能力。

該軟件方案不僅驗(yàn)證了Immich在異構(gòu)計(jì)算環(huán)境下的可擴(kuò)展性，也為未來在更多NPU平臺(tái)上實(shí)現(xiàn)開源AI NAS功能提供了可復(fù)用的技術(shù)路徑。

https://huggingface.co/AXERA-TECH/immich

運(yùn)行

在完成樹莓派5的軟硬件環(huán)境配置，并參考Hugging Face項(xiàng)目頁面部署預(yù)編譯的Docker鏡像后，系統(tǒng)將自動(dòng)啟動(dòng)Immich相關(guān)服務(wù)。

假設(shè)您的樹莓派5分配到的局域網(wǎng)IP地址為10.126.33.241，您可通過任意設(shè)備上的瀏覽器訪問以下地址：

http://10.126.33.241:2283/

首次訪問時(shí)，系統(tǒng)會(huì)提示您注冊(cè)一個(gè)新用戶賬戶。請(qǐng)放心，所有數(shù)據(jù)都僅在您的樹莓派上離線運(yùn)行。如果僅用于演示或測(cè)試目的，您可以隨意輸入任意用戶名和密碼。

啟用以文搜圖功能。

這里需要顯式地指定immich-machine-learning服務(wù)的IP地址和端口號(hào)，同時(shí)需要指明使用哪種CLIP模型。

同時(shí)也支持照片去重功能：通過對(duì)比圖片的特征相似度差異來實(shí)現(xiàn)去重功能。

完成設(shè)置后記得保存。然后在任務(wù)狀態(tài)欄就能發(fā)現(xiàn)后臺(tái)已經(jīng)在高效率地提取照片庫中每一張圖片的特征信息了。

圖片去重也支持上了。

在執(zhí)行任務(wù)過程中，我們可以通過樹莓派5上的終端來查詢算力卡的使用情況，圖片中可以看出NPU使用率已經(jīng)拉滿了。由于M.2算力卡計(jì)算CLIP模型效率高，即使是本示例中使用的CLIP-L/14-336的模型，也能做到10+張/秒的高效率。所以很快就完成了所有的照片特征建檔。

接下來就可以使用“以文搜圖”的功能了。

輸入“stop”：

輸入“吃披薩的照片，拿著手機(jī)拍照”：

04總結(jié)

Immich是一個(gè)極具影響力的開源智能相冊(cè)項(xiàng)目，其官方最新版本已推出適用于Android和iOS的移動(dòng)客戶端，用戶可通過手機(jī)或平板便捷地連接并管理私有部署的Immich服務(wù)器，真正實(shí)現(xiàn)隨時(shí)隨地訪問個(gè)人影像庫。

同時(shí)我們會(huì)持續(xù)努力，將其更多的智能算法、視頻編解碼的功能遷移到M.2算力上，讓Immich在樹莓派等邊緣設(shè)備上的運(yùn)行更加流暢、高效，惠及更廣泛的個(gè)人用戶與開發(fā)者群體。

關(guān)于AI NAS的一些信息同步

最近2個(gè)月，我們針對(duì)AI NAS的智能化升級(jí)主動(dòng)適配了以下功能，同時(shí)支持AX650N/AX8850主控與AXCL算力卡產(chǎn)品形態(tài)。

針對(duì)AI NAS產(chǎn)品，大家還想實(shí)現(xiàn)什么功能歡迎留言，我們盡可能實(shí)現(xiàn)。