在AI應用的浪潮中，視覺AI無疑是最熱門的領域之一。從智能家居到安防監(jiān)控，從工廠自動化到自動駕駛，視覺技術的身影無處不在。然而，對于很多開發(fā)者來說，想要在本地實現(xiàn)AI推理，而不依賴云端，并不是一件輕松的事。

現(xiàn)在，瑞薩推出了AI模型部署工具——一款幫你零門檻上手NVIDIA TAO的神器。

AI應用的難點

#人工智能技術十分強大，但落地并不簡單，原因如下：

工具鏈復雜：命令行操作多，學習成本高

訓練周期長：數(shù)據(jù)準備、模型訓練、優(yōu)化環(huán)節(jié)耗時

部署門檻高：模型轉(zhuǎn)換與硬件適配繁瑣

特別是新手，面對復雜的命令行工具和海量參數(shù)，很容易陷入迷茫。

瑞薩的部署工具

瑞薩推出的AI模型部署工具，就是為了解決這些難點。

它是一個基于GUI的封裝工具，將NVIDIA TAO Toolkit打包成可視化操作界面，一站式解決從模型創(chuàng)建到部署的全流程。

它的優(yōu)勢十分明顯：

全程可視化操作，無需命令行

完整流程支持：創(chuàng)建→數(shù)據(jù)準備→訓練→剪枝→評估→推理→部署

硬件適配廣：不僅能跑在NVIDIA GPU上，還能部署到瑞薩MPU、甚至MCU上

快速上手教程

下面用實際演示，帶你體驗它的操作流程。本演示基于Ubuntu 20.04系統(tǒng)，同樣也支持Ubuntu 22.04。演示使用Detectnetv2模型，并將其部署在RZ/V2L MPU上。

1

進入項目主頁

進入項目目錄并打開終端，執(zhí)行`./gui_start.sh`命令，進入項目主頁。如圖1所示。

圖1 通過終端啟動工程

進入主頁后，點擊“CREATE”按鈕，新建工程。如圖2所示。

圖2 點擊“CREATE”新建工程

2

新建工程

在‘Project Name’欄，將工程命名為“Detectnetv2_for_video”。在“Task”欄中選擇“Object Detection”，并在“Board”欄中選擇“V2L”。最后點擊“CREATE”創(chuàng)建工程。如圖3所示。

圖3 新建工程相關配置

若工程被成功創(chuàng)建，在屏幕上方系統(tǒng)會提示“Successfully created the task”。如圖4所示。

圖4 成功創(chuàng)建工程

3

準備數(shù)據(jù)集

工程創(chuàng)建完成后，系統(tǒng)會自動進入準備數(shù)據(jù)集界面。本次演示使用KITTI Vision數(shù)據(jù)集。選擇好數(shù)據(jù)集后，點擊“ANALYZE DATA”按鈕，系統(tǒng)將分析數(shù)據(jù)集的類別數(shù)量等信息。如圖5所示。

圖5 選擇數(shù)據(jù)集并點擊“ANALYZE DATA”按鈕

在數(shù)據(jù)集分析等待的過程中，你可以通過點擊右下角的藍色“LOGS”按鈕，查看當前的日志。如圖6所示。

圖6 點擊右下角的藍色“LOGS”按鈕，查看日志

數(shù)據(jù)集分析完成后，界面會顯示數(shù)據(jù)類別分布和邊界框統(tǒng)計情況。

點擊“SPLIT”按鈕，系統(tǒng)會按71的比例劃分成訓練集、驗證集和測試集。成功劃分后，會提示“Successfully completed detect split”。點擊“GO FOR TRAINING”進入“Training”頁面。如圖7所示。

圖7 數(shù)據(jù)集的分析和劃分

4

訓練模型

在“Training”頁面中，選擇“Model”（模型）和“Pre-Trained Model Paths”（預訓練權重路徑）。同時，可以設置“Batch size for gpu”（批量大小）、“Epochs”（訓練輪數(shù)）、“Enable Qat”（是否啟用量化感知）、“Image width”（圖像寬度）以及“Image height”（圖像高度）等參數(shù)。

完成參數(shù)設置后，點擊“TRAINING SUBMISSION”開始訓練。如圖8所示。

圖8 配置模型參數(shù)

在訓練過程中，可以實時查看日志，并監(jiān)控GPU負載變化。如圖9所示，隨著訓練的持續(xù)進行，會看到負載有明顯升高。

圖9 監(jiān)控GPU負載變化

5

模型剪枝與再訓練

#NVIDIATAO支持結(jié)構化和非結(jié)構化兩種剪枝方式?？筛鶕?jù)模型的需要，選擇合適的剪枝方式。對于Detectnetv2模型，需要使用結(jié)構化剪枝來移除冗余權重，并進行再訓練。通過結(jié)構化剪枝，可以讓模型在降低復雜度的同時盡可能提升精度。

剪枝完成后，可以像訓練模型一樣調(diào)整參數(shù)，并重新訓練。如圖10所示。

圖10 配置剪枝與再訓練參數(shù)

6

評估模型與推理

在“Evaluation Details”中，選擇已經(jīng)訓練好的模型。點擊“CHECK MODEL EVALUATION”，可查看評估結(jié)果。如圖11所示。

圖11 模型評估結(jié)果

在推理頁面里，會使用剛剛評估過的模型進行推理。點擊“UPLOAD IMAGE”導入需要推理的圖片，點擊“PREDICT”進行推理。從圖12中可以看到，模型成功檢測出了汽車，并生成了相應的邊界框。

圖12 模型推理結(jié)果

7

部署到硬件

選擇模型后點擊“EXPORT”，導出訓練好的模型。如圖13所示。

圖13 導出模型

導出完成后，點擊“TRANSLATE”，將模型轉(zhuǎn)換為適配RZ/V2L的格式。如圖14所示。

圖14 轉(zhuǎn)換模型

轉(zhuǎn)換完成后，通過本地IP地址連接到開發(fā)板。此過程不僅建立了與開發(fā)板的連接，還將轉(zhuǎn)換好的模型傳輸?shù)介_發(fā)板上。輸入本地IP地址，并點擊 “CONNECT”進行連接，如圖15所示。

圖15 連接開發(fā)板

點擊“DEPLOY”部署，模型會在開發(fā)板上運行，如圖16所示。

圖16 部署模型

此時，在“Inference Results”里會輸出實時視頻流。如圖17所示。

如果精度沒有達到預期，可以更換模型訓練或繼續(xù)剪枝再訓練，直到達到理想效果。

圖17 輸出實時視頻流

總結(jié)

#瑞薩AI模型部署工具對AI初學者來說非常友好，無需代碼即可實現(xiàn)AI模型從創(chuàng)建到部署的全流程。除了面向AI初學者的模型部署工具，瑞薩還面向有經(jīng)驗的開發(fā)者提供：

upyter Notebook

標準技術文檔

同時，瑞薩已為自家的產(chǎn)品線添加了Nvidia TAO的支持，使得使用Nvidia TAO推理出的模型能夠在瑞薩的MPU和MCU上運行。目前的評估套件適用于 RZ/V2H、V2L和RA8D1開發(fā)板。這種支持為你提供了豐富的選擇，讓你可以根據(jù)自己的需求定制產(chǎn)品。