NNCF介紹

OpenVINO2023版本衍生出了一個新支持工具包NNCF(Neural Network Compression Framework – 神經(jīng)網(wǎng)絡(luò)壓縮框架)，通過對OpenVINO IR格式模型的壓縮與量化更好的提升模型在OpenVINO框架上部署的推理性能。

安裝NNCF

pip install nncf

NNCF關(guān)鍵特性

訓(xùn)練后壓縮算法支持權(quán)重壓縮與量化，訓(xùn)練時壓縮算法支持感知量化、混合精度量化、二值、稀疏、過濾剪枝、運動剪枝等算法。圖示如下：

YOLOv8量化壓縮

基于NNCF實現(xiàn)YOLOv8預(yù)訓(xùn)練模型的訓(xùn)練后量化壓縮（PTQ），實現(xiàn)INT8量化YOLOv8模型生成。首先需要使用YOLOv8命令行工具導(dǎo)出OpenVINO格式模型，命令行如下：

yolo export model=yolov8n.pt format=openvino

官方給出的代碼里面是有個ValidatorClass，但是我發(fā)現(xiàn)YOLOv8框架早已經(jīng)不支持，這里其實主要是構(gòu)建自己的Dataset跟DataLoader而已，簡單粗暴的點是可以自己直接構(gòu)建，就是要寫點代碼。我發(fā)現(xiàn)了YOLOv8框架里面有個DetectionValidator是可以用的，于是我就用這個，然后直接給一個圖像文件夾就可以獲取dataloader實例了。準(zhǔn)備好驗證數(shù)據(jù)以后，就是最后一步了，啟動模型INT8量化，相關(guān)的代碼如下：

這樣就可以完成PTQ量化模型的生成。最后這部分的代碼，其實在GITHUB的官方教程上是有說明跟給出的，我這里再貼一下：

就是說，實際上針對自定義數(shù)據(jù)集，你自己構(gòu)建一個DataLoader即可。

量化版YOLOv8推理測試

基于量化版本，基于OpenVINO C++ SDK在不同的部署與加速方式下，最終的測試結(jié)果如下：

從此，我又相信YOLOv8+OpenVINO了。

特別說明

請用OpenVINO20023.1版本測試。

審核編輯：湯梓紅