作者：英特爾創(chuàng)新大使劉力

上文介紹了《一鍵搞定！PP-OCRv5模型轉ONNX格式全攻略》，本文將使用OpenVINO?工具套件在Intel? CPU、獨立顯卡、集成顯卡上優(yōu)化并部署飛槳PP-OCRv5模型。

一，OpenVINO?工具套件簡介

OpenVINO?工具套件

是一個用于優(yōu)化和部署人工智能（AI）模型，提升AI推理性能的開源工具集合，不僅支持以卷積神經網絡(CNN)為核心組件的預測式AI模型(Predictive AI)，還支持以Transformer為核心組件的生成式AI模型(Generative AI)。

OpenVINO?工具套件支持直接讀取并優(yōu)化PaddlePaddle訓練好的模型(*.pdmodel)或者ONNX格式模型(*.onnx)，

提升其在英特爾? CPU、獨立顯卡、集成顯卡、NPU等硬件上的AI推理計算性能。

二，安裝英特爾顯卡驅動

參考鏈接：https://dgpu-docs.intel.com/driver/client/overview.html，在Ubuntu下完成英特爾顯卡驅動安裝。

三，搭建開發(fā)環(huán)境

首先，請克隆PP-OCRv5_OpenVINO到本地：

git clone https://github.com/openvino-book/PP-OCRv5_OpenVINO.git
cd PP-OCRv5_OpenVINO

接著，創(chuàng)建并激活虛擬環(huán)境ppocrv5_ov，并安裝所有依賴項。

conda create -n ppocrv5_ov python=3.11
conda activate ppocrv5_ov
pip install -r requirements.txt

四，下載并導出PP-OCRv5 ONNX格式模型

請按《一鍵搞定！PP-OCRv5模型轉ONNX格式全攻略》所示，下載并導出PP-OCRv5 ONNX格式模型到PP-OCRv5_OpenVINO文件夾。

五，編寫PP-OCRv5推理程序

PP-OCRv5_OpenVINO項目已將推理程序編寫完成，各文件功能如下：

執(zhí)行演示程序main.py，并指定模型路徑和推理硬件設備：

python main.py --image_dir images/handwrite_en_demo.png 
--det_model_dir PP-OCRv5_server_det_onnx/inference.onnx 
--det_model_device CPU 
--rec_model_dir PP-OCRv5_server_rec_onnx/inference.onnx 
--rec_model_device CPU

運行結果，如下圖所示：

六，總結

開發(fā)者可以通過OpenVINO?工具套件將PP-OCRv5模型部署到Intel的CPU、獨立顯卡或集成顯卡上。

如果你有更好的文章，歡迎投稿！

稿件接收郵箱：nami.liu@pasuntech.com

更多精彩內容請關注“算力魔方?”！