正文 

当前位置： 首页 > java > java教程

模型推理openvino性能测试(代码片段)

极智视界 极智视界     2022-12-24     721

关键词：

  本教程详细介绍了 openvino 性能测试的姿势。

文章目录

1、安装 openvino

  可以参考《【模型推理】ubuntu 配置和使用 openvino》。


2、openvino 模型下载与推理实践

  可以参考《【模型推理】openvino 推理实践》。


3、openvino 性能测试姿势

  这里以 alexnet 为例。

3.1 下载 alexnet 模型

# download alexnet model 
cd open_model_zoo/tools/downloader/ 

python downloader.py --name alexnet

3.2 模型转换

## transform model to openvino_IR 
# caffe_model 
# input_shape 在 alexnet.prototxt 中改 
python openvino/model-optimizer/mo.py --input_model ./alexnet.caffemodel --data_type FP32 --output_dir ./ 

# tf_model 
python openvino/model-optimizer/mo_tf.py --input_model ./alexnet.pb --data_type FP32 --input_shape [1,224,224,3] --output_dir ./ 

# onnx_model 
python openvino/model-optimizer/mo_onnx.py --input_model ./alexnet.onnx --data_type FP32 --output_dir ./

  其中：

  --data_type 可选 FP32、FP16、half、float。

  执行完会生成如下文件：

3.3 性能测试

# benchmark test 
./openvino/bin/intel64/Release/benchmark_app -i image.png -m alexnet.xml -api sync -d CPU -b 1

  其中：

  -api 可选 sync (同步模式) 和 async (异步模式)；

  -b 表示 batchsize；

  -d 表示 target可选 CPU、MULTI:CPU、MULTI:CPU,GPU、MULTI:CPU,MYRIAD、MULTI:CPU,MYRIAD,GPU；

  下面给出一些我测试的数据，我的CPU是两颗 Intel Xeon E5-2630，具有40个CPU逻辑核，分别对模型推理 fp16 sync、fp16 async、fp32 sync、fp32 async 进行了测试，其中 sync 是同步推理，具有低延时/低吞吐的特征，延时*吞吐=1000；async 是异步推理，具有高延时/高吞吐的特点。

  如下是一些数据：


  小结：

  (1) 其实我的目的是想跟 gpu trt 对比一下 openvino cpu 差多少，实际我的硬件配置以fp16精度性能会差 15倍以上；

  (2) 这里数据没贴 yolov3、yolov4的，我实际测试的fp16差不多 17 帧左右，感觉有点慢啊~


  先这样了，收工~



扫描下方二维码即可关注我的微信公众号【极智视界】，获取更多AI经验分享，让我们用极致+极客的心态来迎接AI ！

模型推理ubuntu配置和使用openvino(代码片段)

 本教程详细记录了在ubuntu上安装openvino的方法。文章目录1、cloneopenvino2、编译3、安装python接口4、cloneopen_model_zoo5、测试1、cloneopenvinogitclone--recursivehttps://gitee.com/openvinotoolkit-prc/openvino.git 若在clone一些三方依赖外链时超时࿰ 查看详情

openvino+yolov5自己训练模型并测试(代码片段)

https://github.com/ultralytics/yolov5/releases/tag/v6.1condacreate-nopenvino_yolov6python=3.7-ycondaactivateopenvino_yolov6pipinstall-rrequirements.txtexport.pyexport_onnx(model,im,file,10,train,False,simplify)#opset1210pythonexport.py--weightsyolov5n.pt--img640--batch1*设置一个临时的环... 查看详情

yolov5pt模型导出onnx(代码片段)

...型的环境要求不一样，建议虚拟环境，比如onnx和openvino的numpy版本要求不一只，一个要求高配，一个要求低配pythonexport.py--includetorchscriptonnx如何测试和验证推理pythondetect.py--weightsyolov5s.onnx--dnn#detectpythonval.py--weightsyo... 查看详情

opencv+openvino实现人脸landmarks实时检测(代码片段)

...6位的，tensorflow版本的模型是8位量化的。同时OpenCV通过与OpenVINOIE模型集成实现了底层硬件对对象检测、图像分割、图像分类等常见模型加速推理支持。OpenVINO框架本身提供直接快速开发应用原型的模型库，对很多常见视觉任务都... 查看详情

模型推理加速系列04：bert加速方案对比torchscriptvs.onnx(代码片段)

文章目录简介基于ONNX导出ONNX模型示例代码基于TorchScriptJITTorchScript示例代码推理速度评测CPUGPU附录简介本文以BERT-base的为例，介绍2种常用的推理加速方案：ONNX和TorchScript，并实测对比这两种加速方案与原始Pytorch模型... 查看详情

详解openvino模型库中的人脸检测模型(代码片段)

人脸检测模型OpenVINO的模型库中有多个人脸检测模型，这些模型分别支持不同场景与不同分辨率的人脸检测，同时检测精度与速度也不同。下面以OpenVINO2020R04版本为例来逐一解释模型库中的人脸检测，列表如下：从列表中可以看... 查看详情

详解openvino模型库中的人脸检测模型(代码片段)

人脸检测模型OpenVINO的模型库中有多个人脸检测模型，这些模型分别支持不同场景与不同分辨率的人脸检测，同时检测精度与速度也不同。下面以OpenVINO2020R04版本为例来逐一解释模型库中的人脸检测，列表如下：从列表中可以看... 查看详情

openvino+paddlecpu部署新冠肺炎ct图像分类识别与病害分割(代码片段)

【openVINO+paddle】CPU部署新冠肺炎CT图像分类识别与病害分割在这个项目中是我在看到一位大佬代码生成器的项目文章时想要尝试开发的一个项目。主要是想要在飞桨上通过Cla与Seg（分类和分割）模型对CT图像进行处理&#x... 查看详情

模型推理t4上商汤openpplvstensorrt7vstensorrt8测评(代码片段)

​ 本文对商汤OpenPPL和英伟达TensorRT7、TensorRT8在T4平台上对一些经典网络进行了性能测试对比。文章目录1、小试牛刀2、测评姿势3、数据分析​ 商汤OpenPPL传送：点击到达OpenPPL​ 英伟达TensorRT传送：点击到达TensorRT​... 查看详情

时隔一年，终于还是对yolox之openvino出手啦(代码片段)

...❤️文章目录前言：时隔一年，终于还是对YOLOX之Openvino出手啦YOLOX环境搭建YOLOXpytorch2onnxpytorch2onnx模型转换onnx_inference运行效果如下YOLOXopenvinoConvertmodel命令解析默认--data_typeFP32指定--data_typeFP16顺利跑通阶段一：onnx2openv... 查看详情

时隔一年，终于还是对yolox之openvino出手啦(代码片段)

...❤️文章目录前言：时隔一年，终于还是对YOLOX之Openvino出手啦YOLOX环境搭建YOLOXpytorch2onnxpytorch2onnx模型转换onnx_inference运行效果如下YOLOXopenvinoConvertmodel命令解析默认--data_typeFP32指定--data_typeFP16顺利跑通阶段一：onnx2openv... 查看详情

nvidiajetson之benchmark测试(代码片段)

0背景Jetson用于将各种流行的DNN模型和ML框架部署到具有高性能推理的边缘，用于实时分类、目标检测、姿势估计、语义分割和自然语言处理(NLP)等任务。为了测试不同设备的性能，本文提供一种性能测试方法。测试设备：jetsonnano... 查看详情

windows10下torch模型转换为openvino需要的ir文件(代码片段)

OpenVINO模型优化器参考：https://docs.openvinotoolkit.org/2021.2/openvino_docs_MO_DG_Deep_Learning_Model_Optimizer_DevGuide.html配置环境Windows10Anaconda2.0.4Pycharm2021.1OpenVINO工具包2020.2Python环境3.6.13torc 查看详情

ncnn模型推理详解及实战(代码片段)

...cpu和内存硬件特性描述。最后结合shufflenetsample解析了，模型推理的全部流程，详解了sample代码的每个细节。一，依赖库知识速学aarch64OpenMPAVX512submoduleaptupgrade二，硬件基础知识速学2.1，内存2.2，CPU三，ncnn推理模型3.1，shufflenetv2... 查看详情

自然语言处理大模型大语言模型bloom推理工具测试(代码片段)

相关博客【自然语言处理】【大模型】大语言模型BLOOM推理工具测试【自然语言处理】【大模型】GLM-130B：一个开源双语预训练语言模型【自然语言处理】【大模型】用于大型Transformer的8-bit矩阵乘法介绍【自然语言处理】【... 查看详情

cpu推理｜使用英特尔sapphirerapids加速pytorchtransformers(代码片段)

...我们将重点关注推理。使用基于PyTorch的HuggingFacetransformers模型，我们首先在IceLake服务器上分别测量它们在长、短两种文本序列上的性能。然后，我们在SapphireRapids服务器和最新版本的HuggingFaceOptimumIntel上执行相同的测试，并比较... 查看详情

模型推理加速系列bert加速方案对比torchscriptvs.onnx(代码片段)

文章目录简介基于ONNX导出ONNX模型示例代码基于TorchScriptJITTorchScript示例代码推理速度评测CPUGPU附录简介本文以BERT-base的为例，介绍2种常用的推理加速方案：ONNX和TorchScript，并实测对比这两种加速方案与原始Pytorch模型... 查看详情

openvino入门

关于OpenVINO入门，今天给大家分享一个好东西和好消息！现如今，说人工智能（AI）正在重塑我们的各行各业绝不虚假，深度学习神经网络的研究可谓如火如荼， 但这一流程却相当复杂，但对于初学者来说也不是高深莫测，... 查看详情