正文

tensorrt介绍

author  author  2023-02-21  490

关键词：

参考技术A

TOPS是Tera Operations Per Second的缩写
1TOPS代表处理器每秒钟可进行一万亿次（10^12）操作
GOPS（Giga Operations Per Second：1GOPS代表处理器每秒钟可进行十亿次（10^9）操作
MOPS（Million Operation Per Second）：1MOPS代表处理器每秒钟可进行一百万次（10^6）操作

一个MFLOPS（megaFLOPS）等于每秒一百万（=10^6）次的浮点运算
一个GFLOPS（gigaFLOPS）等于每秒十亿（=10^9）次的浮点运算
一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算，(1太拉)
一个PFLOPS（petaFLOPS）等于每秒一千万亿（=10^15）次的浮点运算

高吞吐率、低响应时间、低资源消耗以及简便的部署流程要求，因此TensorRT就是用来解决推理所带来的挑战以及影响的部署级的解决方案。TensorRT 是nvidia 自己开发的，主要作用就是对算法进行优化，然后进行了部署

TensorRT 部署流程：

TensorRT的部署分为两个部分:

INT8只有256个不同的数值，使用INT8来表示 FP32精度的数值，肯定会丢失信息，造成性能下降。不过TensorRT会提供完全自动化的校准（Calibration ）过程，会以最好的匹配性能将FP32精度的数据降低为INT8精度，最小化性能损失。关于校准过程，后面会专门做一个探究。

优化结果：

使用了nvidia 板子，使用了sdkmanager 安装，板子已经安装了下面软件

运行结果：

REF:
https://mp.weixin.qq.com/s/E5qbMsuc7UBnNmYBzq__5Q##
https://arleyzhang.github.io/articles/7f4b25ce/
https://www.pianshen.com/article/3389187425/
https://zhuanlan.zhihu.com/p/84125533
nvidia 官方参考文档：
https://docs.nvidia.com/deeplearning/tensorrt/quick-start-guide/index.html

tensorrt-介绍-使用-安装(代码片段)

1简介 TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持... 查看详情

tensorrt模型加速1-输入输出部署流程

前言本文首先简要介绍TensorRT的输入、输出以及部署流程，了解TensorRT在部署模型中起到的作用。然后介绍TensorRT模型导入流程，针对不同的深度学习框架，使用不同的方法导入模型。一、TensorRT简介TensorRT是NVIDIA公司... 查看详情

ai性能优化之tensorrt（1tensorrt简介及安装）(代码片段)

文章目录正文1.NVIDIATensorRT介绍2.TensorRT的安装3.开发文档3-1开发流程3-2pythonapi1）工作流程2）核心元素3）...其他3-3PyTorchdemo3-4ONNXdemo正文1.NVIDIATensorRT介绍https://developer.nvidia.com/zh-cn/tensorrtNVIDIATens 查看详情

ai性能优化之tensorrt（1tensorrt简介及安装）(代码片段)

tensorrt模型加速1-输入输出部署流程

ai性能优化之tensorrt（1tensorrt简介及安装）(代码片段)

tensorrt安装教程(代码片段)

简介本文介绍在Ubuntu系统下安装TensorRT的具体步骤，主要支持C++的调用，理论上适合各种Linux发行版。准备工作CUDA安装首先需要确保正确安装CUDA，可以参考我之前的博文，通过nvcc-V验证是否安装。下载TensorRT... 查看详情

tensorrt模型部署实战，英伟达平台，c++和python对比（包含源码）

本文介绍了可以使用C++API执行的TensorRT用户目标和任务。进一步的细节在Samples部分提供，并在适当的情况下链接到下面。假设您从一个已经训练好的模型开始。本章将介绍使用TensorRT的以下必要步骤：从模型中创建TensorRT网络定... 查看详情

tensorrt模型部署实战，英伟达平台，c++和python对比（包含源码）

nvidiajetsonyolov5tensorrt部署和加速c++版(代码片段)

...推理跑模型后；发现模型速度不够快，于是使用tensorRT部署，加速模型，本文介绍C++版本的。NVIDIAJetsonYOLOv5应用与部署_一颗小树x的博客-CSDN博客版本介绍：yolov5v6.0、查看详情

pytorchupsample层到onnx，以及到tensorrt的转换(代码片段)

之前的博客介绍了upsample层转换到tensorRT出错的解决方法，就是回退onnx版本到1.5.0。虽然暂时解决了问题，但无法使用高版本的pytorch和onnx，https://www.cnblogs.com/hypnus-ly/p/12932110.html最近又上github，发现更简单的解决方法，就是修改... 查看详情

tensorrt-c++api使用：mnist手写体识别(代码片段)

本节将介绍如何使用tensorRTC++API进行网络模型创建。1使用C++API进行tensorRT模型创建还是通过tensorRT官方给的一个例程来学习。还是mnist手写体识别的例子。上一节主要是用tensorRT提供的NvCaffeParser来将Caffe中的model转换成t... 查看详情

pytorchc++部署模型onnxtensorrt(代码片段)

（1）C++部署pytorch模型（上）（2）TensorRT5介绍及Pytorch转TensorRT5代码示例TensorRT的使用步骤：（假设以及有一个训练好的模型）（1）根据模型创建TensorRT网络定义（2 查看详情

模型推理教你tensorrt实现mish算子(代码片段)

...记分享 O_o >_< o_O O_o ~_~ o_O 本文介绍了使用tensorrt实现mish算子的方法。相信做过目标检测的同学对yolo肯定比较熟悉了，yolov4是2020年初提出的，相继后来有了yolov5和其他一些变体，yolov4中汇集了很多tric... 查看详情

通过 tensorrt 测试但无法导入 tensorrt

】通过tensorrt测试但无法导入tensorrt【英文标题】：Passtensorrttestbutcannotimporttensorrt【发布时间】：2021-03-2406:14:10【问题描述】：我尝试安装tensorrt7.2.3.4，我的系统是win10，cuda11.1，python3.8。按照安装说明，我进行了tensorrt测试：Tenso... 查看详情

tensorrt安装教程(代码片段)

我的nvidia开发者之旅-极智ai|tensorrt中layer和tensor的区别(代码片段)

...记分享大家好，我是极智视界，本文介绍一下TensorRT中Layer和Tensor的区别。 TensorRT模型构建由一层层的Layer计算节点和一层层的Tensor数据节点组织而成，那么什么是计算节点，什么是数据节点&# 查看详情

用c++部署yolov5+deepsort+tensorrt实现目标跟踪(代码片段)

...列——基于yolov5和deepsort的多目标头部识别，跟踪，使用tensorrt和c++加速二、相关介绍2.1重要说明==该项目能部署在Jetson系列的产品，也能部署在X86服务器中。==2.2项目结构.├──assets│└──yolosort.gif├──build#编译的文件夹│... 查看详情