关键词：
摘要：数据是智慧交通的基础和命脉，如何实时、高效地处理如此海量的路况数据却绝非易事。
本文分享自华为云社区《高并发图片视频处理，为出行保驾，为生活添彩！》，作者：昇腾CANN。
四通八达的路网和车水马龙的盛景诠释着城市的繁荣和进步，但是水泄不通的路口和暴躁不安的司机也暴露了城市发展面临的诸多问题。
智慧交通将人、车、路互联互通，依靠大数据、物联网、人工智能等高新技术，汇集路况信息，提供实时、高效、安全的交通信息服务。分布在大街小巷的道路摄像机，化身为城市的“眼睛”， 7*24小时不间断工作，为人们交通出行提供了重要的数据来源。
数据是智慧交通的基础和命脉，如何实时、高效地处理如此海量的路况数据却绝非易事！
一般来说，摄像机采集的数据会通过网络传输到数据计算中心，而受制于网络带宽，数据计算中心获取的都是从各地的摄像头编码后的H264/H265/JPEG码流数据，要想进行AI智能分析，需要把数据解码成RGB/YUV格式，然后经过抠图、缩放等一系列预处理操作过滤出人脸、车辆等核心信息，最后送入AI计算单元得出实时路况分析结果。
如此一来，每个路口的实时流量、人群密度，甚至人群的行走速度等便一目了然。
然而，虽说市面上的AI处理器一般都有较强的计算能力，但图像解码性能往往无法匹配，需要叠加解码器来完成图像解码，这无疑会带来大量的部署成本和适配工作量。另外，抠图、缩放等图像预处理操作固然可以借助GPU+CPU实现，但也必将造成图像处理和神经网络计算抢占资源，影响整体性能。
华为推出昇腾AI基础软硬件平台（昇腾AI处理器+异构计算架构CANN），不仅能高效承接各类人工智能计算任务，还可两招解决以上图像处理面临的诸多问题。
第一招：昇腾AI处理器内置图像处理单元，节约硬件部署成本
以搭载了昇腾AI处理器的Atlas 300I Pro推理卡为例，其中的数字视觉预处理模块DVPP（全称Digital Video Pre-Processor）集成了12个视频解码核、16个图片解码核、8个图片编码核、3个视频编码核、12个可提供抠图缩放等能力的图像预处理核。与AI计算资源共栖的图像处理专用硬件，无疑是数据计算中心基础设施建设阶段的福音，可大大节约独立硬件的部署成本。
第二招：异构计算架构CANN多路并发，加速图像处理效率
如此丰富的图像处理硬件资源，给予了软件层更加广阔的施展空间。作为专门面向AI场景的异构计算架构，CANN（Compute Architecture for Neural Networks）以释放昇腾AI处理器极致算力为目标，通过软硬件协同优化，不仅能高效调度AI计算资源，还可加速DVPP硬件的图像处理效率，大大降低对CPU的使用。值得关注的是，即将在2021年年底发布的CANN 5.0版本中，通过全新的异步任务下发通道，将进一步降低任务下发时延，驱动多个硬件加速器多路并行处理，提升整体处理性能。
1、 多线程并行video解码： CANN5.0+Atlas 300I Pro软硬件协同，支持128路1080P 30fps H264/H265视频流解码
2、 多线程并行jpeg编解码：CANN5.0+Atlas 300I Pro软硬件协同，支持1024fps @1080P图片编码，2048fps @1080P图片解码
3、 多线程并行图像预处理：CANN5.0+Atlas 300I Pro软硬件协同，支持4320fps@1080P图像预处理，满足CV类算法的图片格式转换、抠图、缩放、填充、直方图统计相关处理，大大节省了计算资源。
除了性能上带来的突出表现， 异构计算架构CANN还提供了简单易用的图像处理接口和丰富的高性能算子库，支持对特定格式的视频和图像进行解码、缩放等预处理操作，同时具有对处理后的视频、图像进行编码再输出的能力，可支撑用户灵活多样的图像处理需求：
• 视频解码：支持H264、H265两种视频格式的码流解码
• 视频编码：支持YUV图片数据编码成H264、H265两种视频格式
• JPEG解码：支持JPG图片解码
• JPEG编码：支持YUV格式图片编码成.jpg图片
• 图像预处理：支持各种格式的图像数据增强功能，包含抠图、缩放、叠加、黏贴、格式转换、直方图统计等
昇腾CANN超强的图像并发处理能力和丰富多样的图像处理接口，为城市智慧交通提供了有力的技术支持，让出行管理更高效，通行更通畅。打个比方，借助CANN 128路高并发视频解码能力，可以让一个部署摄像头总数约40w台的大型城市仅需3000+服务器即可完成实时视频的智能分析处理需求，CANN正在用硬核实力为人们的出行保驾护航。
除了智慧交通领域，媒体视频领域也正逐步借力CANN图像并发处理能力，为用户带来全新的视觉体验，给人们的生活增色添彩。
视频类业务发展至今，已不仅仅是单纯视频内容的播放呈现，以自由视角为代表的极具张力的视觉体验吸引了越来越多的受众。所谓自由视角，就是通过现场环绕部署的多台摄像机，让观众多角度、多细节、立体化地欣赏到精彩的表演效果或比赛瞬间。
借助CANN超强图像并发处理技术，将现场从不同角度采集的多路视频进行并发解码处理，经过AI智能合成后，编码成视频流，实时传送给观众，带来沉浸式的视觉体验。
再者，我们在看视频或直播的时候，往往会根据当前网络状况选择不同的清晰度。这对应在服务端其实就是视频转码的过程，将原始视频解码过后，根据用户选择的不同清晰度进行编码。
在整个过程中，视频编解码性能的好坏考验着用户的耐心，CANN提供的超强图像并发处理技术，在视频解码的同时可轻松完成多路视频编码，大大降低转码时间，实时满足用户观看需求。
智能数字时代，图像处理+AI计算的混搭场景会越来越常见，CANN做为专门面向AI场景的异构计算架构，能轻松地协同好各类异构资源，通过多线程并行video解码、多线程并行jpeg编解码、多线程并行数据预处理技术，加速图像处理过程，带来可观的性能收益。
随着协议的演进，CANN还会支持更先进的H266编解码协议，支持更多CV预处理算子；随着AI数据量的日益增大，CANN也将解锁更多图像预处理技术，进一步加速图像处理过程。
在人工智能产业蓬勃发展的时代，CANN乘风而来，通过先进的图像处理技术为各行各业解燃眉之急；同时，怀着对未来的憧憬，CANN也必将破浪前行，通过更多技术创新拥抱崭新的业务场景，让人工智能真正走入千行百业！
基于大数据审计的信息安全日志分析法
...引入了ERP等系统，这些系统使得企业的众多活动数据可以实时记录，形成了大量有关企业经营管理的数据仓库。从这些海量数据中获取有用的审计数据是目前计算机审计的一个应用。接下来我为你带来基于大数据审计的信息安全... 查看详情
AV 引擎如何如此高效地搜索已知签名的文件？
】AV引擎如何如此高效地搜索已知签名的文件？【英文标题】：HowdoAVenginessearchfilesforknownsignaturessoefficiently?【发布时间】：2013-05-0418:26:49【问题描述】：随着新病毒变种的发布，搜索字符串形式的数据继续增长，这引发了我的问... 查看详情
emqx+hstreamdb实现物联网流数据高效持久化
...庞大、数据产生速率高、累积数据量巨大等挑战。因此，如何接入、存储和处理这些海量设备数据就成为了一个关键的问题。EMQX作为一款强大的物联网MQTT消息服务器，单个集群可处理上亿设备连接，同时提供了丰富的... 查看详情
谷歌地图（安卓）如何如此高效地请求 GPS 修复如此频繁
】谷歌地图（安卓）如何如此高效地请求GPS修复如此频繁【英文标题】：HowcanGoogleMaps(android)besoefficientrequestingGPSfixessooften【发布时间】：2016-08-0318:57:45【问题描述】：我一直在为Android开发一个跟踪应用程序，在该应用程序中我... 查看详情
如何使用 GPU 高效地渲染和处理视频流？
】如何使用GPU高效地渲染和处理视频流？【英文标题】：HowtoefficientlyrenderandprocessvideostreamsusingGPU?【发布时间】：2010-10-0314:05:54【问题描述】：我计划开发一个使用C++、Qt和OpenGL进行实时视频操作的工具。视频叠加不是一个选项... 查看详情
如何尽可能高效地处理大量并发磁盘写请求
】如何尽可能高效地处理大量并发磁盘写请求【英文标题】：Howtohandlelargenumbersofconcurrentdiskwriterequestsasefficientlyaspossible【发布时间】：2011-11-1707:39:33【问题描述】：假设下面的方法被.net4应用程序中的不同线程调用了数千次。处... 查看详情
实时计算，流数据处理系统简介与简单分析
转自:http://www.csdn.net/article/2014-06-12/2820196-Storm摘要：实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介... 查看详情
hadoop常见问题解答
...求，因此就需要Hadoop这样的技术来解决。（2）hadoop对于实时在线处理有优势吗？直接使用hadoop进行实时处理时没有优势的，因为Hadoop主要解决的是海量批处理作业计算问题，但是可以使用基于Hadoop的分布式NOSQL系统HBase系统以及... 查看详情
量化交易如何获取实时行情数据？
问一下各位量化交易的朋友，你们是怎样实时获取数据的呢？是怎样高效地接收处理这么多股票、期货的逐笔成交、分时数据的呢？你去搜一下“量亿数据”，专门为量化交易者提供实时行情数据。参考技术ABIGI行情有实时行情... 查看详情
通过flink实现个推海量消息数据的实时统计
背景消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转... 查看详情
50亿海量数据如何高效存储和分析？gaussdb(forcassandra)3个秘诀搞定
...业不可避免的要面对数据量剧增带来的一系列问题：如何高效存储和扩容，如何在对原有业务改动最小的情况下做到智能化和实时分析。本文分享自华为云社区《50亿海量数据如何高效存储和分析？GaussDB(forCassandra)3个... 查看详情
实时海量日志分析系统的架构设计实现以及思考
...对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标（如单位时间某些操作的处理时间），发现系统中出现的缺陷和性能瓶颈。 由于需要对日志进行实时分析，所... 查看详情
网络游戏客户端如何能够如此快速地通过互联网交换数据？
】网络游戏客户端如何能够如此快速地通过互联网交换数据？【英文标题】：Howonline-gameclientsareabletoexchangedatathroughinternetsofast?【发布时间】：2011-02-2008:00:46【问题描述】：让我们想象一下非常简单的游戏...我们有一个迷宫和两... 查看详情
基于快速geohash，如何实现海量商品与商圈的高效匹配？
...状、大小各异，且互不重叠。商品是以GPS标记的点数据，如何能够快速高效地确定海量商品与商圈的归属关系呢？传统而直接的方法是，利用几何学的空间关系计算公式对海量数据实施直接的“点—面”关系计算，来确定每一个... 查看详情
●计蒜客百度地图的实时路况
题链：https://nanti.jisuanke.com/t/11217题解：分治，最短路。 如果我们规定只能经过编号为l~r的点， 那么Floyd就可以很好地计算出此情况下的任意两点间的最短路。 (只需让Floyd的第一层循环k从l枚举到r即可) 由于题目需要求不经过某... 查看详情
如何构建面向海量数据高实时要求的企业级olap数据引擎？
在字节跳动各产品线飞速成长的过程中，对数据分析能力也提出了更高的要求，现有的主流数据分析产品都没办法完全满足业务要求。因此，字节跳动在ClickHouse引擎基础上重构了技术架构，实现了云原生环境的部署和运维管理... 查看详情
用kafka+dolphindb实时计算k线
...时序数据库的高吞吐量联合起来，更好地解决海量数据的实时处理和存储问题。本篇教程，我们会向大家详细介绍DolphinDBKafka插件的使用方式，并以一个“DolphinDB+Kafka实时计算k线”的案例，向大家展示D 查看详情
58集团处罚数据中心的设计与实践
...每天生产海量的数据，需要快速、准确、高效的接入实时处罚数据和存量数 查看详情