关键词：
本文来自ICASSP2021论文《SALIENCY-DRIVEN VERSATILE VIDEO CODING FOR NEURAL OBJECT DETECTION 》
论文基于VVC提出了面向显著性的编码框架用于处理机器任务。为了在编码前获取显著性区域，论文使用YOLO进行目标检测。为了验证编码对于机器处理的效果，论文对解码图像使用Mask R-CNN进行目标分割。实验显示，使用本文算法在同样检测准确率下可以节省29%的码率。
越来越多的视频不是面向人眼观看而是面向机器处理任务，通过计算机视觉方法来分析视频。MPEG特别成立了VCM（Video Coding for Machines）来进行面向机器的编码。如Fig.1所示，使用自适应量化QPA对包含目标的区域采用较小的QP，不包含目标的区域采用较大的QP。
显著性检测
在本文的VCM框架中可以使用任何显著性检测算法来检测显著性区域，本文最终选择了YOLO。YOLO会返回每帧图像的各个物体类别及bounding box。通过非极大抑制NMS对bounding box进行调整，NMS阈值取0.1。且IOU阈值取0.5，使得相互重叠的bounding box只有置信度最高的保留。最终保留的bounding box组成了显著性区域S。
由于VVC是以CTU为单位进行编码，所以要通过显著性区域S确定每个CTU的显著性。当前CTU和一个bounding box的相交区域计算如下：
其中，A_kctu是第k个CTU，A_idet是第i个bounding box。
为了确定一个CTU是否是显著的需要找一个合适的阈值，其中要考虑两种情况。第一种情况是，单个bounding box尺寸小于CTU的尺寸。在这种情况下A_ikoverlap不大于A_idet。第二种情况是，单个bounding box尺寸大于CTU的尺寸。在这种情况下A_ikoverlap不大于A_kctu。可以通过下面的方式计算相对相交度d，
d最大取1，当bounding box和CTU不相交时d=0。
当CTU至少和一个bounding box的相交度大于阈值θ 时该CTU才会被判定为显著。
H保存了每个CTU的显著性信息。最终根据H确定每个CTU的QP，对于非显著CTU即H=0采用较大的QP，
实验结果
为了验证本文VCM框架的有效性，采用500幅未压缩的Cityscapes图像作为测试图像。首先使用YOLO对图像进行目标检测，根据检测结果确定每个CTU的显著性。使用All Intra配置，QP_base取12，17，22，27使用VTM6.2编码。然后对解码图像使用Mask R-CNN进行目标分割并计算加权mAP。阈值θ取值0.0，0.025，0.05，0.1，QP_delta取5，20。不开启QPA的VTM6.2作为anchor。最终计算BD-rate，其中失真不使用PSNR而是加权mAP，结果如表1所示。
感兴趣的请关注微信公众号Video Coding
《ctdnet：complementarytrilateraldecoderforfastandaccuratesalientobjectdetection》论文笔记
参考代码：CTDNet1.概述导读：这是一篇关于显著性目标检测的文章，文章对影响显著性目标检测的网络各个部分进行探究，也就是将需要在一张图像中获取的信息划分为3个部分：语义上下文信息、像素空间信... 查看详情
icassp2021：av1基于决策树帧间划分早停止
本文来自ICASSP2021论文《DecisionTreeBasedInterPartitionTerminationForAV1Encoding》AV1引入了很多新的编码工具，导致其计算复杂度非常高。论文通过决策树在帧间预测进行块划分时预测划分方式，从而及早停止划分以减少时间。简介AV... 查看详情
视频显著性检测-----predictingvideosaliencyusingobject-to-motioncnnandtwo-layerconvolutionallstm(示例
帧内显著性检测：将卷积网络的多层特征进行组合通过unsampling得到粗显著性预测；帧间显著性检测：（粗检测结果+新卷积网络的特征图，最后+之前卷积网络的卷积特征输入到LSTM中）进行预测。。 查看详情
显著性检测：'saliencydetectionviagraph-basedmanifoldranking'论文总结
对显著性检测的一些了解：一般认为，良好的显著性检测模型应至少满足以下三个标准：1）良好的检测：丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的；2）高分辨率：显著图应该具有高分辨率或全分... 查看详情
icassp2021：端到端的图像编码方法
本文来自ICASSP2021论文《ImageCodingForMachines:AnEnd-to-endLearnedApproach》基于深度学习的计算机视觉在图像领域应用越来越广泛，每天产生的图像数量爆发式增长，传统的图片编码器是面向人眼视觉而不是机器处理。本文提出基... 查看详情
r语言绘制火山图（volcanoplot）实战：为差异表达基因（degs）添加颜色基于显著性阈值进行点的颜色美化为选定基因添加标签
R语言绘制火山图（volcanoplot）实战：为差异表达基因（DEGs）添加颜色、基于显著性阈值进行点的颜色美化、为选定基因添加标签目录R语言绘制火山图（volcanoplot）实战#导入包及数据 查看详情
视觉显著性简介saliencydetection
1.简介视觉显著性包括从下而上和从上往下两种机制。从下而上也可以认为是数据驱动，即图像本身对人的吸引，从上而下则是在人意识控制下对图像进行注意。科研主要做的是从下而上的视觉显著性，而从上而下的视觉显著性... 查看详情
关于图像的显著性检测
图像显著性检测-SaliencyDetectionviaGraph-BasedManifoldRanking 显著性检测是很多计算机处理的预处理，有限的计算机资源来处理数以亿计的图片，不仅耗资巨大，而且往往时间复杂度高。 &... 查看详情
图像处理-边缘检测-文献阅读笔记
[1]李华琛.基于opencv图像边缘检测技术[J].数字技术与应用,2016(11):2.高斯滤波有效抑制噪声；原理：识别图像中亮度改变较为明显的点，本质是采用不同的算子进行边缘检测并进行修整。算子：Laplacian算子、Scharr算... 查看详情
【目标检测】论文推荐——基于深度神经网络的目标检测
参考技术A原文：ScalableObjectDetectionusingDeepNeuralNetworks——学术范最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了... 查看详情
功能的显著性分析——goenrichmentanalysis
...GO富集分析是对差异基因等按GO分类，并对分类结果进行基于离散分布的显著性分析、错判率分析、富集度分析，得到与实验目的有显著联系的、低误判率的、靶向性的基因功能分类，该分类即导致样本性状差异的最重要的功能... 查看详情
使用tensorflow2.0执行视觉显著性检测（visualsaliencydetection)(代码片段)
使用Tensorflow2.0执行视觉显著性检测（VisualSaliencyDetection)上一篇博客介绍了如何使用Python，OpenCV执行视觉显著性检测（VisualSaliencyDetection)。这篇博客将介绍如何使用Tensorflow2.0执行显著性检测，这是一个应用图像处... 查看详情
icassp2021：通过码率限制降低me复杂度
本文来自ICASSP2021《RelyingonaRateConstrainttoReduceMotionEstimationComplexity》运动估计ME是视频编码中最耗时的部分之一，本文提出基于码率的MV候选项消除策略。研究发现最优MV通常在MVP附近，通过限制MV的码率缩小运动搜索窗口从... 查看详情
ida-3d解读基于实例深度感知的自动驾驶立体视觉三维目标检测
...目标检测是自动驾驶和虚拟现实中重要的场景理解任务。基于激光雷达技术的方法具有高性能，但激光雷达昂贵。考虑更一般的场景，没有3d激光雷达数据的数据集，我们提出一个3d对象立体视觉检测的方法，只需... 查看详情
基于yolov5的水下海洋目标检测
...海洋资源开发、海洋生物学研究等领域。本文提出了一种基于YOLOv5的水下海洋目标检测方法，使用数据增强方法进行了大量实验，并与其他方法进行了对比，实现了在检测各种不同的海洋环境和水下目标中都取得较高... 查看详情
运动对象检测和描述
运动图像检测基于背景减法目标跟踪，背景分割器：KNN、MOG2和GMGBasicmotiondetectionandtrackingwithPythonandOpenCV使用背景减除进行目标检测用OpenCV实现多目标追踪（C++/Python)通过形态学改善图像过滤，追踪人脸，检测前景/背景区域和深度... 查看详情
目标检测anchor-free分支：基于关键点的目标检测(代码片段)
目标检测Anchor-free分支：基于关键点的目标检测（最新网络全面超越YOLOv3）https://blog.csdn.net/qiu931110/article/details/89430747目标检测领域最近有个较新的方向：基于关键点进行目标物体检测。该策略的代表算法为：CornerNet和CenterNet。... 查看详情
如何对经过训练的目标检测模型进行剪枝？
】如何对经过训练的目标检测模型进行剪枝？【英文标题】：Howtoperformpruningontrainedobjectdetectionmodel?【发布时间】：2021-12-0901:01:47【问题描述】：您好，我已经使用tensorflow1.14对象检测API训练了对象检测模型，我的模型表现良好。... 查看详情