关键词：
Mask Scoring R-CNN
CVPR2019 | Mask Scoring R-CNN 论文解读
作者 | 文永亮
研究方向 | 目标检测、GAN
推荐理由：
本文解读的是一篇发表于CVPR2019的paper，来自华科和地平线，文章提出了Mask Scoring R-CNN的框架是对Mask R-CNN的改进，简单地来说就是给Mask R-CNN添加一个新的分支来给mask打分从而预测出更准确的分数。
源码地址：https://github.com/zjhuang22/maskscoring_rcnn
研究动机：
Mask R-CNN其实是何恺明大神在Faster R-CNN系列的延伸，Mask R-CNN和Faster R-CNN都是 two stages的，第一阶段是RPN（Region Proposal Network），产生一些候选的目标边界框，使用RoIAlign为每一个候选区域提取特征，生成分类、bbox回归还有mask的预测，其实就是在Faster R-CNN的基础上添加一个新的分支预测mask。
但是Mask R-CNN存在着一个问题，就是在实例分割的任务中，蒙版分割质量是由检测分支的分类置信度决定。然而，mask的质量（我们这里用instance mask和ground truth之间的IoU做评判）通常与分类置信度没有太强的关联。
相信大家都知道IoU是目标窗口和原来标记窗口的交叠率，如果Mask R-CNN的分类置信度能够决定分割蒙版的质量的话，也就是说其质量与分类分数呈现相关性，但是从图二（a）中可以看出，当分类分数高于0.5时（横坐标），甚至到达1时，MaskIoU参差不齐，可以说从0.5到1的质量分数都有，从而证实了Mask R-CNN的MaskIoU与分类置信度没有太强的关联。所以作者提出的Mask Scoring R-CNN，MS R-CNN中提出的框架其实很简单，就是在原有的Mask R-CNN框架的基础上添加一个额外的分支MaskIoU head模块，这个模块用来学习MaskIoU。这个框架得到的分数如图二（b）（c）的所示，可以明显看出分类分数高的同时蒙版质量也得到了提升。
Mask Scoring R-CNN：
·Mask Scoring：
既然我们发现了Mask R-CNN的问题，那么我们现在就来解决它，首先我们考虑蒙版的分数由什么决定？
从上面的动机中我们得知，MaskIoU可以来评价蒙版的质量，因为理想的mask应该是与Ground Truth完全重合的，所以我们必须考虑MaskIoU。除此之外，一个理想的评价mask的分数，除了与GT的重合率之外，这个实例分割只属于一个类，对于其他类的分数都为0。所以学习mask的分数就分解成两个任务，就是把mask分类到正确的类中以及把建议框的MaskIoU回归到目标前景中。
有如上公式，
专注于对建议框进行分类，
聚焦于回归MaskIoU。
·MaskIoU head：
整个MS R-CNN的改进就在于这个MaskIoU Head，MaskIoU Head模块的输入由两部分组成，一是ROIAlign得到的RoI feature map，二是Mask Head分支输出的mask。Mask经过MaxPooling之后与RoI feature map进行concat，然后经过3层卷积和2层全连接层，输出的就是MaskIoU。以下是其完整的架构，如图三：
·Training：
怎么训练MaskIoU Head？只把mask分支输出的mask与GT计算IoU作为target是不够的，因为mask分支输出的mask有好有坏，所以文章中做了阈值处理，使用RPN生成的proposals与GT的IoU大于0.5的mask称为binary mask，这个binary mask与GT的MaskIoU就作为MaskIoU的target。
·Inference：
RCNN Head输出的top-k（例如top100）分数的框，经过SoftNMS后，送入Mask Head，得到mask与ROI feature map进行concat送入MaskIoU Head得到MaskIOU，然后与分类结果得到的分数相乘得到mask score。
实验结果：
实验结果这里有很多种不同的AP，
表示在不同scales时的AP，
意思是使用了不同IoU阈值。作者用的数据集是COCO 2017val集。
Table 1表明了作者提出的Mask Scoring R-CNN对不同的backbone网络并不敏感，相比Mask R-CNN基本上AP有1点左右的提升。
Table 2表明无论是否使用FPN和DCN，MaskIoU head都在AP上有提升。
Table 3是跟目前的实例分割方法在COCO 2017 test-dev上做对比。
这是MS R-CNN和Mask R-CNN对比效果，评分得到了修正。
MaskIoU head的各种选择：
文章做了下面4种输入组合：
1.target mask和ROI feature concat
2.target mask和ROI feature 相乘
3.所有mask和ROI feature concat
4.target mask和高分辨率的ROI feature concat
还有一个问题就是，我们知道RoI内可能有很多种目标类别，我们应该让MaskIoU学习所有的类别，还是学习RoI内的所有出现的类别，抑或是选取RoI内分类得分高的类呢？
由此分成了三种情况：
-
只让MaskIoU学习target类别，target类别其实就是分类得到的top-k类别，其他类别的就直接忽略掉。
-
让MaskIoU学习所有类别。
-
让MaskIoU学习所有出现在RoI中的类别，其他没出现的类别忽略。
发现第二种情况学习所有类别的情况是最差的，甚至比原来Mask R-CNN的效果还差。而第三种学习所有正类的情况比学习target类别差的原因是学习所有正类会增加MaskIoU head的负担，所以文章选择了学习target类别的情况一。
点评：
作者认为分类置信度不能单纯的作为mask的得分，所以很简单的想法就是另外创建了一个MaskIoU分支学习MaskIoU，最后与分类分数相乘的到Mask Score。感觉与IoU-Net类似。但是这样就导致mask与检测分支相关，使mask受限于box。
cvpr-2020aaai2020cvpr-2019nips-2019iccv-2019ijcai-2019论文超级大合集下载，整理好累，拿走不谢
...—————————————————————————CVPR-2020AAAI2020CVPR-2019NIPS-2019ICCV-2019IJCAI-2019————————————————————————————————————独木难成林，寡林不成 查看详情
cvpr-2020aaai2020cvpr-2019nips-2019iccv-2019ijcai-2019论文超级大合集下载，整理好累，拿走不谢
...—————————————————————————CVPR-2020AAAI-2020CVPR-2019NIPS-2019ICCV-2019IJCAI-2019————————————————————————————————————独木难成林，寡林不成森，要从整体上把握学... 查看详情
cvpr-2020aaai2020cvpr-2019nips-2019iccv-2019ijcai-2019论文超级大合集下载，整理好累，拿走不谢
...—————————————————————————CVPR-2020AAAI2020CVPR-2019NIPS-2019ICCV-2019IJCAI-2019————————————————————————————————————独木难成林，寡林不成森，要从整体上... 查看详情
目标检测------cvpr2019------对giou的认识
在CVPR2019中，GeneralizedIntersectionoverUnion:AMetricandALossforBoundingBoxRegression介绍了一种新的评价指标GIoU1.为什么要提出GIoU？ 对于1-IoU作为距离度量，有四个优点：满足非负性；同一性；对称性；三角不等性 ... 查看详情
cvpr2019新文阅读
1learningadeepconvnetformulti-labelclassificationwithpartiallabels深度学习在单标签分类任务中表现很好，但是日常生活中的图像本质上是多标签的。多标签分类比单标签分类更困难，因为输入图像和输出标签空间都更复杂。与单标签... 查看详情
cvpr2019strong-weakdistributionalignmentforadaptiveobjectdetection
1介绍此文章是【CVPR2019】的文章，主要讲述了Strong-Weak的DA方法；2原文链接《Strong-WeakDistributionAlignmentforAdaptiveObjectDetection》3论文译读3.1摘要作者提出了一种用于目标检测的从label-rich到label-poor域的无监督自适应方法，... 查看详情
2.5dvisualsound：cvpr2019论文解析
2.5DVisualSound：CVPR2019论文解析 论文链接：http://openaccess.thecvf.com/content_CVPR_2019/papers/Gao_2.5D_Visual_Sound_CVPR_2019_paper.pdfVideoresults:http://vision.cs.utexas.edu/projects/2.5D_visual_sound/摘要双耳音频为听者提供了3D的声音感受，使其对场景... 查看详情
extremenet：通过极点进行目标检测，更细致的目标区域|cvpr2019
ExtremeNet检测目标的四个极点，然后以几何的方式将其组合起来进行目标检测，性能与其它传统形式的检测算法相当。ExtremeNet的检测方法十分独特，但是包含了较多的后处理方法，所以有很大的改进空间，感兴趣可以去看看论文... 查看详情
cvpr2019论文看点：自学习anchor原理
CVPR2019论文看点：自学习Anchor原理原论文链接：https://arxiv.org/pdf/1901.03278.pdf CVPR2019的一篇对anchor进行优化的论文，主要将原来需要预先定义的anchor改成直接end2end学习anchor位置和size。首先anchor的定义通常为(x,y,w,h)(x,y为中... 查看详情
csp：objectaspoint同会议论文，相似思想用于人脸和行人检测|cvpr2019
CSP将目标定义为中心点和尺寸，通过网络直接预测目标的中心和寸尺，相对于传统的RCNN类型检测算法轻量化了不少。整体思想与ObjectasPoints撞车了，真是英雄所见略同 来源：晓飞的算法工程笔记公众号论文:CenterandScalePrediction:A... 查看详情
cvpr2021录取结果|cvpr2021审稿结果(代码片段)
...总结持续更新Github上面：https://github.com/Sophia-11/Awesome-CVPR-Paper 2021持续论文集锦百度云请在【计算机视觉联盟】后台回复 CVPR2021往年论文集锦请在【计算机视觉联盟】后台回复 CVPR2019 2020持续论文集锦请在【计算机视觉联盟... 查看详情
爬取cvpr2019年的论文数据并实现可视化热词云(代码片段)
...ttps://github.com/wushenjiang/PaperData需求本次任务的需求：爬取CVPR2019年所有论文的题目，并提取题目中的关键字，做成按照热度显示大小的热词云。成品截图成品链接：http://39.97.109.245/PaperData/papercloud.jsp截图：爬虫模块设计及代码这... 查看详情
多目标跟踪：cvpr2019论文阅读
多目标跟踪：CVPR2019论文阅读RobustMulti-ModalityMulti-ObjectTracking 论文链接：https://arxiv.org/abs/1909.03850代码链接：https://github.com/ZwwWayne/mmMOT摘要在自主驾驶系统中，多传感器感知是保证系统可靠性和准确性的关键，而多目标跟踪（M... 查看详情
深度学习cvpr2019-paperideas
1.drivingstereo:alarge-scaledatasetforstereomatchinginautonomousdrivingscenarios这位朋友的工作主要是在制作深度数据集，制作数据集的过程写了这篇paper。主要是深度标签不好获得，直接用雷达获取的还不够准确，他又结合了其他信... 查看详情
cvpr2022最新350篇论文分方向汇总/代码
参考：CVPR2022全面盘点：最新350篇论文分方向汇总/代码/解读/直播/项目（更新中）-知乎资料：官网链接：http://CVPR2022.thecvf.com会议时间：2021年6月19日-6月24日相关问题：如何评价CVPR2022的论文接收结... 查看详情
繁凡的对抗攻击论文精读cvpr2019基于决策的高效人脸识别黑盒对抗攻击（清华朱军）
点我轻松弄懂深度学习所有基础和各大主流研究方向入门综述！《繁凡的深度学习笔记》，包含深度学习基础和TensorFlow2.0，PyTorch详解，以及CNN，RNN，GNN，AE，GAN，Transformer，强化学习，... 查看详情
cvpr2019论文解读：单眼提升2d检测到6d姿势和度量形状
CVPR2019论文解读：单眼提升2D检测到6D姿势和度量形状ROI-10D:MonocularLiftingof2DDetectionto6DPoseandMetricShape论文链接地址：https://arxiv.org/pdf/1812.02781.pdf 摘要内容：本文提供了基于端到端单目3D目标检测和度量形状检索的深度学习... 查看详情
cvpr2021论文合集下载论文分类汇总
...om/s/1NCCV1rXMQR8ExxTxTYs4Ng提取码：8ny0压缩包中包括：CVPR2020+ICCV2019+ECCV2020+AAAI2020+NIPS2020等论文合集下载链接和提取码已更新（2021-03-05）CVPR2021论文&&代码&&Post&&PPT(持续更新中，敬请关... 查看详情