关键词：
这两天新看了一篇使用深度学习方法融合红外和可见光图像的模型Infrared and Visible Image Fusion using a Deep Learning Framework，和上次博文是同组，这里分享一下。
本文提出一种深度学习方法融合可见光和红外图像的模型，首先将源图像分解为基部和细节部，然后基部用加权平均方法融合，细节部使用深度学习框架提取多层特征，再使用l1-norm和加权平均来产生候选融合细节部，用最大选择策略生成最终的融合细节部，结合该融合细节部和先前的融合基部进行重构即可获得最终的融合图像。方法代码见：https://github.com/hli1221/imagefusion deeplearning.
作者认为目前存在的很多深度学习方法只利用了网络的最后一层作为特征，这样中间层的信息就丢失了，网络越深丢失的信息越多。本文提出的模型主要有两部分：基部和细节部，它们都是从原始图像中分解得到的，基部使用加权平均获得融合基部，细节部通过深度神经网络提取多层特征，再用soft-max算子获得每层特征对应的权重图和候选细节部，再用最大选择策略从这几个候选细节部中得到最终的融合细节部，与融合基部组合后重构得到融合图像。
模型结构
模型总体结构如下图。
已获取K对源图像，本模型采用Image fusion with guided filtering这篇文章给出的方法进行分解，将源图像
分解为基部
和细节部
，其中基部通过下面方法来优化。
其中，
和
分别表示水平和竖直梯度算子，λ设置为5。得到基部后，使用下式计算细节部。
回到上面的总体结构图，红外和可见光图像分别被分解为基部和细节部，然后两个图像的基部直接使用平均加权算子来融合，至此都还没有使用深度学习方法。两个模态图像的细节部融合才使用了深度学习框架。最后的Fb和Fd融合后重建得到融合图像。
基部融合：使用下式加权平均的方法。
本文的两个系数α都设置为0.5，相当于直接平均。
细节部融合：细节部的融合采用VGG网络提取深度特征，具体结构如下图。
上图中左边第一个阶段就是VGG19网络进行特征提取获得多层特征图，然后使用multi-layers fusion strategy这个层进行融合得到权重图，再对权重图和细节部组合进行重建得到融合细节部。下面详细讲讲这个multi-layers fusion strategy，对于第细节部首先用VGG19网络提取特征，从多个层提取输出作为multi-layers的feature map，也就是中间要进行融合的多层特征，用下式表示。
就表示VGG中第i层提取的特征，k和输出表示的意思一样，即模态，m是通道数量。本文从VGG中选择4个层输出feature map。有了上述feature map就可以用multi-layers fusion strategy融合特征了，结构如下图。
上图中首先要用l1-norm和平均来获得activity level map，也就是
，具体计算方法是首先用l1-norm计算每个层feature map的activity level map，使用下式得到。
这里的
就是上面所说的VGG中第i层提取的特征的每个像素点代表的向量，因为有M个通道，所以每个像素点就是M维向量，使用l1-norm计算得到每个像素点的
。有了每个像素点的activity level map后就用基于block的平均算子得到final activity level map，这样的方法对配准不良的图像对比较鲁棒。使用下式计算。
其中r代表block的尺寸，本文设置为1。如果该值设置的较大可以对配准不良的图像对更鲁棒，但是信息会丢失的更多。有了final activity level map再用softmax算子计算，表示initial weight map value ，值的范围是0到1，如下式。
下一步是使用上采样算子得到和输出尺寸相同的final weight map，如下式。
这样就获得4层feature map处理后的4对weight maps ，每对有2个模态的weight maps ，所以共8张weight maps。每对通过下式进行融合。
这样8张weight maps进一步融合为四张，最后使用最大选择策略融合4层weight maps，通过下式。
这样，终于得到了融合基部和融合细节部，我们通过直接相加的方式获得最终融合图像，如下式。
实验部分
实验中VGG采用了VGG19的预训练模型。为了对比选择了其他模型进行融合：cross bilateral filter fusion method(CBF), the joint-sparse representation model(JSR), the JSR model with saliency detection fusion method(JSRSD), weighted least square optimization-based method(WLS) and the convolutional sparse representation model(ConvSR)。
融合结果对比如下图。
结果来看，CBF得到的结果噪声较多，且红外特征不显著。JSR, JSRSD, WLS得到的结果不够自然，也存在细节被模糊的问题。ConvSR和本文提出的模型对细节保护的较好。总的来说我们提出的方法融合结果比较自然。作者也计算了评价指标，即
和
（分别计算离散余弦和小波特征的互信息（FMI））、
（表示通过融合过程添加到融合图像的噪声或伪影的比率）、modified structural similarity(
)。本文的
通过下式计算。
SSIM是结构相似性算子，F是融合图像，I1和I2分别是红外和可见光图像。
指标计算的结果见下表。结果显示本文模型对
、
、
均有提升，相反
较小时融合结果的噪声和不自然的信息较少。结果也说明了本模型保留更多自然细节的同时噪声也小，融合结果喜人。
作者还对测试集中21个图像对的融合结果都计算了
，本模型的
基本都很小，说明融合结果噪声和不自然的信息较少。测试结果表格和曲线图下图。
红外与可见光图像融合论文阅读
这两天新看了一篇使用深度学习方法融合红外和可见光图像的模型InfraredandVisibleImageFusionusingaDeepLearningFramework，和上次博文是同组，这里分享一下。本文提出一种深度学习方法融合可见光和红外图像的模型，首先将源... 查看详情
红外与可见光图像融合论文阅读
最近研究红外与可见光图像融合，看到一篇文章RFN-Nest:Anend-to-endresidualfusionnetworkforinfraredandvisibleimages，这里记录一下。Abstract本文提出一种残差融合网络residualfusionnetwork(RFN)，用于替换传统的融合方法，同时提出两... 查看详情
红外与可见光图像融合论文阅读
最近研究红外与可见光图像融合，看到一篇文章RFN-Nest:Anend-to-endresidualfusionnetworkforinfraredandvisibleimages，这里记录一下。Abstract本文提出一种残差融合网络residualfusionnetwork(RFN)，用于替换传统的融合方法，同时提出两... 查看详情
红外与可见光图像融合论文阅读
这两天新看了一篇使用深度学习方法融合红外和可见光图像的模型InfraredandVisibleImageFusionusingaDeepLearningFramework，和上次博文是同组，这里分享一下。本文提出一种深度学习方法融合可见光和红外图像的模型，首先将源... 查看详情
红外与可见光图像融合论文阅读
这两天新看了一篇使用深度学习方法融合红外和可见光图像的模型InfraredandVisibleImageFusionusingaDeepLearningFramework，和上次博文是同组，这里分享一下。本文提出一种深度学习方法融合可见光和红外图像的模型，首先将源... 查看详情
图像融合红外与可见光的融合与配准算法matlab源码(代码片段)
一、背景介绍可见光与红外图像融合（Visibleandinfraredimagefusion）是图像融合领域的一个分支。其在很多领域都有应用，例如可见光与红外图像融合跟踪（RGB-Ttracking）、人脸识别、人耳识别、SLAM、国防领域。因... 查看详情
图像融合基于matlab对比度增强结合多尺度边缘保持分解红外与可见光图像融合含matlab源码1886期(代码片段)
一、对比度增强结合多尺度边缘保持分解红外与可见光图像融合简介1引言夜视成像技术在军事与执法领域，如监控，侦查，情报搜集和安保等方面有着重要应用。不同类型的夜视成像传感器在记录同一场景时，在... 查看详情
图像融合基于matlab增强随机游走算法多焦点图像融合含matlab源码1975期(代码片段)
一、增强随机游走算法图像融合简介1引言红外图像与可见光图像具有很多互补的特性。红外传感器通过捕捉物体的热辐射成像，受光线、天气等条件的影响较小，且能够识别出伪装、遮挡下的目标，但红外传感器的... 查看详情
像素级图像融合综述
...法，此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等领域的融合应用总结。文章很长全是字，好不容易才看完，在这里分享一下。Abstract像素级图像融合用于多 查看详情
像素级图像融合综述
...法，此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等领域的融合应用总结。文章很长全是字，好不容易才看完，在这里分享一下。Abstract像素级图像融合用于多 查看详情
像素级图像融合综述
...法，此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等领域的融合应用总结。文章很长全是字，好不容易才看完，在这里分享一下。Abstract像素级图像融合用于多 查看详情
结构感知图像融合structure-awareimagefusion
...少数景深的物体清晰而其他物体模糊。最常用的传感器是可见光相机，由于光照变化，可见图像具有更多的小细节。使用红外传感器，红外图像由于热辐射提供物 查看详情
像素级图像融合综述
...法，此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等领域的融合应用总结。文章很长全是字，好不容易才看完，在这里分享一下。Abstract像素级图像融合用于多种输入图像的融合，融合得到的图像... 查看详情
可见光遥感目标检测主要难点与研究方法概述
前言 可见光遥感图像目标检测属于计算机视觉下面目标检测的重要分支，其具有常规目标检测的普遍性问题，又具有遥感图像目标检测的特殊性问题，针对遥感图像的特殊性问题与普遍性问题在目标检测的通用框架下做出改... 查看详情
红外测温功能
红外热像仪是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。通俗地讲红外热像仪就是将物体发出的不可... 查看详情
论文阅读《high-definitionmapgenerationtechnologiesforautonomousdriving:areview》1
...配准4高精地图的特征提取方法4.1道路网提取4.1.1二维航空图像道路提取4.1.2三维点云的道路提取4.1.3基于传感器融合的道路/道路边界提取4.1.4其它方法 查看详情
像素级压缩感知图像融合的论文
2012基于压缩感知理论的图像融合方法不同的是在测量前先对稀疏矩阵进行融合，从仿真结果来看效果并不是很好，仅做介绍。 2012一种基于小波稀疏基的压缩感知图像融合算法针对图像小波分解系数特点，提出了一种基于双... 查看详情
五篇值得阅读的eccv2020图像识别相关论文
今天为大家介绍五篇值得阅读的ECCV2020oral【图像识别】相关论文。ECCV与CVPR、ICCV并称为计算机视觉领域三大顶会。ECCV2020共有5025篇投稿，其中1361篇被接受，接受率为27%。ECCV2020接受论文列表地址：https://eccv2020.eu/accepted-papers/第1... 查看详情