关键词：
之前在《手把手带你Yolov5 (v6.1)添加注意力机制（并附上30多种顶会Attention原理图）》文章中已经介绍过了如何在主干网络里添加单独的注意力层，今天这篇将会介绍如何在C3模块里面加入注意力层。
文章目录
1.添加方式介绍
1.1 C3SE
第一步；要把注意力结构代码放到common.py文件中，以C3SE举例，将这段代码粘贴到common.py文件中
class SEBottleneck(nn.Module):
# Standard bottleneck
def __init__(self, c1, c2, shortcut=True, g=1, e=0.5, ratio=16): # ch_in, ch_out, shortcut, groups, expansion
super().__init__()
c_ = int(c2 * e) # hidden channels
self.cv1 = Conv(c1, c_, 1, 1)
self.cv2 = Conv(c_, c2, 3, 1, g=g)
self.add = shortcut and c1 == c2
# self.se=SE(c1,c2,ratio)
self.avgpool = nn.AdaptiveAvgPool2d(1)
self.l1 = nn.Linear(c1, c1 // ratio, bias=False)
self.relu = nn.ReLU(inplace=True)
self.l2 = nn.Linear(c1 // ratio, c1, bias=False)
self.sig = nn.Sigmoid()
def forward(self, x):
x1 = self.cv2(self.cv1(x))
b, c, _, _ = x.size()
y = self.avgpool(x1).view(b, c)
y = self.l1(y)
y = self.relu(y)
y = self.l2(y)
y = self.sig(y)
y = y.view(b, c, 1, 1)
out = x1 * y.expand_as(x1)
# out=self.se(x1)*x1
return x + out if self.add else out
class C3SE(C3):
# C3 module with SEBottleneck()
def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):
super().__init__(c1, c2, n, shortcut, g, e)
c_ = int(c2 * e) # hidden channels
self.m = nn.Sequential(*(SEBottleneck(c_, c_, shortcut) for _ in range(n)))
第二步；找到yolo.py文件里的parse_model函数，将类名加入进去
第三步；修改配置文件（我这里拿yolov5s.yaml举例子），将C3层替换为我们新引入的C3SE层
yolov5s_C3SE.yaml
# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# Parameters
nc: 80 # number of classes
depth_multiple: 0.33 # model depth multiple
width_multiple: 0.50 # layer channel multiple
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
# YOLOv5 v6.0 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3SE, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3SE, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3SE, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3SE, [1024]],
[-1, 1, SPPF, [1024, 5]], # 9
]
# YOLOv5 v6.0 head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 4], 1, Concat, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14], 1, Concat, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, Concat, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]
其它注意力机制同理
1.2 C3CA
class CABottleneck(nn.Module):
# Standard bottleneck
def __init__(self, c1, c2, shortcut=True, g=1, e=0.5, ratio=32): # ch_in, ch_out, shortcut, groups, expansion
super().__init__()
c_ = int(c2 * e) # hidden channels
self.cv1 = Conv(c1, c_, 1, 1)
self.cv2 = Conv(c_, c2, 3, 1, g=g)
self.add = shortcut and c1 == c2
# self.ca=CoordAtt(c1,c2,ratio)
self.pool_h = nn.AdaptiveAvgPool2d((None, 1))
self.pool_w = nn.AdaptiveAvgPool2d((1, None))
mip = max(8, c1 // ratio)
self.conv1 = nn.Conv2d(c1, mip, kernel_size=1, stride=1, padding=0)
self.bn1 = nn.BatchNorm2d(mip)
self.act = h_swish()
self.conv_h = nn.Conv2d(mip, c2, kernel_size=1, stride=1, padding=0)
self.conv_w = nn.Conv2d(mip, c2, kernel_size=1, stride=1, padding=0)
def forward(self, x):
x1=self.cv2(self.cv1(x))
n, c, h, w = x.size()
# c*1*W
x_h = self.pool_h(x1)
# c*H*1
# C*1*h
x_w = self.pool_w(x1).permute(0, 1, 3, 2)
y = torch.cat([x_h, x_w], dim=2)
# C*1*(h+w)
y = self.conv1(y)
y = self.bn1(y)
y = self.act(y)
x_h, x_w = torch.split(y, [h, w], dim=2)
x_w = x_w.permute(0, 1, 3, 2)
a_h = self.conv_h(x_h).sigmoid()
a_w = self.conv_w(x_w).sigmoid()
out = x1 * a_w * a_h
# out=self.ca(x1)*x1
return x + out if self.add else out
class C3CA(C3):
# C3 module with CABottleneck()
def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):
super().__init__(c1, c2, n, shortcut, g, e)
c_ = int(c2 * e) # hidden channels
self.m = nn.Sequential(*(CABottleneck(c_, c_,shortcut) for _ in range(n)))
1.3 C3CBAM
class CBAMBottleneck(nn.Module):
# Standard bottleneck
def __init__(self, c1, c2, shortcut=True, g=1, e=0.5,ratio=16,kernel_size=7): # ch_in, ch_out, shortcut, groups, expansion
super(CBAMBottleneck,self).__init__()
c_ = int(c2 * e) # hidden channels
self.cv1 = Conv(c1, c_, 1, 1)
self.cv2 = Conv(c_, c2, 3, 1, g=g)
self.add = shortcut and c1 == c2
self.channel_attention = ChannelAttention(c2, ratio)
self.spatial_attention = SpatialAttention(kernel_size)
#self.cbam=CBAM(c1,c2,ratio,kernel_size)
def forward(self, x):
x1 = self.cv2(self.cv1(x))
out = self.channel_attention(x1) * x1
# print('outchannels:'.format(out.shape))
out = self.spatial_attention(out) * out
return x + out if self.add else out
class C3CBAM(C3):
# C3 module with CBAMBottleneck()
def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):
super().__init__(c1, c2, n, shortcut, g, e)
c_ = int(c2 * e) # hidden channels
self.m = nn.Sequential(*(CBAMBottleneck(c_, c_, shortcut) for _ in range(n)))
1.4 C3ECA
class ECABottleneck(nn.Module):
# Standard bottleneck
def __init__(self, c1, c2, shortcut=True, g=1, e=0.5, ratio=16, k_size=3): # ch_in, ch_out, shortcut, groups, expansion
super().__init__()
c_ = int(c2 * e) # hidden channels
self.cv1 = Conv(c1, c_, 1, 1)
self.cv2 = Conv(c_, c2, 3, 1, g=g)
self.add = shortcut and c1 == c2
# self.eca=ECA(c1,c2)
self.avg_pool = nn.AdaptiveAvgPool2d(1)
self.conv = nn.Conv1d(1, 1, kernel_size=k_size, padding=(k_size - 1) // 2, bias=False)
self.sigmoid = nn.Sigmoid()
def forward(self, x):
x1 = self.cv2(self.cv1(x))
# out=self.eca(x1)*x1
y = self.avg_pool(x1)
y = self.conv(y.squeeze(-1).transpose(-1, -2)).transpose(-1, -2).unsqueeze(-1)
y = self.sigmoid(y)
out = x1 * y.expand_as(x1)
return x + out if self.add else out
class C3ECA(C3):
# C3 module with ECABottleneck()
def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):
super().__init__(c1, c2, n, shortcut, g, e)
c_ = int(c2 * e) # hidden channels
self.m = nn.Sequential(*(ECABottleneck(c_, c_, shortcut) for _ in range(n)))
本人更多Yolov5(v6.1)实战内容导航🍀
3.手把手带你Yolov5 (v6.1)添加注意力机制（并附上30多种顶会Attention原理图）
6.连夜看了30多篇改进YOLO的中文核心期刊 我似乎发现了一个能发论文的规律
yolov5添加注意力机制的具体步骤(代码片段)
本文以CBAM和SE注意力机制的添加过程为例，主要介绍了向YOLOv5中添加注意力机制的具体步骤本文在此篇博客的基础上向YOLOv5-5.0版本代码中添加注意力机制yolov5模型训练———使用yolov5训练自己的数据集本文主要包括以下内容... 查看详情
yolov5添加注意力机制pytorch(代码片段)
我的YOLOv5版本为6.0需要修改的两个文件如下：./models/yolo5s_SE-Net.yaml./models/commom.py1.yolo5s_SE-Net.yaml文件yolo5s_SE-Net.yaml修改自文件yolo5s.yamlyolo5s.yaml文件内容为：#YOLOv5 查看详情
yolov5-6.1添加注意力机制（secbamecaca）(代码片段)
...加方法主要步骤：（1）在models/common.py中注册注意力模块（2）在models/yolo.py中的parse_model函数中添加注意力模块（3）修改配置文件yolov5s.yaml（4）运行yolo.py进行验证各个注意力机制模块的添加方... 查看详情
yolov5--从模块解析到网络结构修改（添加注意力机制）(代码片段)
...块03.Bottleneck模块：04.C3模块05.SPP模块2.为yolov5添加CBAM注意力机制01.CBAM机制02.具体步骤①.以yolov5l结构为例（其实只是深度和宽度因子不同），修改yolov5l.yaml，将C3模块修改为添加注意力机制后的模块CBAMC3，... 查看详情
yolov7改进--添加cbam注意力机制(代码片段)
YOLOV7改进--添加CBAM注意力机制CBAM注意力机制代码在commen.py中添加CBAM模块在yolo.py中添加CBAM模块名在cfg文件中添加CBAM信息因为项目需要，尝试在yolov7上加入CBAM注意力机制，看看能不能提升点性能。之前有在yolov5上添加CBAM... 查看详情
yolov7改进--添加cbam注意力机制(代码片段)
YOLOV7改进--添加CBAM注意力机制CBAM注意力机制代码在commen.py中添加CBAM模块在yolo.py中添加CBAM模块名在cfg文件中添加CBAM信息因为项目需要，尝试在yolov7上加入CBAM注意力机制，看看能不能提升点性能。之前有在yolov5上添加CBAM... 查看详情
yolov5改进之加入cbam,se,eca,ca,simam,shuffleattention,criss-crossattention,crisscrossattention多种注意力机制(代码片
...到的yolov5网络为6.1版本（6.0-6.2均适用）yolov5加入注意力机制模块的三个标准步骤（适用于本文中的任何注意力机制）1.common.py中加入注意力机制模块2.yolo.py中增加对应的注意力机制关键字3.yaml文件中添加相应模块... 查看详情
目标检测yolov5改进系列：主干网络中添加se注意力机制网络
...并在通道维度上进行融合而得到。SEnet就是对通道维度的注意力机制，上面介绍了通道特征是对空间特征FeatueMap的融合。其实同一个通道维度的不同的FeatureMap是用着不同的重要程度的，也就是说对于同一个FeatureMap里面的信息权... 查看详情
聊一聊计算机视觉中常用的注意力机制附pytorch代码实现(代码片段)
...xff0c;大家可以一起对自己感兴趣的部分讨论讨论。新出的手把手教程，感兴趣的兄弟们快去自己动手试试看！手把手教你使用YOLOV5训练自己的目标检测模型-口罩检测-视频教程_dejahu的博客-CSDN博客这里是我数据集的基本 查看详情
yoloair，一个基于pytorch的yolo工具箱...
...0c;并能降低改进难度，改进点包含Backbone、Neck、Head、注意力机制、IoU损失函数、多种NMS、Loss损失函数、自注意力机制系列、数据增强部分、激活函数等部分，更多内容可以关注YOLOAir项目的说明文档。项目同时附带各种... 查看详情
yolox改进之一：添加cbamseeca注意力机制(代码片段)
...智能AI算法工程师 解决问题：本文以加入CBAM双通道注意力机制为例，可以让网络更加关注待检测目标，提高检测效果，解决复杂环境背景下容易错漏检的情况。添加方法：第一步：确定添加的位置，... 查看详情
神经网络加上注意力机制，精度不升反降？(代码片段)
之前写过两篇YOLOv5+各种注意力机制的文章，收到了大家很多的反馈，这篇博文就简单针对这些问题讨论一下：为什么我添加了注意力模块以后精度反而下降了？在什么位置添加注意力模块比较好？同一种或... 查看详情
手把手教你搭建yolov5+strongsortwithosnet环境(代码片段)
项目介绍YOLOv5+StrongSORTwithOSNet模型由YOLOv5检测器、StrongSORT跟踪算法、OSNet行人重识别模型组成项目地址：https://github.com/mikel-brostrom/Yolov5_StrongSORT_OSNet由于现在的代码中没有yolov5和reid代码，所以需要下载源码加入到YOLOv5&... 查看详情
yolov5v7改进之三十二：引入skattention注意力机制(代码片段)
前言：作为当前先进的深度学习目标检测算法YOLOv7，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv7的如... 查看详情
pycharm+anaconda+yolov5-5.0部署（手把手教+解决一些运行过程中的问题+最全部署yolov5）(代码片段)
目录一.在pycharm打开克隆后的yolov5-5.0的项目二.配置pycharm的解释器1.依次打开:文件->设置->项目->python解释器2.打开配置好的deeplearn学习环境1.单击添加解释器->单击添加本地解释器2.单击【现有】3.单击【...】4.依次选择自... 查看详情
手把手带你小程序入门(代码片段)
小程序小程序官网概念作用特点环境准备第一个微信小程序微信开发者工具介绍小程序结构目录小程序配置文件代码编辑器技巧:模板语法注意:总结:小程序官网https://developers.weixin.qq.com/miniprogram/dev/framework/概念微信小程序(MiniPr... 查看详情
目标检测yolov5开源代码项目-环境配置问题(代码片段)
...土堆x布尔艺数】项目源码：ultralytics/yolov5教程：手把手带你调参Yolov5(v6.2)（推理）遇到的问题&解决的链接：ERROR:FailedbuildingwheelforpycocotoolsFailedtobuildpycocotools 在项目终端中执行这行命令pipinstallpycocotoolsAttrib... 查看详情
yolov5改进助力涨点
...YOLOv5改进损失函数（EIOU、alphaIOU等）📈添加注意力机制（CBAM、SE等）📌结合最新特征金字塔网络结构（最新论文改进方法）📃增加小目标检测层，提高模型对小目标物体的识别能力🏀... 查看详情