关键词：
1. 为什么要合并BN层
在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。BN 层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用，然而，在网络前向推断时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。目前，很多先进的网络模型（ResNet，MobileNet，Xception，ShuffleNet 等）都使用了BN技术，因此，我们有必要将 BN 层的参数合并到卷积层，来提升模型前向推断的速度。
２. BN层与卷积层合并的数学原理
卷积层中
卷积权重： W，卷积偏置：B
卷积层运算：
BN 层中
均值：
，方差：
，缩放因子：
，偏移：
， 一个较小数（防止分母为0）：
BN层和卷积层合并后：
3. 实验结果
机器：显卡 GTX 1080Ti，i7 CPU
本实验对比了Resnet50 模型合并BN层前后的性能，分类精度保持不变，速度显著提升。
| 模型 | CPU前向时间 | GPU前向时间 |
| Resnet50（合并前） | 176.17ms | 11.03ms |
| Resnet50（合并后） | 161.69ms | 7.3ms |
| 提升 | 10% | 51% |
4. 合并的python脚本
该脚本需要caffe的python接口
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import numpy as np
import sys
import os
import os.path as osp
import google.protobuf as pb
import google.protobuf.text_format
from argparse import ArgumentParser
import caffe
caffe.set_mode_cpu()
def load_and_fill_biases(src_model, src_weights, dst_model, dst_weights):
with open(src_model) as f:
model = caffe.proto.caffe_pb2.NetParameter()
pb.text_format.Merge(f.read(), model)
for i, layer in enumerate(model.layer):
if layer.type == 'Convolution': # or layer.type == 'Scale':
# Add bias layer if needed
if layer.convolution_param.bias_term == False:
layer.convolution_param.bias_term = True
layer.convolution_param.bias_filler.type = 'constant'
layer.convolution_param.bias_filler.value = 0.0
with open(dst_model, 'w') as f:
f.write(pb.text_format.MessageToString(model))
caffe.set_mode_cpu()
net_src = caffe.Net(src_model, src_weights, caffe.TEST)
net_dst = caffe.Net(dst_model, caffe.TEST)
for key in net_src.params.keys():
for i in range(len(net_src.params[key])):
net_dst.params[key][i].data[:] = net_src.params[key][i].data[:]
if dst_weights is not None:
# Store params
pass
return net_dst
def merge_conv_and_bn(net, i_conv, i_bn, i_scale):
# This is based on Kyeheyon's work
assert(i_conv != None)
assert(i_bn != None)
def copy_double(data):
return np.array(data, copy=True, dtype=np.double)
key_conv = net._layer_names[i_conv]
key_bn = net._layer_names[i_bn]
key_scale = net._layer_names[i_scale] if i_scale else None
# Copy
bn_mean = copy_double(net.params[key_bn][0].data)
bn_variance = copy_double(net.params[key_bn][1].data)
num_bn_samples = copy_double(net.params[key_bn][2].data)
# and Invalidate the BN layer
net.params[key_bn][0].data[:] = 0
net.params[key_bn][1].data[:] = 1
net.params[key_bn][2].data[:] = 1
if num_bn_samples[0] == 0:
num_bn_samples[0] = 1
if net.params.has_key(key_scale):
print 'Combine :s + :s + :s'.format(key_conv, key_bn, key_scale)
scale_weight = copy_double(net.params[key_scale][0].data)
scale_bias = copy_double(net.params[key_scale][1].data)
net.params[key_scale][0].data[:] = 1
net.params[key_scale][1].data[:] = 0
else:
print 'Combine :s + :s'.format(key_conv, key_bn)
scale_weight = 1
scale_bias = 0
weight = copy_double(net.params[key_conv][0].data)
bias = copy_double(net.params[key_conv][1].data)
alpha = scale_weight / np.sqrt(bn_variance / num_bn_samples[0] + 1e-5)
net.params[key_conv][1].data[:] = bias * alpha + (scale_bias - (bn_mean / num_bn_samples[0]) * alpha)
for i in range(len(alpha)):
net.params[key_conv][0].data[i] = weight[i] * alpha[i]
def merge_batchnorms_in_net(net):
# for each BN
for i, layer in enumerate(net.layers):
if layer.type != 'BatchNorm':
continue
l_name = net._layer_names[i]
l_bottom = net.bottom_names[l_name]
assert(len(l_bottom) == 1)
l_bottom = l_bottom[0]
l_top = net.top_names[l_name]
assert(len(l_top) == 1)
l_top = l_top[0]
can_be_absorbed = True
# Search all (bottom) layers
for j in xrange(i - 1, -1, -1):
tops_of_j = net.top_names[net._layer_names[j]]
if l_bottom in tops_of_j:
if net.layers[j].type not in ['Convolution', 'InnerProduct']:
can_be_absorbed = False
else:
# There must be only one layer
conv_ind = j
break
if not can_be_absorbed:
continue
# find the following Scale
scale_ind = None
for j in xrange(i + 1, len(net.layers)):
bottoms_of_j = net.bottom_names[net._layer_names[j]]
if l_top in bottoms_of_j:
if scale_ind:
# Followed by two or more layers
scale_ind = None
break
if net.layers[j].type in ['Scale']:
scale_ind = j
top_of_j = net.top_names[net._layer_names[j]][0]
if top_of_j == bottoms_of_j[0]:
# On-the-fly => Can be merged
break
else:
# Followed by a layer which is not 'Scale'
scale_ind = None
break
merge_conv_and_bn(net, conv_ind, i, scale_ind)
return net
def process_model(net, src_model, dst_model, func_loop, func_finally):
with open(src_model) as f:
model = caffe.proto.caffe_pb2.NetParameter()
pb.text_format.Merge(f.read(), model)
for i, layer in enumerate(model.layer):
map(lambda x: x(layer, net, model, i), func_loop)
map(lambda x: x(net, model), func_finally)
with open(dst_model, 'w') as f:
f.write(pb.text_format.MessageToString(model))
# Functions to remove (redundant) BN and Scale layers
to_delete_empty = []
def pick_empty_layers(layer, net, model, i):
if layer.type not in ['BatchNorm', 'Scale']:
return
bottom = layer.bottom[0]
top = layer.top[0]
if (bottom != top):
# Not supperted yet
return
if layer.type == 'BatchNorm':
zero_mean = np.all(net.params[layer.name][0].data == 0)
one_var = np.all(net.params[layer.name][1].data == 1)
if zero_mean and one_var:
print 'Delete layer: '.format(layer.name)
to_delete_empty.append(layer)
if layer.type == 'Scale':
no_scaling = np.all(net.params[layer.name][0].data == 1)
zero_bias = np.all(net.params[layer.name][1].data == 0)
if no_scaling and zero_bias:
print 'Delete layer: '.format(layer.name)
to_delete_empty.append(layer)
def remove_empty_layers(net, model):
map(model.layer.remove, to_delete_empty)
# A function to add 'engine: CAFFE' param into 1x1 convolutions
def set_engine_caffe(layer, net, model, i):
if layer.type == 'Convolution':
if layer.convolution_param.kernel_size == 1\\
or (layer.convolution_param.kernel_h == layer.convolution_param.kernel_w == 1):
layer.convolution_param.engine = dict(layer.convolution_param.Engine.items())['CAFFE']
def main():
# Set default output file names
if args.output_model is None:
file_name = osp.splitext(args.model)[0]
args.output_model = file_name + '_inference.prototxt'
if args.output_weights is None:
file_name = osp.splitext(args.weights)[0]
args.output_weights = file_name + '_inference.caffemodel'
net = load_and_fill_biases(args.model, args.weights, args.model + '.temp.pt', None)
net = merge_batchnorms_in_net(net)
process_model(net, args.model + '.temp.pt', args.output_model,
[pick_empty_layers, set_engine_caffe],
[remove_empty_layers])
# Store params
net.save(args.output_weights)
if __name__ == '__main__':
parser = ArgumentParser(
description="Generate Batch Normalized model for inference")
parser.add_argument('--model', default="MobileNetSSD_deploy.prototxt", help="The net definition prototxt")
parser.add_argument('--weights', default="MobileNetSSD_deploy.caffemodel", help="The weights caffemodel")
parser.add_argument('--output_model')
parser.add_argument('--output_weights')
args = parser.parse_args()
main()
脚本下载地址：
https://download.csdn.net/download/kangdi7547/10578152
参考博客： http://keep.01ue.com/?pi=943537&_a=app&_c=index&_m=p
tensorrt8使用手记（1）模型测试conv+bn+relu结构融合
参考技术A在主流卷积神经网络模型中Conv+BN+Relu是一种常见的模型结构。在模型推理和训练中，BN层往往与其他层合并，以减少计算量。node_of_325node_of_326node_of_327在TensorRT中会对网络结构进行垂直整合，即将Conv、BN、Relu三个层融合... 查看详情
模型推理一文看懂googletpu脉动阵列加速卷积计算原理
本教程详细解释了GoogleTPU脉动阵列加速卷积计算原理。 TPU中计算卷积的方式和GPU不同，主要是依靠一种称为“脉动阵列”的硬件电路结构来实现的。脉动阵列的主体部分是一个二维的滑动阵列，其中每一个节点都是... 查看详情
模型推理一文看懂winograd卷积加速算法(代码片段)
...积加速相关的文章，感兴趣的同学可以查阅《【模型推理】一文看懂Img2Col卷积加速算法》、《【模型推理】一文看懂GoogleTPU脉动阵列加速卷积计算原理》、《【模型推理】谈谈为什么 查看详情
基于zynq的cnn图像识别算法的优化与实现
卷积神经网络训练与硬件加速器实现 图像识别系统的第二部分是CNN加速器，CNN加速器的实现包含训练与推理两个阶段。一是卷积神经网络训练，提取相应的权重值和偏置值，即训练阶段。二是根据网络模型实现卷积... 查看详情
dcgan理论讲解及代码实现(代码片段)
...N结合在一起，生成模型和判别模型都运用了深度卷积神经网络的生成对抗网络。DCGAN将GAN与CNN相结合，奠定了之后几乎所有GAN的基本网络架构。DCGAN极大地提升了原始GAN训练的稳定性以及生成结果的质量DCGAN主要是在网络... 查看详情
用numpy实现cnn卷积神经网络(代码片段)
为了加深对卷积神经网络底层原理的理解，本文通过使用numpy来搭建一个基础的包含卷积层、池化层、全连接层和Softmax层的卷积神经网络，并选择relu作为我们的激活函数，选择多分类交叉熵损失函数，最后使用了mnist数据集进行... 查看详情
深度学习卷积神经网络(cnn)原理
【深度学习】卷积神经网络原理1.卷积神经网络的组成2.卷积层2.1卷积运算过程3.padding-零填充3.1ValidandSame卷积3.2奇数维度的过滤器4.stride-步长5.多通道卷积5.1多卷积核（多个Filter）6.卷积总结7.池化层(Pooling)8.全连接层9.总... 查看详情
一文看懂img2col卷积加速算法
...接卷积计算一定是很直接的，也是大多数人学习卷积神经网络时所直观了解的卷积计算方式。直接卷积是按照卷积层的计算特性进行计算，卷积核中的权重矩阵在经过补零后的输入特征图中滑动，每次在输入特征图中... 查看详情
一文看懂img2col卷积加速算法
...接卷积计算一定是很直接的，也是大多数人学习卷积神经网络时所直观了解的卷积计算方式。直接卷积是按照卷积层的计算特性进行计算，卷积核中的权重矩阵在经过补零后的输入特征图中滑动，每次在输入特征图中... 查看详情
卷积神经网络
参考技术A1、二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，... 查看详情
卷积层在神经网络中如何运算？
参考技术A卷积神经网络（ConvolutionalNeuralNetworks,CNN）的核心是进行卷积运算操作。在实际应用中往往采用多层网络结构，因此又被称为深度卷积神经网络。本文将从单个卷积的计算出发，带大家掌握卷积层在神经网络中的运算方... 查看详情
卷积层在神经网络中如何运算？
参考技术A卷积神经网络（ConvolutionalNeuralNetworks,CNN）的核心是进行卷积运算操作。在实际应用中往往采用多层网络结构，因此又被称为深度卷积神经网络。本文将从单个卷积的计算出发，带大家掌握卷积层在神经网络中的运算方... 查看详情
卷积神经网络(原理与代码实现)(代码片段)
卷积神经网络1、卷积的概念2、感受野的概念3、全零填充(padding)4、Tensorflow描述卷积层4.1卷积(Convolutional)4.2批标准化（BatchNormalization，BN）4.3池化4.4Dropout5、简单CNN实现CIFAR10数据集分类5.1cifar10数据集介绍5.2网络结构5.3... 查看详情
卷积神经网络(原理与代码实现)(代码片段)
卷积神经网络1、卷积的概念2、感受野的概念3、全零填充(padding)4、Tensorflow描述卷积层4.1卷积(Convolutional)4.2批标准化（BatchNormalization，BN）4.3池化4.4Dropout5、简单CNN实现CIFAR10数据集分类5.1cifar10数据集介绍5.2网络结构5.3... 查看详情
深度神经网络中的卷积
文章目录卷积单元经典卷积运算经典二维卷积经典膨胀二维卷积运算经典二维转置卷积运算实验分析实验说明实验结果参考文献卷积单元本文给出了四维张量卷积的表达式，卷积输出大小的表达式，以及Matlab和PyTorch下卷... 查看详情
tensorrt模型加速|网络结构优化|低精度推理
...FP16或INT8进行模型推理实现。一、低精度推理背景：神经网络在训练时采用高精度保存参数，一般采用 32 位浮点数（Floating-Point, FP32），因此模型最后的 weights 也是 FP32 格式。但是一旦完成训练，所有... 查看详情
tensorrt模型加速|网络结构优化|低精度推理
...FP16或INT8进行模型推理实现。一、低精度推理背景：神经网络在训练时采用高精度保存参数，一般采用 32 位浮点数（Floating-Point, FP32），因此模型最后的 weights 也是 FP32 格式。但是一旦完成训练，所有... 查看详情
卷积神经网络对bn层的解释
前言BatchNormalization是由google提出的一种训练优化方法。参考论文：BatchNormalizationAcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift 个人觉得BN层的作用是加快网络学习速率，论文中提及其它的优点都是这个优点的副产品。 ... 查看详情