关键词：
上周看到韩松毕业论文，扯出神经网络加速器EIE，刚好这周调研了一下neuFlow，扯出09年的一篇做卷积加速的文章，大牛Lecun Yan的学生做的，一晃眼，快十年了。也记录之。
这一套还没研究透，又被换了方向，只好抽出一个晚饭时间，把看懂的记下来，不懂的暂时不研究了，如果以后再被拎回来搞这个方向再看吧。
1. neuFlow的整体思想：
CNP是09年的一个卷积加速器，newFlow是12年的一个神经计算芯片，并加上了luaFlow编译器做成了一个嵌入式系统，可以实现人脸识别、场景分割等等。
大概思想如图，先训练好一个卷积神经网络模型，用luaFlow编译成neuFlow能跑的机器码，跟硬件代码一起下载到FPGA或者流片成ASIC，运行。
2.CNP架构
CPU使用32位的Power PC，VALU是计算加速单元，作者为这个模块设计了四种微指令：2D卷积、2D空间池化与下采样、点积、非线性（sigmoid或者tanh之类）
根据微指令功能，CNP赤裸裸的面向卷积神经网路计算。（Lecun的学生做的）
3. 2D卷积加速器设计
3*3卷积加速器设计方案：
计算流程如下：
一文看懂img2col卷积加速算法
本文转自【模型推理】一文看懂Img2Col卷积加速算法直接卷积计算直接卷积计算一定是很直接的，也是大多数人学习卷积神经网络时所直观了解的卷积计算方式。直接卷积是按照卷积层的计算特性进行计算，卷积核中的... 查看详情
模型推理一文看懂googletpu脉动阵列加速卷积计算原理
本教程详细解释了GoogleTPU脉动阵列加速卷积计算原理。 TPU中计算卷积的方式和GPU不同，主要是依靠一种称为“脉动阵列”的硬件电路结构来实现的。脉动阵列的主体部分是一个二维的滑动阵列，其中每一个节点都是... 查看详情
cnn卷积神经网络加速和实际在硬件中的计算过程(代码片段)
2维卷积操作，多通道多输出的卷积示意图关于图像的解释说明输入FeatureMap维度W×H×CinW\\timesH\\timesC_inW×H×Cin卷积核Kernel维度WK×HK×Cin×CoutW_K\\timesH_K\\timesC_in\\timesC_outWK×HK×Cin×Cout输出FeatureMap维度W×H×CoutW\\timesH\\time 查看详情
模型推理一文看懂winograd卷积加速算法(代码片段)
...t;_< o_O O_o ~_~ o_O 本文详细解释了winograd算法加速卷积的实现原理。 前面已经写过几篇卷积加速相关的文章，感兴趣的同学可以查阅《【模型推理】一文看懂Img2Col卷积加速算法》、《【模型推理】一文看懂GoogleTPU脉... 查看详情
卷积计算
...x)=A(x)B(x) =a_0b_0+(a_0b_1+a_1b_0)x+...+a_n-1b_n-1x^2n-2$ 卷积的分量就是$C(x)$的一个系数。卷积$a*b$计算等价于多项式相乘。 查看详情
浅谈快速沃尔什变换(代码片段)
快速沃尔什变换(fwt)(fwt)是一种快速计算位运算卷积的算法，一般包括按位或卷积，按位与卷积和异或卷积。按位或(or)卷积对于多项式(A,B,C)，定义(oplus)为卷积符号，即(AoplusB=C)。那么，按位或卷积就是：[C_k=sum_i~or~j=kA_icdotB_j]类... 查看详情
opencv图像二维离散卷积原理
...像中的噪声，常用的平滑处理的处理算法有基于二维离散卷积的高斯平滑、均值平衡、基于统计学方法的中值平滑、双边滤波、导向滤波等。二维离散卷积是基于两个矩阵的一种计算方式，通过以下示例进行理解。[I=left(eginmatri... 查看详情
hdu-1402a*bproblemplusfft裸题
...胜任这种计算的.... 然后,2个大整数相乘,可以理解为卷积,所以就用快速傅里叶变换(FFT)来加速他 模板题 简单总结一下对FFT的认知:FFT用于算卷积,卷积可以理解为 查看详情
cnn基础计算机如何计算卷积操作
目录0.前言1.把卷积操作转换为矩阵乘法1.1将卷积核化为矩阵1.2将输入的FeatureMap化为矩阵1.3矩阵乘法0.前言对于卷积操作我们都很清楚其具体过程，不过卷积操作是如何在计算机上实现的呢？我们当然可以按照卷积的操作... 查看详情
7.数据分析--在matlab中通过nvidiageforcegpu加速深度学习计算
...当前最新的matlab版本，提供了很多关于深度学习（常见的卷积神经网络和循环神经网络）的接口）据说matlab现在只支持NVIDIA系列的显卡，matlab2018aNeuralNetworkToolbox关于深度神经网络在GPU上的加速计算有以下要求：UsingaGPUrequiresaCU 查看详情
cnn卷积神经网络加速和实际在硬件中的计算过程(代码片段)
2维卷积操作，多通道多输出的卷积示意图关于图像的解释说明输入FeatureMap维度W×H×CinW\\timesH\\timesC_inW×H×Cin卷积核Kernel维度WK×HK×Cin×CoutW_K\\timesH_K\\timesC_in\\timesC_outWK×HK×Cin×Cout输出FeatureMap维度W×H×CoutW\\timesH\\time... 查看详情
量子计算为算法指数加速：shor‘salgorithm
周期函数：f(x)=ax mod Nf(x)=a^x\\bmodNf(x)=axmodN问题：如何找到一个周期函数的周期r？Shor’salgorithmShor’ssolution中函数U：U∣y⟩≡∣ay mod N⟩U|y\\rangle\\equiv|ay\\bmodN\\rangleU∣y⟩≡∣aymodN⟩接下来，我们... 查看详情
反卷积理解
不定时更新反卷积就是转置卷积，也可以写成两个矩阵相乘，通常由小尺寸变成大尺寸，反卷积的反向传播也是可行的。如图是反卷积的过程：下面介绍卷积的反向传播过程，此过程与反卷积相同。反卷积的计算是把卷积的... 查看详情
图像梯度计算加速(代码片段)
常规方法：1voidSobelAmplitude(Mat&sobelx,Mat&sobely,Mat&SobelXY)2SobelXY=Mat::zeros(sobelx.size(),CV_32FC1);3for(inti=0;i<SobelXY.rows;i++)4float*data=SobelXY.ptr<float>(i);5short*da 查看详情
moreisless——卷积网络加速
...级网络结构。再介绍本文方法之前，需要了解一下常见的卷积是怎样实现的。以caffe中的卷积为例，首先通过im2 查看详情
rethingkingthevalueofnetworkpruning
参考技术A加速卷积神经网络的方法主要可以分三个方面：1.针对卷积操作优化，例如使用FFT实现卷积操作；2.量化操作，例如网络的二值化（BinaryNet）；3.在结构上简化，使模型变小。在结构上简化模型也可以分三类：张量分解... 查看详情
卷积的本质
https://mp.weixin.qq.com/s?__biz=MzUyNjU2OTk0MA==&mid=2247483950&idx=1&sn=eb66ac6d42d1215728e17b7d90a43a7e&chksm=fa0d9a95cd7a13830f5397e12feab523f3403468cfe350e850c80bdf623bf6c4eac23bba02b9&mpshare=1&scene=23&srcid=&sharer_sharetime=1583586165080&sharer_shareid=08... 查看详情
fft相关的复习(代码片段)
任意长度卷积CZT就是一波推导[eginalignedb_i&=sum_j=0^n-1omega^ija_j&=sum_j=0^n-1omega^fraci^2+j^2-(i-j)^22a_j&=omega^fraci^22sum_j=0^n-1omega^frac-(i-j)^22a_jomega^j^2endaligned]后面是一个减法卷积，就可以扩展到2的幂次直接fft就好了。2次dft计算卷积... 查看详情