关键词：
前言
[机器学习] UFLDL笔记系列是以我学习UFLDL Tutorial（Andrew Ng老师主讲）时的笔记资料加以整理推出的，内容以无监督特征学习和深度学习为主，同时也参考了大量网上的相关资料。
本文的理论部分主要整理自UFLDL的“Autoencoders and Sparsity”章节和一些经典教材，同时也参考了网上的一些经典博客，包含了Autoencoders和Sparsity的一些基本概念、应用场景和推导，供读者参考。
文章小节安排如下：
1）自编码器（autoencoder）的基本原理
2）基于Autoencoder的数据压缩表示
3）基于Autoencoder的数据稀疏表示
4）Autoencoder的可视化
5）参考资料
一、自编码器（autoencoder）的基本原理
1.1 基本概念
自编码器是一种无监督学习算法，它采用神经网络的形式，令目标值等于输入值，利用反向传播算法学习数据内在的结构。因此自编码器也可以称作是自编码神经网络（autoencoder neural network），自动编码体现在哪里？体现在它无需标签，利用数据本身就可以学习出数据内在的有趣结构。
1.2 发展历史
Autoencoders were first introduced in the 1980s by Hinton and the PDP group (Rumelhart et al., 1986 [18]) to address the problem of backpropagation without a teacher, by using the input data as the teacher.
更多的关于Autoencoder的发展历史可以参考论文：Baldi P, Guyon G, Dror V, et al. Autoencoders, Unsupervised Learning, and Deep Architectures Editor: I[J]. Journal of Machine Learning Research, 2012.
1.3 网络结构
UFLDL给出的Autoencoder神经网络结构如下：
但确切的说，Autoencoder指的是上图中第一个权重矩阵，第二个权重矩阵是解码器。
1.4 学习目标
Autoencoder尝试学习一个恒等函数：
换句话说，它尝试逼近一个恒等函数，从而使得输出接近于输入，
恒等函数虽然看上去没有学习的意义，但是当在自编码神经网络加入某些限制，比如限定隐藏神经元的数量，就可以从输入数据中发现一些有趣的结构。
二、基于Autoencoder的数据压缩表示
2.1 如何利用Autoencoder学习数据的压缩表示
假设Autoencoder的输入是100维的数据，其中隐层L2的神经元数量是50，输出层是100维。此时由于只有50个隐藏神经元，也就相当于迫使Autoencoder去学习输入数据的压缩表示，即，它必须从隐层L2的50维激励值向量中重构出100维的输入数据。
当然这种学习是有前提的， 如果输入的数据中各项是完全随机的，也就是每一项都是跟其它项完全无关的独立同分布高斯随机变量，那么压缩表示将会非常难以学习。但如果输入的数据中某些项是彼此相关的，那么Autoencoder就可以发现这一相关性，也就可以学习到压缩表示。事实上，Autoencoder通常可以学习出一个跟主成分分析（PCA）结果非常相似的输入数据的低维表示。
举例来说，
设现在利用4bit来表示4个数字，希望可以进行压缩至2bit来表示，可通过训练得到如下压缩表示：
(0,0,0,1) ->（0.99,0.09） -> (0.06,0.00,0.01,0.91)
(0,0,1,0) ->（0.85,0.99） -> (0.00,0.07,0.90,0.07)
(0,1,0,0) ->（0.01,0.67） -> (0.06,0.87,0.11,0.00)
(1,0,0,0) ->（0.12,0.00） -> (0.89,0.10,0.00,0.02)
input_layer hidden_layer output_layer
观察hidden层的编码可以发现下面对应关系：
（0.99,0.09） 1,0
（0.85,0.99） 1,1
（0.01,0.67） 0,1
（0.12,0.00） 0,0
2.2 代价函数
用于数据压缩表示的Autoencoder的代价函数如下：
从形式上看十分简单，第一项使代价项，第二项是正则项。
2.3 数据预处理
这里Autoencoder中激励函数选择的是Sigmoid函数，而Sigmoid函数的输出在0-1之间，因此为了满足Autoencoder的学习目标，数据在输入网络之前，需要对各项进行归一化操作，例如白化操作。
2.4 Autoencoder与PCA
Autoencoder用于压缩表示时与PCA类似，都是要找到可以代表原始信息的主要成分（捕捉可以代表输入数据的最重要的因素），事实上Autoencoder通常可以学习出一个跟PCA结果非常相似的数据低维表示。只是PCA是线性的，而Autoencoder因为有Sigmoid函数，所以是非线性的降维。
三、基于Autoencoder的数据稀疏表示
3.1 如何利用Autoencoder学习数据的稀疏表示
前面压缩表示例子是基于隐藏神经元数量小于输入数据的维度，如果隐藏神经元的数量大于输入数据的维度，我们可以通过给Auto encoder施加稀疏性限制来学习输入数据的稀疏表示。
补充：什么是稀疏性？
这里用稀疏特征的特点来解释稀疏性，如果说一个特征是稀疏的，那么这个特征向量里面有很多项都是0，而非零的项远小于向量的维度。说白了，稀疏特征就是0比较多而已。
接触机器学习的同学应该都听过稀疏表示，高维数据的稀疏表示是近年来机器学习和计算机视觉领域的研究热点之一。那么稀疏表示的优越性在哪里呢？其实需要说明的是，讨论稀疏表示的优越性之前需要明确应用场景（没有一种理论是万能的），稀疏表示对于大多数的inverse problem一般都具有良好的表现，例如图像，音频，视频等等自然信号，因为这些信号具有很好的可稀疏性。
在Machine Learning，Signal/Image Processing等众多领域，很多inverse problem都是不适定/病态的(under-determined, ill-posed)。为了能获得比较好的解，人们需要x的先验知识。而稀疏性便是众多先验知识中，最为主要的一种。这种性质使得不适定的问题变得适定(well-posed)，进而获得“好的解”成为可能。
3.2 稀疏性限制
如果当神经元的输出接近于1的时候认为它被激活，而输出接近于0的时候认为它被抑制，那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。这里假设神经元的激活函数是sigmoid函数，如果使用tanh作为激活函数，则当神经元输出为-1的时候认为神经元是被抑制的。
那么如何在Autoencoder中加入稀疏性限制呢？
首先我们定义隐藏神经元 j 的平均激活度：
接着我们对这个平均激活度进行限制，
其中， ρ 是 稀疏性参数（sparsity parameter），通常是一个接近于0的较小的值，该等式的目的就是要让隐藏神经元 j 的平均活跃度接近 0，也就是隐藏神经元 j 对于每个训练样本的活跃度都必须接近于0。
为了实现这一限制，我们可以在目标函数中加入一个稀疏惩罚项（sparse penalty term），这个惩罚项将惩罚那些使上面式子显著不等的情况（即神经元的平均激活度与稀疏性参数值显著不同），从而使隐藏神经元的平均激活度保持在较小范围内。
稀疏惩罚项的具体形式有很多种合理的选择，在这里选择基于相对熵（KL divergence）的形式：
其中，
这是一个以 ρ 为均值和一个以 ρ ^ j 为均值的两个伯努利随机变量之间的相对熵。相对熵是一种标准的用来测量两个分布之间差异的方法。
3.3 代价函数
Sparse Autoencoder的代价函数如下：
在形式上，Sparse Autoencoder的代价函数在Autoencoder代价函数的基础上加上了稀疏惩罚项，在反向传播求偏导数的时候要注意数学推导上的更新。
3.4 KL divergence
在概率论或信息论中，KL散度( Kullback–Leibler divergence)，又称相对熵（relative entropy)，信息散度（information divergence），信息增益（information gain），是描述两个概率分布P和Q差异的一种方法（P和Q差别的非对称性的度量）。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。
有人将KL散度称为KL距离，但事实上，KL散度并不满足距离的概念，原因在于：
1）KL散度不是对称的；
2）KL散度不满足三角不等式。
四、Autoencoder的可视化
4.1 可视化的是什么
训练出的Autoencoder其实就是第一个权重矩阵，我们可视化的是函数：
确切的说是可视化这个函数的参数W（W中每一组参数对应一幅图像），如下：
从可视化的结果可以看出， 不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。
4.2 局部模式检测器
很多人会困惑为什么可视化以后是这样的结果，因此这里有几点需要明确：
第一，训练Autoencoder时候的训练数据是什么？
我们拿到的数据集是数字灰度图像，
但我们 训练Autoencoder用的图像是在这些数字图像中随机采样出来的10x10的patch。这里的Autoencoder是一个全链接网络，所以学习出的是全局特征（也就是对图像整体做检测）。但由于训练时候采用的是从原始数字图像中随机采样的10x10的patch，所以给人感觉好像是学习出了局部特征。
第二，为何可视化后的图像看起来像是数字图像中的局部边缘？
事实上这些图像就是原始数字图像中的局部边缘，我们训练出的Autoencoder具备了边缘检测器的能力，隐藏层的每一个神经元，都是一个边缘检测器，而神经元激活的过程，就是边缘检测的过程。
有些同学不理解为什么 神经网络中的神经元可以作为局部模式检测器，越深层的神经元越能检测复杂的局部模式，这其实就是神经网络的性质。我们知道，神经网络可以看作是多层感知机（perceptron），每一个隐层神经元都可以看作是一个感知机单元。而所谓 感知，本质上就是一个模板匹配的过程，如果我们利用原始图像数据训练一个线性分类器，对该分类器进行可视化，可以看到可视化的图像也就是分类对象的抽象描述。
分类器：
可视化分类器：
注意看这里面的car和truck，是不是非常像一辆车。而这里的hourse，看起来是一匹双头马，这是因为训练数据中有些马头是朝左，有些是朝右……
参考资料
UFLDL-Autoencoders and Sparsity
http://ufldl.stanford.edu/wiki/index.php/Autoencoders_and_Sparsity
Visualizing a Trained Autoencoder
http://ufldl.stanford.edu/wiki/index.php/Visualizing_a_Trained_Autoencoder
CS231n-Linear Classification
http://cs231n.github.io/linear-classify/
什么是稀疏特征(Sparse Features)?
https://www.zhihu.com/question/31951092?sort=created
稀疏表达的意义在于？为什么稀疏表达得到广泛的应用？
https://www.zhihu.com/question/26602796/answer/33457780
KL Divergence KL散度
http://blog.csdn.net/gao1440156051/article/details/44162269
[机器学习]ufldl笔记-pcaandwhitening
前言 [机器学习]UFLDL笔记系列是以我学习UFLDLTutorial（AndrewNg老师主讲）时的笔记资料加以整理推出的。内容以无监督特征学习和深度学习为主，同时也参考了大量网上的相关资料。 撰写本文的原因是... 查看详情
[机器学习]ufldl笔记-反向传播算法（backpropagation）
前言 [机器学习]UFLDL笔记系列是以我学习UFLDLTutorial（AndrewNg老师主讲）时的笔记资料加以整理推出的。内容以无监督特征学习和深度学习为主，同时也参考了大量网上的相关资料。 本文主要整理自UFLDL的“... 查看详情
[机器学习]ufldl笔记-sparsecoding（稀疏编码）
前言 [机器学习]UFLDL笔记系列是以我学习UFLDLTutorial（AndrewNg老师主讲）时的笔记资料加以整理推出的，内容以无监督特征学习和深度学习为主，同时也参考了大量网上的相关资料。 本文的理论部分主要整理... 查看详情
机器学习笔记：autoencoder
1autoencoder介绍 这是一个无监督学习问题，旨在从原始数据x中学习一个低维的特征向量（没有任何标签） encoder最早是用线性函数+非线性单元构成（比如Linear+nonlinearity），之后... 查看详情
[机器学习]ufldl笔记-convolutionalneuralnetwork-矩阵运算
前言 卷积神经网络的核心操作就是各种矩阵运算，在前向传播和反向传播中的各种形式的矩阵运算构成了CNN的计算体系，本文将在卷积神经网络（ConvolutionalNeuralNetwork）的背景下对相关的矩阵运算进行梳理ÿ... 查看详情
[机器学习]ufldl笔记-convolutionalneuralnetwork-反向传播与梯度计算
前言 本文是我在学习卷积神经网络（ConvolutionalNeuralNetwork）时的笔记，内容涉及CNN的反向传播、梯度计算等，主要解释了反向传播中Conv层（卷积层）和池化层（Pooling层）之间误差的传递过程和... 查看详情
[机器学习]ufldl笔记-反向传播算法（backpropagation）
前言 [机器学习]UFLDL笔记系列是以我学习UFLDLTutorial（AndrewNg老师主讲）时的笔记资料加以整理推出的。内容以无监督特征学习和深度学习为主，同时也参考了大量网上的相关资料。 本文主要整理自UFLDL的“... 查看详情
[机器学习]ufldl笔记-convolutionalneuralnetwork-全连接局部连接卷积与池化
前言 本文是我在学习卷积神经网络（ConvolutionalNeuralNetwork）时的笔记，主要参考资料是AndrewNg老师在UFLDLTutorial中的相关章节。关于CNN的笔记在网络上很多了，本文不再详述各种细节，只对其中容易混淆和难... 查看详情
[机器学习]ufldl笔记-sparsecoding（稀疏编码）
前言 [机器学习]UFLDL笔记系列是以我学习UFLDLTutorial（AndrewNg老师主讲）时的笔记资料加以整理推出的，内容以无监督特征学习和深度学习为主，同时也参考了大量网上的相关资料。 本文的理论部分主要整理... 查看详情
ufldl学习笔记与编程作业：linearregression（线性回归）
...。在deeplearning高质量群里面听一些前辈说。不必深究其它机器学习的算法。能够直接来学dl。于是近期就開始搞这个了，教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/tutorial/本节学 查看详情
ufldl学习笔记与编程作业：softmaxregression(vectorization加速)
...。在deeplearning高质量群里面听一些前辈说，不必深究其它机器学习的算法，能够直接来学dl。于是近期就開始搞这个了。教程加上matlab编程，就是完美啊。新教程的地址是：http://ufldl.stanford.edu/ 查看详情
[机器学习]ufldl笔记-convolutionalneuralnetwork-矩阵运算
前言 卷积神经网络的核心操作就是各种矩阵运算，在前向传播和反向传播中的各种形式的矩阵运算构成了CNN的计算体系，本文将在卷积神经网络（ConvolutionalNeuralNetwork）的背景下对相关的矩阵运算进行梳理ÿ... 查看详情
深度学习keras框架笔记之autoencoder类
深度学习Keras框架笔记之AutoEncoder类使用笔记 keras.layers.core.AutoEncoder(encoder,decoder,output_reconstruction=True,weights=None) 这是一个用于构建很常见的自动编码模型。如果参数output_reconstruction=True，那么dim(in 查看详情
深度学习笔记十二：自编码器autoencoder
参考：reducingthedimensionalityofdatawithneuralnetworks 查看详情
深度学习笔记十二：自编码器autoencoder
参考：reducingthedimensionalityofdatawithneuralnetworks 查看详情
机器学习笔记：ｖａｅ
1VAE介绍 在机器学习笔记：autoencoder_UQI-LIUWJ的博客-CSDN博客 中，我们知道了auto-encoder。但是auto-encoder有一个不足之处，就是因为auto-encoder不是一个概率模型，所以没法从学习的模型中生成新的数据... 查看详情
ufldl教程笔记及练习答案三（softmax回归与自我学习***）
1：softmax回归当p(y|x,theta)满足多项式分布，通过GLM对其进行建模就能得到htheta(x)关于theta的函数，将其称为softmax回归。教程中已经给了cost及gradient的求法。须要注意的是一般用最优化方法求解參数theta的时候，採用的是贝叶斯学... 查看详情
ufldl讲义十五：从自我学习到深层网络
注：本讲义来源为NG教授的机器学习课程讲义，详见http://deeplearning.stanford.edu/wiki/index.php 查看详情