关键词：
浅层神经网络
1.激活函数
在神经网络中，激活函数有很多种，常用的有sigmoid()函数，tanh()函数，ReLu函数(修正单元函数)，泄露ReLu(泄露修正单元函数)。它们的图形如下：
sigmoid()激活函数，范围是y属于{0, 1}，所以0<= y <=1。但是sigmoid函数平均收敛是1，最后的效果可能不太好。
在这个基础上有了tanh激活函数。图形如下：
主要是把sigmoid函数平移得到的。但是这样会有了优化，最终的平均收敛值为0，训练效果更好。所以在实际中，一般是选用tanh代替sigmoid激活函数。
常用的还有ReLu激活函数图形如下。
ReLu激活函数的升级版是泄露ReLu激活函数，图形如下：
通过常用激活函数的对比，在实际中调参数的时候，还要结合交叉验证来选择最优的参数。
2.非线性激活函数
线性激活函数就是输入线性关系输出。一半输出层是线性激活函数。但是在隐藏层单元中如果要实现复杂的神经网络要用到非线性激活函数，所以不是简单的相加，相减等关系。
3.激活函数的导数
sigmoid函数的导数如下。通过图形和计算得知，sigmoid函数用在神经网络中，学习速度有最大值和收敛值，而且平均收敛值是1。 
tanh函数的导数如下。通过图形和计算得知，tanh函数通过sigmoid函数平移得到，虽然学习速度基本一样，但是最终的平均收敛值不一致，tanh是0，因此，最终的模型学习效果更好。 
ReLu函数的导数如下。通过图形和计算得知，ReLu函数的学习速度没有收敛值，不会随着输入特征的维度增大而减低，因此，在实际中，ReLu激活函数使用很广泛。 
4.随机初始化
随机初始化在神经网络中很重要，有时候如果初始化参数取不对，会造成没有学习效果，因此在初始化神经网络的参数时，需要通过计算来确定大概的初始化参数。有一个方法是随机初始化。
《andrewng深度学习》笔记1
深度学习概论1.什么是神经网络？2.用神经网络来监督学习3.为什么神经网络会火起来？1.什么是神经网络？深度学习指的是训练神经网络。通俗的话，就是通过对数据的分析与计算发现自变量与因变量的映射关系(神经网络模型)... 查看详情
《andrewng深度学习》笔记2
神经网络基础1.图计算计算时有两种方法：正向传播和反向传播。正向传播是从底层到顶层的计算过程，逐步推出所求公式。反向传播是从顶层到底层，从已知的式子求出因变量的影响关系。在这里用到的反向传播算法就是为了... 查看详情
《andrewng深度学习》笔记5
深层神经网络深层神经网络的组成如图，这里主要是深层神经网络符号的定义。为什么要用深层神经网络，有什么好处？这里主要是分层的思想。在软件工程中，如果问题遇到困难，一般是通过“加多”一层的方法来解决，通过... 查看详情
《andrewng深度学习》笔记3
浅层神经网络初步了解了神经网络是如何构成的，输入+隐藏层+输出层。一般从输入层计算为层0，在真正计算神经网络的层数时不算输入层。隐藏层实际就是一些算法封装成的黑盒子。在对神经网络训练的时候，就是对神经网络... 查看详情
andrewng机器学习课程笔记之逻辑回归
AndrewNg机器学习课程笔记（二）之逻辑回归版权声明：本文为博主原创文章，转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7364598.html 前言学习了AndrewNg课程，开始写了一些笔记，现在写完第5章了，先把这5章的内容放在博客... 查看详情
andrewng机器学习课程笔记之应用机器学习的建议
AndrewNg机器学习课程笔记（五）之应用机器学习的建议版权声明：本文为博主原创文章，转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7368472.html 前言学习了AndrewNg课程，开始写了一些笔记，现在写完第5章了，先把这5章的内... 查看详情
深度学习吴恩达andrewng
1.神经网络和深度学习课程地址：https://mooc.study.163.com/course/2001281002#/info2.改善深层神经网络：超参数调试、正则化以及优化3.结构化机器学习项目4.卷积神经网络卷积神经网络卷积以边缘检测为例，说明了不同的滤波器filter可以... 查看详情
斯坦福大学andrewng-机器学习笔记--异常检测
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
andrewng机器学习课程笔记之神经网络
AndrewNg机器学习课程笔记（四）之神经网络版权声明：本文为博主原创文章，转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7365730.html前言学习了AndrewNg课程，开始写了一些笔记，现在写完第5章了，先把这5章的内容放在博客中，... 查看详情
斯坦福大学andrewng-机器学习笔记--神经网络模型
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
斯坦福大学andrewng-机器学习笔记--机器学习算法的选择与评估
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
斯坦福大学andrewng-机器学习笔记--聚类&降维
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
深度学习之一：神经网络与深度学习
...度学习之一：神经网络与深度学习1简介本系列内容为AndrewNG的深度学习课程的笔记。深度学习课程在coursera及网易云课堂上都可以免费学习到。课程共计5部分，分别介绍了深度学习，深度学习的优化，深度学习项... 查看详情
斯坦福大学andrewng-机器学习笔记--支持向量机（svm）
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
斯坦福大学andrewng-机器学习笔记--逻辑回归&正则化
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
斯坦福大学andrewng-机器学习笔记--单变量&多变量线性回归
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
machinelearning|andrewng|coursera吴恩达机器学习笔记
Week1:MachineLearning: AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperienceE. Supe 查看详情
coursera-andrewng(吴恩达)机器学习笔记——第一周
一.初识机器学习何为机器学习？Acomputerprogramissaidtolearn fromexperienceEwithrespecttosometaskT andsomeperformancemeasureP,ifits performanceonT,asmeasuredbyP,improves withexperienceE.理解：通过实验E，完 查看详情