关键词：
神经网络
神经网络是深度学习的核心，在了解神经网络之前，我们先来了解几个概念：
智能( Intelligence )是个体有目的的行为,合理的思维以及有效的适应环境的综合能力。或
者说智能是个体认识客观事物和运用知识解决问题的能力。
人工智能( Artificial Intelligence, AI)最初在1956年被引入,它主要研究怎样让计算机模
仿人脑从事推理、设计、思考、学习等思维活动,以解决和处理较复杂的问题。简单的讲,人
工智能就是研究如何让计算机模仿人脑进行工作。
人工神经网络( Artificial Neural Network , ANN)是一种旨在模仿人脑结构及其功能的脑
式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽
象,并建立某种简化模型。简单的讲,它是一种数学模型 ,可以用电子线路来实现,也可以通
过计算机程序来模拟，是人工智能的一种研究方法。
人工智能( Artificial Intelligence , AI)最初在1956年被引入,它主要研究怎样让计算机模
仿人脑从事推理、设计、思考、学习等思维活动,以解决和处理较复杂的问题。简单的讲,仍
贡智能就是研究如何让j计算机模仿人脑进行工作。
由于研究的出发点、方法学以及应用领域的不同,有多个代表性的流派:
- 符号主义学派: Newell和Simon在1967年提出的假说,认为人工智能源于数学逻辑,
通过数学逻辑来描述智能行为,后来发展了启发式算法->专家系统- >知识工程的理论。 - 联接主义学派:代表人物为McCulloch和Pitts ,认为人工智能源于仿生学,特别是人脑的
研究,并提出了MP模型,后来基于该模型衍生出人工神经网络等 - 行为主义学派:认为人工智能源于控制论, Wiener等提出的控制论和自组织系统等,立足
于模拟人在控制过程中的智能行为和作用, 如自组织、自寻优、自适应、自学习等
人类神经元
我们了解一下人类神经元的工作原理：
神经元是脑组织的基本单元,是神经系统结构与功能的单位。不同的神经元形态不同功能也有
差异，其共性的结构简化如下:
- 细胞体:神经元主体,由细胞核、细胞质、细胞 膜等组成,细胞膜对细胞液中的不同离子通透性不同,使得产生离子浓度差,从而出现内负外正的静息电位
- 树突: 通过树突接受来自其他神经元的输入信号
- 轴突: 传出细胞体产生的输出电化学信号
- 突触: 神经元间通过一个的轴突末梢和其他神经元的细胞体或者树突进行通信连接，相当于神经元之间的输入输出接口
突触是神经元的输入和输出接口,树突和细胞体作为输入端,接收突出点的输入信号;细胞体相当于一个处理器,对各树突和细胞体各部位收到的来自其他神经元的输入信号进行组合,并在一定条件下触发,产生一个输出信号,输出信号沿轴突传至末梢, 轴突末梢作为输出端通过突触将这以输出信号传向其他神经元。
生物神经元的信息的产生、传递和处理是一种电化学活动 ,其机制为:
- 信息产生:在某一给定时刻 ,神经元总是处于静息、兴奋和抑制三种状态之一-。在外界的刺激下,当
神经元的兴奋程度大于某个阈电位时, 神经元被激发而发出神经脉冲。 - 传递与接收:神经脉冲信号沿轴突传向其末端的各个分支，通过突触完成传递与接收。突触有兴奋性突触和抑制性性突触两种,当兴奋性突触的电位超过某个阈电位时, 后-一个神经元就有神经脉冲输
出，从而把前一个神经元的信息传递给了后一一个神经元。 - 信息整合:接收各个轴突传来的脉冲输入,根据输入可到达神经元的不同部位,输入部位不同， 对神
经元影响的权重也不同。在同一时刻产生的刺激所3 |起的电位变化大致等于各单独刺激3 |起的电位变化的代数和。神经元对空间和时间上对输入进行积累和整合加工，从而决定输出的时机和强弱 - 生物神经网络:由多个生物神经元以确定方式和拓扑结构互相连接即形成生物神经网络,是一 种更为灵巧、复杂的生物信息处理系统,在宏观上呈现出复杂的信息处理能力。
M-P模型
1943年心理学家McCulloch和数学家w. Pitts基于生物神经元的特点,提出了M-P模型。模型通过对生物神经元信息处理过程进行了简化和概括。
- 每个神经元都是多输入单输出的信息处理单元
- 神经元的输入分为兴奋性输入和抑制性输入两种类型
- 神经元具有空间整合特性和阈值特性
- 神经元输入与输出间有固定的时间延迟
- 忽略时间整合作用,忽略兴奋期后的不应期
激活函数
激活函数(Activation Function) :也叫连接函数、传递函数、变换函数或者激励函数。用来模拟神经元输出与其激活状态之间的联系:输入达到某个阈值后达到激活状态,否则为抑制态。不同的激活函数,会使神经元具有不同的信息处理特性。对于神经网络来讲，激活函数的主要作用就是进行线性变换,增加系统的非线性表达能力。
sign函数
sigmoid函数
Tanh函数
arctan函数
神经网络分类
按照信息流方向可分为前馈性网络和反馈性网络
- 前馈型网络:网络信息从输入层到各隐藏层再到输出层逐层前进
- 反馈型网络:反馈网络中所有节点都具有信息处理功能，并且每个节点既可以接收输入同时又可以进行输出。
前馈神经网络
前馈神经网络( FeedForward NN ) : 是一种最简单的神经网络,采用单向多层结构,各神经元分层排列，每个神经元只与前一-层的神经元相连。接收前一层的输出,并输出给下-层，各层间没有反馈。
前馈网络包括三类节点:
- 输入节点( Input Nodes) :外界信息输入,不进行任何计算，仅向下一层节点传递信息
- 隐藏节点 ( Hidden Nodes) : 接收上一层节点的输入,进行计算，并将信息传到下一层节点
- 输出节点( Output Nodes) : 接收上-层节 点的输入，进行计算,并将结果输出
输入层和输出层必须有,隐藏层可以没有,即为单层感知器，隐藏层也可以不止-层,有隐藏层的前馈网络即多层感知器
反馈神经网络
反馈神经网络( FeedBack NN ) : 又称递归网络、回归网络,是一种将输出经过一 步时移再接 入到输入层的神经网络系统。这类网络中,神经元可以互连,有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、EIman神经网络、 Boltzmann机等。
前馈神经网络和反馈神经网络的主要区别:
- 前馈神经网络各层神经元之间无连接,神经元只接受上层传来的数据,处理后传入下一层,数据正向流动;反馈神经网络层间神经元有连接,数据可以在同层间流动或反馈至前层
- 前馈神经网络不考虑输出与输入在时间上的滞后效应,只表达输出与输入的映射关系;反馈神经网络考虑输出与输入之间在时间上的延迟,需要用动态方程来描述系统的模型。
- 前馈神经网络的学习主要采用误差修正法(如BP算法) ,计算过程一般比较慢,收敛速度也比较慢;反馈神经网络主要采用Hebb学习规则,一般情况下计算的收敛速度很快
- 相比前馈神经网络,反馈神经网络更适合应用在联想记忆和优化计算等领域
干货|深入理解深度学习中的激活函数(代码片段)
...，以及各个激活函数的优缺点。1.什么是激活函数？生物神经网络是人工神经网络的起源。然而，人工神经网络（ANNs）的工作机制与大脑的工作机制并不是十分的相似。不过在我们了解为什么把激活函数应用在人工神经网络中之... 查看详情
深度学习卷积神经网络(cnn)简介（入门级好文）
卷积神经网络CNN简介学习目标1.更复杂抽象的数据2.激活函数的选择2.1为什么需要非线性的激活函数2.2更多发展3.为什么需要卷积神经网络3.1感受野4.边缘检测学习目标目标了解线性网络以及多层网络模型缺陷知道为什么需要非线... 查看详情
深度学习核心技术精讲100篇（六十五）-万字长文从relu到gelu通讲神经网络激活函数
...们要使用一个激活函数对这个输出进行缩放。激活函数是神经网络中一个至关重要的部分。在这篇长文中，我将全面介绍六种不同的激活函数，并阐述它们各自的优缺点。我会给出激活函数的方程和微分方程，还会给出它们的图... 查看详情
一文带你全面了解rxjava
工作需要，刚好在学习RxJava网络请求框架，网上搜了一些关于RxJava的教程，但都并不是很好理解，所幸最后找到了几篇有助于初学者了解RxJava的文章，于是结合自己的理解，重新整理成一篇发给大家，希望通过我的咀嚼，能够帮... 查看详情
一文让你彻底了解卷积神经网络
介绍卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(convolutionallayer)和池化层(poolinglayer)。对比：卷积神经网... 查看详情
一文让你彻底了解卷积神经网络
卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(convolutionallayer)和池化层(poolinglayer)。对比：卷积神经网络、... 查看详情
《andrewng深度学习》笔记4
浅层神经网络1.激活函数在神经网络中，激活函数有很多种，常用的有sigmoid()函数，tanh()函数，ReLu函数(修正单元函数)，泄露ReLu(泄露修正单元函数)。它们的图形如下：sigmoid()激活函数，范围是y属于{0,1}，所以0<=y<=1。但是sig... 查看详情
深度学习实践系列-搭建notmnist的深度神经网络
如果你希望系统性的了解神经网络，请参考零基础入门深度学习系列 ，下面我会粗略的介绍一下本文中实现神经网络需要了解的知识。什么是深度神经网络？ 神经网络包含三层：输入层（X）、隐藏层和输出层：f(x)每层... 查看详情
深度学习基础之激活函数(代码片段)
...数-双曲正切函数参考激活函数激活函数是连接感知机和神经网络的桥梁。激活函数以阈值为界，一旦输入超过阈值，就切换输出。这样的函数称为“阶跃函数”。因此，可以说感知 查看详情
一文带你深入了解http
http的发展史在学习网络之前，了解它的历史能够帮助我明白为何它会发展为如今这个样子，能让我有探究它的兴趣。下面的这张图片就展示了“互联网”诞生至今的发展历程http是什么？HyperTextTransferProtocol直译为“超... 查看详情
深度学习中激活函数的用途(代码片段)
深度学习中激活函数的概念激活函数，即ActivationFunction,有时候也称作激励函数。它是为了解决线性不可分的问题引出的。但是也不是说线性可分就不能用激活函数，也是可以的。它的目的是为了使数据更好的展现出我们... 查看详情
《深度学习入门》——神经网络(代码片段)
感知机需要人工设定权重，而神经网络可以自动地从数据中学习到合适的权重参数。激活函数（activationfunction）——将输入信号的总和转换为输出信号。激活函数的作用在于决定如何激活输入信号的总和。阶跃函数—&md... 查看详情
01.深度学习基本概念
一、神经网络二、激活函数三、评价神经网络的效果四、梯度下降算法五、参数与超参数区别六、习题一、神经网络neuralnetworkw11a1+w12a2+w13a3+bias1=b1w21a1+w22a2+w23a3+bias2=b2从网络层1到网络层2，可能是线性运算，可能是非线性运算。... 查看详情
都2021年了，不会还有人连深度学习都不了解吧-激活函数篇
一、前言本人目前研一，研究方向为基于深度学习的医学图像分割，转眼间已接触深度学习快1年，研一生活也即将结束，期间看了大量的英文文献，做了大量的实验，也算是对深度学习有了一个初步的了... 查看详情
深度学习激活函数
...函数 激活函数（Activationfunctions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图示，在神经元中，输入的inputs通过加... 查看详情
不知道该学那一个语言？一文带你了解三门语言
名字：阿玥的小东东学习：Python。正在学习c++主页：阿玥的小东东目录粉丝留言，回答问题1.首先，初步了解 查看详情
深度学习-------算法岗面试题
●BatchNormalization的作用参考回答：神经网络在训练的时候随着网络层数的加深,激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近,从而导致在反向传播时低层的神经网络的梯度消失。而BatchNormalization的作用是通... 查看详情
都2021年了，不会还有人连深度学习都不了解吧-卷积篇
...的了解。在此基础上，我们趁热打铁，继续学习深度学习其它必须的知识。该篇文章讲述卷积操作及其它衍生出的操作，我愿称之为最强！卷积自提出以来，凭借其优异的提取特征的能力，已逐渐称为现代... 查看详情