关键词：

深度学习之一：神经网络与深度学习

---

1 简介

本系列内容为Andrew NG的深度学习课程的笔记。深度学习课程在coursera及网易云课堂上都可以免费学习到。课程共计5部分，分别介绍了深度学习，深度学习的优化，深度学习项目的演进策略，卷积神经网络和循环神经网络。本系列笔记也分为5部分，分别与之相对应。

本篇内容主要介绍如何使用numpy，通过梯度下降实现后向传播算法，完成从简单的单个神经元，单层直到多层全连接神经网络的训练实现方法。

2 Logistic回归

2.1 记法说明

$x^(i)$ 上标表示训练集中第$i$个数据
$x_j^(i)$ 若$x\\in R^n$，下标表示向量$x^(i)$的第$j$维分量
$y^(i)$ 表示第$i$个数据对应的监督学习的标签

训练数据集表示为：$\\left[ (x^(1),y^(1)),(x^(2),y^(2)),...(x^(m),y^(m)) \\right ]$

为了便于运算，将X和Y其表示为矩阵的形式，约定每一列为一个训练数据
$X=\\left[ \\matrixx^(1) & x^(2) & ... & x^(m) \\right]$， 其维度为(dim($x$),m)
$Y=\\left[ \\matrixy^(1) & y^(2) & ... & y^(m) \\right]$，其维度为(1,m)
$\\widehat y^(i)$ 为算法针对第$i$组输入预测的输出

2.2 Logistic回归

Logistic回归是一种有监督的学习算法，可以用来解决二分类问题。神经网络中每个神经元都是一个logistic回归单元。下图来表示逻辑回归的思想：

以判断图片是否为猫的图片这个二分类问题为例。可以把图片表示为一个由n个特征组成的向量$x$，算法输出当$x$作为输入时，结果为猫的概率。即 $$\\widehat y = P(y=1|x)=\\sigma (w^Tx + b)$$

其中$\\sigma$为sigmoid激活函数：$\\sigma(z) = \\frac11+e^-z$
其函数图像为：
其导数为： σ′=σ∗(1−σ查看详情

14深度学习-卷积

...：是一种实现机器学习的技术，适合处理大数据2.全连接神经网络与卷积神经网络的联系与区别。联系：　　全连接神经网络与卷积神经网络都是通过一层 查看详情

《神经网络与深度学习》受限玻尔兹曼机

转自：http://blog.csdn.net/qiao1245/article/details/50932519 谈到神经网络，就不得不提到最近非常火的深度学习。那么什么是深度学习？它与神经网络的关系是什么？深度学习的基本原理和常用算法是什么？我将在这篇中详细解答。什... 查看详情

14深度学习-卷积(代码片段)

...实现机器学习的技术；它适合处理大数据。 2.全连接神经网络与卷积神经网络的联系与区别。联系：　　全连接神经网络与卷积神经网络都是通过一层一层的节点组织起来的，和全连接神经网 查看详情

神经网络与深度学习摘要第1章绪论

【神经网络与深度学习摘要】第1章绪论文章目录【神经网络与深度学习摘要】第1章绪论1.人工智能1.1图灵测试1.2人工智能的主要领域1.3人工智能的发展历史1.4人工智能的流派2.机器学习2.1机器学习定义2.2使用机器学习模型步骤3.... 查看详情

深度学习与图神经网络核心技术实践应用高级研修班-day1深度学习的发展历史（完整版）

...发展历史1.深度学习发展历史2.深度学习的发展趋势3.人工神经网络4.模型与算法4.1前馈神经网络4.2前馈神经网络特点4.3前馈神经网络结构4.4BP神经网络4.5BP网络结构4.6BP网络学习算法4.6.1信号的前向传递过程4.6.1误差方向传导过程1.... 查看详情

13.深度学习-卷积

...众多应用，并拓展了人工智能的领域范畴。 2.全连接神经网络与卷积神经网络的联系与区别。联系 查看详情

机器学习网络神经网络与深度学习-6深度神经网络（deepneuralnetworksdnn）

目录深度神经网络（deepneuralNetworksDNN）DNN的底层原理深度学习网络的问题：案例1：书写数字识别（梯度下降法详解）男女头发长短区分案例（为什么隐藏层追求深度）：我的主页：晴天qt01... 查看详情

14深度学习-卷积(代码片段)

...一种实现机器学习的技术和学习方法。 2. 全连接神经网络与卷积神经网络的联系与区别。解析：卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样，卷积神经网络中的每一个节 查看详情

「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总

...于深度学习的相关问题，并提供一些微不足道的人工神经网络模型设计思路。专栏地址：「深度学习一遍过」必修篇 目录1Boosting与Bagging2卷积层、激活层、池化层作用3卷积神经网络特性4正则化相关知识5评测指标相关知... 查看详情

「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总

...于深度学习的相关问题，并提供一些微不足道的人工神经网络模型设计思路。专栏地址：「深度学习一遍过」必修篇 目录1Boosting与Bagging2卷积层、激活层、池化层作用3卷积神经网络特性4正则化相关知识5评测指标相关知... 查看详情

14深度学习-卷积(代码片段)

...实现众多应用，并拓展了人工智能的领域范畴。2.全连接神经网络与卷积神经网络的联系与区别。联系：（1）全 查看详情

14深度学习-卷积

...他们的关系不是互相独立，而是一环套着一环。2.全连接神经网络与卷积神经网络的联系与区别。答：卷积神经网络的输入输出以及训练的流程和全连接神经网络也基本一致。全连接神经网络和卷积神经网络的唯一区别 查看详情

深度学习理论与实战pytorch实现

...容（入门）02.Python基础（入门）03.PyTorch基础（入门）04.神经网络（进阶）05.卷积神经网络（进阶）06.循环神经网络（进阶）07.生成对抗网络GAN（进阶）08.强化学习（进阶）09.毕业项目 下载地址:深度学习理论与实战PyTorch实现 查看详情

人工智能python深度学习库都有哪些

...。其核心是一个数学表达式的编译器，专门为处理大规模神经网络训练的计算而设计。Theano很好地整合了Numpy，可以直接使用Numpy的Ndarray，使得API接口学习成本大为降低;其计算稳定性好，可以精准地计算输出值很小的函数;可动... 查看详情

深度学习神经网络介绍

目录1深度学习简介2神经网络介绍1深度学习简介在介绍深度学习之前，我们先看下这幅图：人工智能>机器学习>深度学习深度学习是机器学习的一个子集，也就是说深度学习是实现机器学习的一种方法。与机器学... 查看详情

《python深度学习》第一章笔记

...作原理1.2深度学习之前：机器学习简史概率建模早期神经网络核方法决策树、随机森林与梯度提升机回到神经网络1.1人工智能、机器学习、深度学习什么是人工智能、机器学习与深度学习？这三者之间有什么关系？人... 查看详情

2.深度学习与神经网络基础

1.人工智能、机器学习和深度学习的概念及关系人工智能（ArtificialIntelligence，AI）——为机器赋予人的智能，即计算机能够像人类一样完成更智能的工作。机器学习是实现人工智能的一种手段。何为“学习”？“如果一个程序可... 查看详情