正文

ng机器学习视频笔记——神经网络基础

lin_h  lin_h  2022-10-13  450

关键词：

ng机器学习视频笔记（六）

——神经网络基础

（转载请附上本文链接——linhxx）

一、概述

神经网络，可以理解为输入的内容，经过一系列的内部的处理，得到输出的假设函数。简单的神经网络如下图：

可以看出，三个输入，经过中间的变化，得到输出。中间橙色的圈，称为神经元。神经元可以分层，下图是三层神经网络模型：

其中，第一层蓝色的圈，叫做输入层；中间一层橙色的圈叫做隐藏层；右边的橙色圈叫做输出层。神经网络有一个输入层和一个输出层，隐藏层可以有多层。神经元的连接方式，称为神经网络的架构。

二、基本公式

上图的三层神经网络，a_i^(j)表示的是第j层、第i个变量。每个变量都是由上一层计算得到的，计算公式如下图：

用z_i^(j)表示对应的a_i^(j)的式子中的g函数内部的式子，可以看出，神经元实质上就是输入的变量经过若干个线性变换，得到输出。

上图的xi，都省略了x0，x0一直都是1。另外，g(z)即logistic回归中的g(z)函数，即g(z)=1/(1+e^-^θTx)

三、具体例子

现要使用神经网络实现与、或、非、异或的逻辑运算。

1、与

假设有两个特征值x1、x2，他们的取值范围是0或1，y=x1&&x2，由g(z)的公式，可以大致推导出，z=4时y约等于1，z=-4时y约等于0。则可以假设h(x)=g(z)=g(-30+20x1+20x2)（其中x0=1），神经网络如下图所示：

则此时即表示实现了一个具有“与”功能的神经元。

2、或

类似与，或可以用如下假设方式：

3、非

非的表示方式如下：

4、非异或

非异或（XNOR），即异或的结果再进行非操作。此时，用到了三层的神经网络，中间一层是隐藏层，用于计算异或，并把结果传到第三层进行处理后输出。

根据异或的公式，可以知道x1 XOR x2，则x1或x2中1个是1的时候结果是1，否则是0，则XNOR则是x1和x2都是1，或者x1和x2都不是1的情况。

因此，第二层，则计算了x1和x2都是1，或者x1和x2都不是1的情况。分别是红色的圈和蓝色的圈的表示。

第三层进行或运算，接收第二层的结果。

四、多变量情况

多变量情况，类似上面的内容，下面是例如要区分一个图片是轿车、人、摩托车、卡车的简易神经网络（没有具体过程，就是粗略模型）。

实际上，就是将输入的图片的像素点，经过若干隐藏层的处理后，进行输出。

——written by linhxx

更多最新文章，欢迎关注微信公众号“决胜机器学习”，或扫描右边二维码。

ng机器学习视频笔记——svm理论基础

ng机器学习视频笔记（九）——SVM理论基础（转载请附上本文链接——linhxx）一、概述支持向量机（supportvectormachine，SVM），是一种分类算法，也是属于监督学习的一种。其原理和logis... 查看详情

ng机器学习视频笔记（十四）——推荐系统基础理论

ng机器学习视频笔记（十三）——推荐系统基础理论（转载请附上本文链接——linhxx）一、概述推荐系统（recommendersystem），作为机器学习的应用之一，在各大app中都有应用。这里以... 查看详情

ng机器学习视频笔记——线性回归代价函数梯度下降基础

ng机器学习视频笔记（一）——线性回归、代价函数、梯度下降基础（转载请附上本文链接——linhxx）一、线性回归线性回归是监督学习中的重要算法，其主要目的在于用一个函数表... 查看详情

斯坦福大学andrewng-机器学习笔记--神经网络模型

　　大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。　　鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情

ng机器学习视频笔记——logistic回归

ng机器学习视频笔记（四）——logistic回归（转载请附上本文链接——linhxx）一、概述1、基本概念 logistic回归（logisticregression），是一个分类（classification）算法（注意不是回归算法，... 查看详情

ng机器学习视频笔记（十六）——从图像处理谈机器学习项目流程

ng机器学习视频笔记（十六）——从图像处理谈机器学习项目流程（转载请附上本文链接——linhxx）一、概述这里简单讨论图像处理的机器学习过程，主要讨论的是机器学习的项目流... 查看详情

ng机器学习视频笔记——k-均值算法理论

ng机器学习视频笔记（十一）——K-均值算法理论（转载请附上本文链接——linhxx）一、概述 K均值（K-Means）算法，是一种无监督学习（Unsupervisedlearning）算法，其核心是聚类（Clus... 查看详情

《深入浅出图神经网络》gnn原理解析☄学习笔记神经网络基础(代码片段)

...图神经网络》GNN原理解析☄学习笔记（二）神经网络基础文章目录《深入浅出图神经网络》GNN原理解析☄学习笔记（二）神经网络基础机器学习基本概念机器学习分类机器学习流程概述常见的损失函数神经网络神... 查看详情

ng机器学习视频笔记（十三）——异常检测与高斯密度估计

ng机器学习视频笔记（十三）——异常检测与高斯密度估计（转载请附上本文链接——linhxx）一、概述异常检测（anomalydetection），主要用于检查对于某些场景下，是否存在异常内... 查看详情

ng机器学习视频笔记——过拟合与正则化

ng机器学习视频笔记（五）——过拟合与正则化（转载请附上本文链接——linhxx）一、过拟合和欠拟合1、概念当针对样本集和特征值，进行预测的时候，推导θ、梯度下降等，都在一... 查看详情

ng机器学习视频笔记——svm进一步认识

ng机器学习视频笔记（十）——SVM进一步认识（转载请附上本文链接——linhxx）一、概念 svm称为支持向量，所谓的支持向量，就是在后面划分最大间距的时候，参与运算的向量，且最... 查看详情

ng机器学习视频笔记——pca实现样本特征降维

ng机器学习视频笔记（十二）——PCA实现样本特征降维（转载请附上本文链接——linhxx）一、概述所谓降维（dimensionalityreduction），即降低样本的特征的数量，例如样本有10个特征... 查看详情

ng机器学习视频笔记——机器学习系统调试(cv查准率与召回率等)

ng机器学习视频笔记（八）——机器学习系统调试(cv、查准率与召回率等) （转载请附上本文链接——linhxx）一、样本集使用方案1、测试集为了验证系统设计的是否准确，通常需要预... 查看详情

机器学习笔记-cnn-神经网络

转自：http://blog.csdn.net/kevin_bobolkevin/article/details/50494034深度学习之一---什么是神经网络刚开始学习深度学习，最近把所学的整理了一下，也是对所学的一个总结。深度学习的概念源于人工神经网络的研究。为了更好地理解深度学... 查看详情

ng机器学习视频笔记——梯度下降算法解释以及求解θ

ng机器学习视频笔记（二）——梯度下降算法解释以及求解θ （转载请附上本文链接——linhxx）一、解释梯度算法梯度算法公式以及简化的代价函数图，如上图所示。 ... 查看详情

视觉机器学习笔记------cnn学习

卷积神经网络是第一个被成功训练的多层神经网络结构，具有较强的容错、自学习及并行处理能力。一、基本原理1.CNN算法思想卷积神经网络可以看作为前馈网络的特例，主要在网络结构上对前馈网络进行简化和改... 查看详情

视觉机器学习读书笔记--------bp学习

反向传播算法（Back-PropagtionAlgorithm）即BP学习属于监督式学习算法，是非常重要的一种人工神经网络学习方法，常被用来训练前馈型多层感知器神经网络。一、BP学习原理1、前馈型神经网络是指网络在处理信息时，... 查看详情

正文