《andrewng深度学习》笔记2

那一抹风 那一抹风     2022-10-16     314

关键词:

神经网络基础

1.图计算

技术分享图片

计算时有两种方法:正向传播和反向传播。正向传播是从底层到顶层的计算过程,逐步推出所求公式。反向传播是从顶层到底层,从已知的式子求出因变量的影响关系。

在这里用到的反向传播算法就是为了通过似然函数(成本函数)来确定要计算的参数。

技术分享图片

在这里,logistic回归应用了反向传播,主要是为了方便梯度下降算法的计算,来逐次逼近w和b。通过图片看到,反向传播其实就是微积分里的“链式法则”。这块可能要补补微积分才能更深入学习。这里先跳过,反正是明白了logistic回归中的梯度下降应用了反向传播计算。

2.向量化

技术分享图片

向量化的目的是加快计算速度。避免for之类的循环,消耗性能。在python中,使用np.function()函数实现向量化。

通过向量方式的形式表达,可以简化计算,比如使用Python中的numpy库,针对这些计算可以简化为1行代码,减少for之类的循环编写,简化计算。说到这里,很有必要深入学学python。

3.Python中numpy的应用

技术分享图片

这里只是Python对向量化操作的一个例子,详细是在numpy库中,里面的函数主要是为了矩阵等计算,方便代码开发,加快速度。

Python中向量化的实质是,会把R变为向量化(SMID 并行多数据流),主要是把变量变为广播形式。

技术分享图片

在logistic回归中,上图左边是一般的计算流程,右边是经过向量化后的计算流程,很明显减少for循环,只要是用到了numpy库里的函数。

但是在实际中药用好numpy库的向量化,里面有一些坑。在行向量和列向量求和应该是出错的,但是在python的numpy库中会得到一个矩阵。所以在使用时要小心谨慎。

论文笔记-andrewng深度学习心电论文

...ionwithConvolutionalNeuralNetworks推荐程度:*****推荐理由:来自andrewNG团队一句话总结该论文主要做的事情建立了从单导联的心电信号到14种心脏疾病的模型,模型是一个34层的CNN网络。文章细节描述数据训练集:来自29163个人的64121个... 查看详情

《andrewng深度学习》笔记4

浅层神经网络1.激活函数在神经网络中,激活函数有很多种,常用的有sigmoid()函数,tanh()函数,ReLu函数(修正单元函数),泄露ReLu(泄露修正单元函数)。它们的图形如下:sigmoid()激活函数,范围是y属于{0,1},所以0<=y<=1。但是sig... 查看详情

《andrewng深度学习》笔记5

深层神经网络深层神经网络的组成如图,这里主要是深层神经网络符号的定义。为什么要用深层神经网络,有什么好处?这里主要是分层的思想。在软件工程中,如果问题遇到困难,一般是通过“加多”一层的方法来解决,通过... 查看详情

《andrewng深度学习》笔记3

浅层神经网络初步了解了神经网络是如何构成的,输入+隐藏层+输出层。一般从输入层计算为层0,在真正计算神经网络的层数时不算输入层。隐藏层实际就是一些算法封装成的黑盒子。在对神经网络训练的时候,就是对神经网络... 查看详情

andrewng机器学习课程笔记之逻辑回归

AndrewNg机器学习课程笔记(二)之逻辑回归版权声明:本文为博主原创文章,转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7364598.html 前言学习了AndrewNg课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客... 查看详情

andrewng机器学习课程笔记之应用机器学习的建议

AndrewNg机器学习课程笔记(五)之应用机器学习的建议版权声明:本文为博主原创文章,转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7368472.html 前言学习了AndrewNg课程,开始写了一些笔记,现在写完第5章了,先把这5章的内... 查看详情

斯坦福大学andrewng-机器学习笔记--异常检测

  大概用了一个月,AndrewNg老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结。笔记难免有遗漏和误解,欢迎讨论。  鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢... 查看详情

andrewng机器学习课程笔记之神经网络

AndrewNg机器学习课程笔记(四)之神经网络版权声明:本文为博主原创文章,转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7365730.html前言学习了AndrewNg课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,... 查看详情

斯坦福大学andrewng-机器学习笔记--神经网络模型

  大概用了一个月,AndrewNg老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结。笔记难免有遗漏和误解,欢迎讨论。  鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢... 查看详情

斯坦福大学andrewng-机器学习笔记--机器学习算法的选择与评估

  大概用了一个月,AndrewNg老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结。笔记难免有遗漏和误解,欢迎讨论。  鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢... 查看详情

斯坦福大学andrewng-机器学习笔记--聚类&降维

  大概用了一个月,AndrewNg老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结。笔记难免有遗漏和误解,欢迎讨论。  鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢... 查看详情

深度学习之一:神经网络与深度学习

...度学习之一:神经网络与深度学习1简介本系列内容为AndrewNG的深度学习课程的笔记。深度学习课程在coursera及网易云课堂上都可以免费学习到。课程共计5部分,分别介绍了深度学习,深度学习的优化,深度学习项... 查看详情

斯坦福大学andrewng-机器学习笔记--支持向量机(svm)

  大概用了一个月,AndrewNg老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结。笔记难免有遗漏和误解,欢迎讨论。  鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢... 查看详情

斯坦福大学andrewng-机器学习笔记--逻辑回归&正则化

  大概用了一个月,AndrewNg老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结。笔记难免有遗漏和误解,欢迎讨论。  鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢... 查看详情

coursera-andrewng(吴恩达)机器学习笔记——第四周

神经网络1.神经网络发展的动力:在逻辑回归解决复杂的分类问题时,我们使用属性的一些组合来构造新的属性(x12,x1x2,x22...),这样就会造成属性的数目n过多,带来了大量的运算,甚至造成过拟合的现象。在计算机视觉中对物... 查看详情

斯坦福大学andrewng-机器学习笔记--单变量&多变量线性回归

  大概用了一个月,AndrewNg老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结。笔记难免有遗漏和误解,欢迎讨论。  鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢... 查看详情

machinelearning|andrewng|coursera吴恩达机器学习笔记

Week1:MachineLearning: AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperienceE. Supe 查看详情

coursera-andrewng(吴恩达)机器学习笔记——第一周

一.初识机器学习何为机器学习?Acomputerprogramissaidtolearn fromexperienceEwithrespecttosometaskT andsomeperformancemeasureP,ifits performanceonT,asmeasuredbyP,improves withexperienceE.理解:通过实验E,完 查看详情