机器学习入门之四:机器学习的方法-神经网络(转载)

shaomine shaomine     2022-09-08     767

关键词:

  转自 飞鸟各投林

  神经网络

  

  神经网络(也称之为人工神经网络,ANN)算法是80年代机器学习界非常流行的算法,不过在90年代中途衰落。现在,携着“深度学习”之势,神经网络重装归来,重新成为最强大的机器学习算法之一。

 

  神经网络的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验,发现在视觉与语音的识别上效果都相当好。

在BP算法(加速神经网络训练过程的数值算法)诞生以后,神经网络的发展进入了一个热潮。BP算法的发明人之一是前面介绍的机器学习大牛Geoffrey Hinton(图1中的中间者)。

 

  具体说来,神经网络的学习机理是什么?简单来说,就是分解与整合。在著名的Hubel-Wiesel试验中,学者们研究猫的视觉分析机理是这样的。

  

  

  比方说,一个正方形,分解为四个折线进入视觉处理的下一层中。四个神经元分别处理一个折线。每个折线再继续被分解为两条直线,每条直线再被分解为黑白两个面。于是,一个复杂的图像变成了大量的细节进入神经元,

神经元处理以后再进行整合,最后得出了看到的是正方形的结论。这就是大脑视觉识别的机理,也是神经网络工作的机理。

 

  让我们看一个简单的神经网络的逻辑架构。在这个网络中,分成输入层,隐藏层,和输出层。输入层负责接收信号,隐藏层负责对数据的分解与处理,最后的结果被整合到输出层。每层中的一个圆代表一个处理单元,

可以认为是模拟了一个神经元,若干个处理单元组成了一个层,若干个层再组成了一个网络,也就是"神经网络"。

  

  

  在神经网络中,每个处理单元事实上就是一个逻辑回归模型,逻辑回归模型接收上层的输入,把模型的预测结果作为输出传输到下一个层次。通过这样的过程,神经网络可以完成非常复杂的非线性分类。

 

  下图会演示神经网络在图像识别领域的一个著名应用,这个程序叫做LeNet,是一个基于多个隐层构建的神经网络。通过LeNet可以识别多种手写数字,并且达到很高的识别精度与拥有较好的鲁棒性。

  

  

  右下方的方形中显示的是输入计算机的图像,方形上方的红色字样“answer”后面显示的是计算机的输出。左边的三条竖直的图像列显示的是神经网络中三个隐藏层的输出,可以看出,随着层次的不断深入,

越深的层次处理的细节越低,例如层3基本处理的都已经是线的细节了。LeNet的发明人就是前文介绍过的机器学习的大牛Yann LeCun(图1右者)。

 

  进入90年代,神经网络的发展进入了一个瓶颈期。其主要原因是尽管有BP算法的加速,神经网络的训练过程仍然很困难。因此90年代后期支持向量机(SVM)算法取代了神经网络的地位。

 

机器学习入门之四:机器学习的方法--svm(支持向量机)(转载)

...)    支持向量机算法是诞生于统计学习界,同时在机器学习界大放光彩的经典算法。   支持向量机算法从某种意义上来说是逻辑回归算法的强化:通过给予逻辑回归算法更严格的优化条件,支持向量机算法可以获得... 查看详情

转载零基础入门深度学习-参考文献

...习”,曾华军等译,机械工业出版社零基础入门深度学习(3)-神经网络和反向传播算法TomM.Mitchell,“机器学习”,曾华军等译,机械工业出版社CS224N/Ling284,NeuralNetworksforNamedEntityRecognitionLeCunetal.Gradient-BasedLearningAppliedtoDocumentRecognition1998零... 查看详情

转载零基础入门深度学习-参考文献

...习”,曾华军等译,机械工业出版社零基础入门深度学习(3)-神经网络和反向传播算法TomM.Mitchell,“机器学习”,曾华军等译,机械工业出版社CS224N/Ling284,NeuralNetworksforNamedEntityRecognitionLeCunetal.Gradient-BasedLearningAppliedtoDocumentRecognition1998零... 查看详情

机器学习笔记之四adaboost算法

...个策略将它们结合起来。个体学习器可以选择:决策树,神经网络。集成时可以所有个体学习器属于同一类算法:全是决策树,或全是神经网络;也可以 查看详情

机器学习入门

(原创文章,谢绝转载~)机器学习入门内容:1.过程:训练数据-》机器学习-》模型;  输入-》模型-》输出2.overfitting,过度拟合问题。为了符合所有的数据点,而导致过度拟合的模型。  confront过度拟合的常用方... 查看详情

机器学习如何入门

...授权,非商业转载请注明出处。数学很多人翻看任何一本机器学习的书,看到一推的数学公式就开始打退堂鼓了。开始搜索,提问“机器学习需要哪些数学知识?”然后得到的结果可能会是“矩阵分析,概率论,优化设计……”... 查看详情

怎么快速入门深度学习

...小代价函数。无监督学习,包括聚类等等,支持向量机、神经网络,这里推荐吴恩达老师的机器学习,通俗易懂,有利于小白学习。学完上面的内容就可以开始学习深度学习了,学习深度学习,深度学习主要是利用神经网络去解... 查看详情

[zz]机器学习的入门

...是基本按照下面的思路对着一个月做了一次总结:什么是机器学习?机器学习都有什么算法?个人对机器学习的三种境界理解推荐的学习路线推荐资源希望读者有所收获,另外,如果文中有任何理解上的错误,还望指正!什么是... 查看详情

《机器学习算法入门》即将上市出版,预计2020年6,7月份

...K-means聚类算法、随机森林、贝叶斯算法、支持向量机、神经网络(卷积神经网络、Keras深度学习框架)、人脸识别入门等。从最简单的常识出发来切入AI领域,打造无缝平滑的兴奋的学习体验。本书的读者,只需具备Python语言的... 查看详情

机器学习图解

...方法有10种1)回归2)分类3)聚类4)降维5)集成方法6)神经网络与深度学习7)迁移学习8)强化学习9)自然语言处理10)词嵌入  机器学习这个主题已经很普遍了,每个人都在谈论它,但很少有人能够透彻地了解它。当... 查看详情

机器学习简易入门-聚类

...前面的两篇文章中使用的线性回归和分类都属于有监督的机器学习(根据已有的数据训练模型,然后预测未知的数据),而无监督的学习则不是 查看详情

入门机器学习需要掌握哪些数据技能?

...着各种重要的问题。比如说90年代中期,人们已经开始用神经网络来扫描信用卡交易记录,从中找到欺诈行为;90年代末,Google把这项技术用到了网络搜索上。 但在那个时候,机器学习还和普通的工程师无缘。开发一个机器学习... 查看详情

转载spark学习&机器学习

继续Spark学习,开始的文章:http://www.cnblogs.com/charlesblc/p/6106603.html参考了这个系列的文章:http://www.cnblogs.com/shishanyuan/p/4699644.html《倾情大奉送--Spark入门实战系列》实验数据下载在上面那篇开始的文章有说明。 先看了上手实... 查看详情

机器学习---算法---神经网络入门(代码片段)

...热门的技术,绝对是人工智能。人工智能的底层模型是"神经网络"(neuralnetwork)。许多复杂的应用(比如模式识别、自动控制)和高级模型(比如深度学习)都基于它。学习人工智能,一定是从它开始。什么是神经网络呢?网上... 查看详情

机器学习入门

...频:偏理论推导:B站白板推导;白板系列笔记DataWhale:机器学习实践代码李宏毅《机器学习/深度学习》2021课程(国语版本);在线笔记书籍书籍推荐包括:西瓜书,公式推导南瓜书;机器学习方法(李航)深度学习深度学习是基于... 查看详情

google发布机器学习平台tensorflow游乐场~带你玩神经网络(转载)

Google发布机器学习平台Tensorflow游乐场~带你玩神经网络原文地址:http://f.dataguru.cn/article-9324-1.html>摘要:昨天,Google发布了Tensorflow游乐场。Tensorflow是Google今年推出的机器学习开源平台。而有了Tensorflow游乐场,我们在浏览器中... 查看详情

深度学习入门2022最新版深度学习简介(代码片段)

...器学习是什么深度学习是什么机器学习和深度学习的区别神经网络机器学习实现二分类神经网络实现二分类TensorFlowPyTorch神经网络的原理张量张量最小值(补充)张量最大值(补充)前向传播损失计算反向传播梯度下降案例线性回归公... 查看详情

第05课:机器是如何学习的?

本文转载:《21天入门机器学习》,以李烨老师的图文课《机器学习极简入门课》为学习素材,通过21天的社群学习模式带领大家入门机器学习。 什么是机器学习?就是让机器自己学会某种东西,通过自身运... 查看详情