关键词：
【中文标题】深度学习和传统的人工神经网络机器学习有啥区别？ [关闭]【英文标题】：What is the difference between Deep Learning and traditional Artificial Neural Network machine learning? [closed]深度学习和传统的人工神经网络机器学习有什么区别？ [关闭] 【发布时间】：2016-08-03 09:10:41 【问题描述】：您能否简要说明Deep Learning 与使用神经网络的传统机器学习之间的区别？需要多少层才能使神经网络“深”？这一切都只是营销炒作吗？
【问题讨论】：
【参考方案1】：当层数变大时，标准的反向传播算法（梯度下降）会出现严重问题。误差函数中局部最小值的概率随着每一层的增加而增加。不仅数学意义上的局部最小值会导致问题，有时误差函数中只有平坦区域（修改一个或多个权重不会显着改变误差）梯度下降不起作用。
另一方面，具有多层的网络可以解决更困难的问题，因为每个单元层也可以提供一个抽象层。
深度学习正好解决了这个问题。基本思想是除了对整个网络使用梯度下降之外，还对每一层执行无监督学习过程。无监督学习的目标是让每一层都从其输入中提取特征特征，以供后续层使用。
尽管“深度学习”这个词目前被广泛使用，但它不仅仅是一种营销炒作。
编辑：几年前，包括我自己在内的很多人都认为，无监督预训练是深度学习的主要推动力。从那时起，其他技术开始流行，在许多情况下产生更好的结果。正如@Safak Okzan 的评论中提到的（在他自己的回答下面），这些包括：
残差网络
批量标准化
整流线性单位
【讨论】：
谢谢！这正是我正在寻找的解释类型。【参考方案2】：我不同意@Frank Puffer 的回答。我不明白他在隐藏层等上执行无监督学习程序是什么意思。
深度学习是指通常具有 2 或 3 个以上隐藏层的神经网络模型。大多数 DL 模型有 10 到 100 层或更多层。
深度学习模型的最新革命依赖于两件事： 1、海量数据的可用性——互联网时代的产物 2. GPU 的可用性
用于优化 DL 模型的算法称为反向传播算法（在数学上相当于梯度下降）。 Backprop 实际上至少从 80 年代就已经存在了——它不是 DL 特定的东西。
由于模型的复杂性和大小，DL 模型通常需要大量数据。它们通常具有数百万个可调权重参数。由于训练数据的大小和每次迭代需要计算的数百万个偏导数（相对于权重），优化需要高计算能力。
本质上，深度学习并不是一种营销炒作。这是一个大型的多层神经网络模型，需要大量数据和强大的 GPU 进行训练。一旦经过训练，它们在某些任务上的准确度就会超过人类。
【讨论】：
我认为我们的答案之间没有太大的矛盾，我们只是强调了不同的方面。我的主要观点是标准反向传播在超过 3 层的网络上表现不佳。这不仅仅是计算能力的问题。当天真地将反向传播应用到超过 10 层的网络时，它在大多数情况下都会卡住，即使对于简单的问题也是如此。在过去的几年中，已经开发了不同的改进和技巧来克服这个问题。其中之一是我提到的无监督预训练。确实发现它没有最初想象的那么有用。 @FrankPuffer。我不确定 无监督预训练 的有效性和广泛使用程度。但这不一定是 DL 成为可能的原因。然而，一些架构创新，例如使用 ReLU（ResNet 和 LSTMs ) 已经使反向传播训练工作得很好，并且可能会被添加到列表中。还有其他架构设计（如 Batch normalization 或 Xavier initialization）有助于训练更深层次的模型，但我们应该不要在这篇文章中涉及它们。 对，似乎无监督预训练最近变得不那么流行了，有利于您提到的其他技术。因此，我编辑了我的答案。顺便说一句，我发现你的评论比你原来的答案更合适，因为如果我们仍然使用与 30 年前相同的网络架构，硬件性能和数据可用性将几乎毫无用处。 在 ML 中我们必须进行手工编码的特征工程，但在 DL 中我们不必进行特征工程，模型会自行学习重要的特征。【参考方案3】：近年来，为解决各种机器学习问题而开发的模型变得更加复杂，层数非常多。例如，谷歌的 Inception-v3 模型（我认为）有 42 层。传统的神经网络过去通常只使用少数隐藏层。在“深度学习”和“深度卷积神经网络”的上下文中使用的术语“深度”是对所涉及的大量层数的一种认可。
【讨论】：
对，但我想说这个答案忽略了要点：您不能简单地添加越来越多的层，同时仍然使用反向传播等传统学习算法。这根本行不通。但幸运的是，一些聪明人想出了改进的学习算法。有人为此找到了一个华丽的名字：“深度学习”。 我同意你的中心观点，实际上我会建议发帖者接受你的回答。另一方面，核心训练算法并没有发生多少变化，这实际上是非常令人难以置信的——例如，深度卷积神经网络采用了非常不同的连接结构，但我们仍然使用随机梯度下降和反向传播的微小变化来训练它们。我想说最大的变化在于层的结构和为处理过度拟合而开发的各种技术（例如，分别是卷积层和 dropout）。【参考方案4】：从应用程序的角度来看，我将在以下几行中区分 DL 和 ML 中使用的神经网络：
层数 - 简单神经网络的隐藏层数较少（通常在 10 以内），而深度神经网络的隐藏层数可能较多（如上所述，10 到 100 或更多）。 目的 - 深度学习具有专门的神经网络（在架构方面），可用于特定任务，例如用于图像分析的 CNN、用于序列的 RNN/LSTM 等。简单的神经网络可用于任务例如线性回归，分类（单/多类）。 处理复杂性 - 训练深度学习模型需要比传统机器学习神经网络更多的数据和计算资源。【讨论】：
【参考方案5】：传统的人工神经网络处理的隐藏层数量较少，而深度学习处理的隐藏层数量接近 1000 个。 例如：在他们两个中，你都有一个输入层，它被传递到不同的层，如第 1、2 层等。在深度学习的情况下，您有更多的隐藏层，因此在执行回溯时需要计算和更新更多的权重，而在 ANN 中，权重会相当少。
【讨论】：
深度学习和机器学习的区别是啥
...，其本身也会用到有监督和无监督的学习方法来训练深度神经网络。但由于近几年该领域发展迅猛，一些特有的学习手段相继被提出（如残差网络），因此越来越多的人将其单独看作一种学习的方法。3、机器学习最基本的做法... 查看详情
人工智能机器学习深度学习神经网络，都有什么区别,卷积神经网络和全连接神经网络的区别
目录卷积神经网络和全连接神经网络的区别人工智能、机器学习、深度学习、神经网络，都有什么区别 查看详情
09-机器学习.人工智能和深度学习的关系
1.深度学习是机器学习的子类;深度学习是基于传统的神经网络算法发展到多隐层的一种算法体现2.机器学习是人工智能的一个子类 查看详情
14深度学习-卷积
...：是一种实现机器学习的技术，适合处理大数据2.全连接神经网络与卷积神经网络的联系与区别。联系： 全连接神经网络与卷积神经网络都是通过一层 查看详情
14深度学习-卷积
...他们的关系不是互相独立，而是一环套着一环。2.全连接神经网络与卷积神经网络的联系与区别。答：卷积神经网络的输入输出以及训练的流程和全连接神经网络也基本一致。全连接神经网络和卷积神经网络的唯一区别 查看详情
14深度学习-卷积(代码片段)
...一种实现机器学习的技术和学习方法。 2. 全连接神经网络与卷积神经网络的联系与区别。解析：卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样，卷积神经网络中的每一个节 查看详情
14深度学习-卷积(代码片段)
...实现机器学习的技术；它适合处理大数据。 2.全连接神经网络与卷积神经网络的联系与区别。联系： 全连接神经网络与卷积神经网络都是通过一层一层的节点组织起来的，和全连接神经网 查看详情
13.深度学习-卷积
...众多应用，并拓展了人工智能的领域范畴。 2.全连接神经网络与卷积神经网络的联系与区别。联系 查看详情
深度学习神经网络介绍
目录1深度学习简介2神经网络介绍1深度学习简介在介绍深度学习之前，我们先看下这幅图：人工智能>机器学习>深度学习深度学习是机器学习的一个子集，也就是说深度学习是实现机器学习的一种方法。与机器学... 查看详情
人工智能，神经网络算法，机器学习，深度学习三者关系
对于很多初入学习人工智能的学习者来说，对人工智能、机器学习、深度学习的概念和区别还不是很了解，有可能你每天都能听到这个概念，也经常提这个概念，但是你真的懂它们之间的关系吗？那么接下来就给大家从概念和特... 查看详情
机器学习和深度学习的关系啦！(?´?`?)
...从简单特征中提取复杂特征。最初的深度学习是利用深度神经网络（DNN）（超过三层的神经网络模型）来解决特征表达的一种学习过程。深度神经网络本身并不是一个全新的概念，可以大致理解为包含多个隐含层的神经网络结构... 查看详情
14深度学习-卷积(代码片段)
...实现众多应用，并拓展了人工智能的领域范畴。2.全连接神经网络与卷积神经网络的联系与区别。联系：（1）全 查看详情
深度学习与机器学习的区别
深度学习是一种特殊的机器学习，它将现实世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念，从一般抽象概括到高级抽象表示），从而获得强大的性能与灵活性。深度学习和传统机器学习最重要的区别是它... 查看详情
14深度学习-卷积(代码片段)
...动。 区别和联系： 2.全连接神经网络与卷积神经网络的联系与区别。 卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样，卷积神经网络中的每一个节点就是一个神经元。... 查看详情
数据分析数据挖掘机器学习神经网络深度学习和人工智能概念区别（入门级别）
数据分析，就是对数据进行分析，得出一些结论性的内容，用于决策。分析什么哪？根据分析现状、分析原因、预测未来。分析现状和分析原因，需要结合业务才能解释清楚。用到的技术比较简单，最简单的数据分析工具就是&nb... 查看详情
机器学习12卷积神经网络(代码片段)
...法，深度学习是一种实现机器学习的技术。 2.全连接神经网络与卷积神经网络的联系与区别。 卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样，卷积神经网络中的每一个节点就是一个神经元。... 查看详情
深度学习用cpu训练和用gpu训练有啥区别？
...量也很大，所以GPU的作用就是加速网络运算。（2）CPU算神经网络也是可以的，算出来的神经网络放到实际应用中效果也很好，只不过速度会很慢罢了。而目前GPU运算主要集中在矩阵乘法和卷积上，其他的逻辑运算速度并没有CPU... 查看详情
人工智能深度学习机器学习常见面试题41~55
目录41.偏差和方差的平衡？42.介绍卷积神经网络，和DBN有什么区别？43.LSTM结构推导&#x 查看详情