关键词：
参考技术A 在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？ 我们希望Hadoop 2和Hadoop 3之间的这个功能的区别将帮助回答上述问题。Hadoop 2.x与Hadoop 3.x之间的功能比较
本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。 现在让我们逐一讨论
1.License
adoop 2.x - Apache 2.0，开源
Hadoop 3.x - Apache 2.0，开源
2.支持的最低Java版本
Hadoop 2.x - java的最低支持版本是java 7
Hadoop 3.x - java的最低支持版本是java 8
3.容错
Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。
Hadoop 3.x - 可以通过Erasure编码处理容错。
4.数据平衡
Hadoop 2.x - 对于数据，平衡使用HDFS平衡器。
Hadoop 3.x - 对于数据，平衡使用Intra-data节点平衡器，该平衡器通过HDFS磁盘平衡器CLI调用。
5.存储Scheme
Hadoop 2.x - 使用3X副本Scheme
Hadoop 3.x - 支持HDFS中的擦除编码。
6.存储开销
Hadoop 2.x - HDFS在存储空间中有200％的开销。
Hadoop 3.x - 存储开销仅为50％。
7.存储开销示例
Hadoop 2.x - 如果有6个块，那么由于副本方案（Scheme），将有18个块占用空间。
Hadoop 3.x - 如果有6个块，那么将有9个块空间，6块block，3块用于奇偶校验。
8.YARN时间线服务
Hadoop 2.x - 使用具有可伸缩性问题的旧时间轴服务。
Hadoop 3.x - 改进时间线服务v2并提高时间线服务的可扩展性和可靠性。
9.默认端口范围
Hadoop 2.x - 在Hadoop 2.0中，一些默认端口是Linux临时端口范围。所以在启动时，他们将无法绑定。
Hadoop 3.x - 但是在Hadoop 3.0中，这些端口已经移出了短暂的范围。
10.工具
Hadoop 2.x - 使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。
Hadoop 3.x - 可以使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。
11.兼容的文件系统
Hadoop 2.x - HDFS（默认FS），FTP文件系统：它将所有数据存储在可远程访问的FTP服务器上。 Amazon S3（简单存储服务）文件系统Windows Azure存储Blob（WASB）文件系统。
Hadoop 3.x - 它支持所有前面以及Microsoft Azure Data Lake文件系统。
12.Datanode资源
Hadoop 2.x - Datanode资源不专用于MapReduce，我们可以将它用于其他应用程序。
Hadoop 3.x - 此处数据节点资源也可用于其他应用程序。
13.MR API兼容性
Hadoop 2.x - 与Hadoop 1.x程序兼容的MR API，可在Hadoop 2.X上执行
Hadoop 3.x - 此处，MR API与运行Hadoop 1.x程序兼容，以便在Hadoop 3.X上执行
14.支持Microsoft Windows
Hadoop 2.x - 它可以部署在Windows上。
Hadoop 3.x - 它也支持Microsoft Windows。
15.插槽/容器
Hadoop 2.x - Hadoop 1适用于插槽的概念，但Hadoop 2.X适用于容器的概念。通过容器，我们可以运行通用任务。
Hadoop 3.x - 它也适用于容器的概念。
16.单点故障
Hadoop 2.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复。
Hadoop 3.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复，无需人工干预就可以克服它。
17.HDFS联盟
Hadoop 2.x - 在Hadoop 1.0中，只有一个NameNode来管理所有Namespace，但在Hadoop 2.0中，多个NameNode用于多个Namespace。
Hadoop 3.x - Hadoop 3.x还有多个名称空间用于多个名称空间。
18.可扩展性
Hadoop 2.x - 我们可以扩展到每个群集10,000个节点。
Hadoop 3.x - 更好的可扩展性。 我们可以为每个群集扩展超过10,000个节点。
19.更快地访问数据
Hadoop 2.x - 由于数据节点缓存，我们可以快速访问数据。
Hadoop 3.x - 这里也通过Datanode缓存我们可以快速访问数据。
20.HDFS快照
Hadoop 2.x - Hadoop 2增加了对快照的支持。 它为用户错误提供灾难恢复和保护。
Hadoop 3.x - Hadoop 2也支持快照功能。
21.平台
Hadoop 2.x - 可以作为各种数据分析的平台，可以运行事件处理，流媒体和实时操作。
Hadoop 3.x - 这里也可以在YARN的顶部运行事件处理，流媒体和实时操作。
22.群集资源管理
Hadoop 2.x - 对于群集资源管理，它使用YARN。 它提高了可扩展性，高可用性，多租户。
Hadoop 3.x - 对于集群，资源管理使用具有所有功能的YARN。
小伙伴们想了解更多的大数据相关技术可以点击文章末尾“了解更多”查看
了解更多
[hadoop3.x系列]hdfsresthttpapi的使用httpfs(代码片段)
前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！历史文章[hadoop3.x系列]HDFSRESTHTTPAPI的使用(一)W... 查看详情
✨[hadoop3.x]新一代的存储格式apachearrow
...升数据移动性能的后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路& 查看详情
[hadoop3.x系列]googleoption概要及使用(代码片段)
前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！1.1实现思路分析使用GoogleOption解析命令行参... 查看详情
[hadoop3.x系列]googleoption概要及使用(代码片段)
前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！1.1实现思路分析使用GoogleOption解析命令行参... 查看详情
✨[hadoop3.x]新一代的存储格式apachearrow
...升数据移动性能的后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路& 查看详情
搭建hadoop3.x分布式集群(代码片段)
如今Hadoop已经升级为第3个大版本，相比Hadoop2.x，Hadoop3.x没有在架构上进行大的改动，而是提高了系统的可扩展性和资源利用率上，因此，Hadoop3.x有更高的性能、更强的容错能力和更高效的数据处理能力。到现... 查看详情
[hadoop3.x系列]hadoop常用文件存储格式及bigdatafileviewer工具的使用
...工具介绍功能清单后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键 查看详情
[hadoop3.x系列]hadoop常用文件存储格式及bigdatafileviewer工具的使用
...工具介绍功能清单后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键 查看详情
大数据基石-hadoop3.x学习教程-hadoop产品了解与快速上手(代码片段)
大数据基石-HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建3、Hadoop快速上手三、... 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
...略方案🐒配置后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段&#x 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
...略方案🐒配置后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段&#x 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
...略方案🐒配置后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段&#x 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
...略方案🐒配置后记前言目前博客Hadoop文章大都停留在Hadoop2.x阶段&#x 查看详情
大数据基石-hadoop3.x学习教程-大数据场景介绍
大数据基石-HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、理解大数据1、大数据的特点2、大数据的应用方向3、大数据的工作前景二、大数据课程体系介绍1、大数据前置知识2、大数据课程体系一、理解大数... 查看详情
大数据hadoop版本介绍
...采用开源社区版，而Hadoop自诞生以来，主要分为Hadoop1、Hadoop2、Hadoop3三个系列的多个版本。由于目前市场上最主流的是Hadoop2.x版本，因此，本书只针对Hadoop2.x版本进行相关介绍。Hadoop2.x版本指的是第2代Hadoop，它是从Hadoop1.x发展... 查看详情
hadoop3.x搭建详细教程|历史服务器的配置与日志聚合(代码片段)
...础的环境搭建是比较重要的，之前的文章已经进行了Hadoop2的安装，Hadoop3的安装也是基于2的前置环境之上，免密与集群前置准备小伙 查看详情
hadoop3.x搭建详细教程|历史服务器的配置与日志聚合(代码片段)
...础的环境搭建是比较重要的，之前的文章已经进行了Hadoop2的安装，Hadoop3的安装也是基于2的前置环境之上，免密与集群前置准备小伙 查看详情
hadoop3.x搭建详细教程|历史服务器的配置与日志聚合(代码片段)
...础的环境搭建是比较重要的，之前的文章已经进行了Hadoop2的安装，Hadoop3的安装也是基于2的前置环境之上，免密与集群前置准备小伙 查看详情