关键词：
前言
目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
历史文章
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
🍑HTTPFS概述
l HttpHDFS本质上和WebHDFS是一样的，都是提供HTTP REST API功能，但它们的区别是HttpHDFS是HttpFS是一个独立于HadoopNameNode的服务，它本身就是Java JettyWeb应用程序。
l 因为是可以独立部署的，所以可以对HttpHDFS设置防火墙，而避免NameNode暴露在墙外，对一些安全性要求比较高的系统，HttpHDFS会更好些。
l HttpFS是一种服务器，它提供REST HTTP网关，支持所有HDFS文件系统操作(读和写)。并且它可以与WebhdfsREST HTTPAPI
l HttpFS可用于在运行不同版本Hadoop(克服RPC版本控制问题)的集群之间传输数据，例如使用HadoopDiscreCP。
l HttpFS可用于在防火墙后面的集群上访问HDFS中的数据(HttpFS服务器充当网关，是允许跨越防火墙进入集群的唯一系统)。
l HttpFS可以使用HTTP实用程序(例如curl和wget)和来自Java以外的其他语言的HTTP库Perl来访问HDFS中的数据。
l 这个****Webhdfs****客户端文件系统实现可以使用Hadoop文件系统命令访问HttpFS(hdfs dfs)行工具以及使用Hadoop文件系统JavaAPI的Java应用程序。
l HttpFS内置了支持Hadoop伪身份验证和HTTP、SPNEGO Kerberos和其他可插拔身份验证机制的安全性。它还提供Hadoop代理用户支持。
🐒1.1.1 HTTPFS是如何工作的
l HttpFS是一个独立于HadoopNameNode的服务。
l HttpFS本身就是Java JettyWeb应用程序。
l HttpFS HTTP Web服务API调用是HTTPREST调用，映射到HDFS文件系统操作。例如，使用curl/Unix命令：
$curl ‘http://httpfs-host:14000/webhdfs/v1/user/foo/README.txt?op=OPEN&user.name=foo’
返回HDFS的内容/user/foo/README.txt档案。$curl ‘http://httpfs-host:14000/webhdfs/v1/user/foo?op=LISTSTATUS&user.name=foo’
返回HDFS的内容/user/foo目录中的JSON格式。$curl ‘http://httpfs-host:14000/webhdfs/v1/user/foo?op=GETTRASHROOT&user.name=foo’
返回路径/user/foo/.trash，如果/是加密区域，则返回路径。/.Trash/Foo。看见更多细节关于加密区域中的垃圾路径。$curl -X POST‘http://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=MKDIRS&user.name=foo’
创建HDFS/user/foo/bar目录。
l HttpFS默认端口号为14000
🐒1.1.2 配置Hadoop
编辑Hadoop的core-site.xml，并将运行HttpFS服务器的Unix用户定义为proxyuser。例如：
<property>
<name>hadoop.proxyuser.#HTTPFSUSER#.hosts</name>
<value>httpfs-host.foo.com</value>
</property> <property>
<name>hadoop.proxyuser.#HTTPFSUSER#.groups</name>
<value>*</value>
</property>
重要：替换#HTTPFSUSER#使用将启动HttpFS服务器的Unix用户。
例如：
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value></property><property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
🐒1.1.3 重启Hadoop
重启Hadoop，并激活代理用户配置
🐒1.1.4 启动HttpFS
hdfs --daemon start httpfs
🐒1.1.5 测试HttpFS工作
http://node1.itcast.cn:14000/webhdfs/v1?user.name=root&op=LISTSTATUS
🐒1.1.6 HTTP默认服务
| Name\\ | Description |
|---|---|
| /conf | Display configuration properties |
| /jmx | Java JMX management interface |
| /logLevel | Get or set log level per class |
| /logs | Display log files |
| /stacks | Display JVM stacks |
| /static/index.html | The static home page |
http://node1.itcast.cn:14000/conf?user.name=root
后记
📢博客主页：https://manor.blog.csdn.net
📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
📢本文由 manor 原创，首发于 CSDN博客🙉
[hadoop3.x系列]googleoption概要及使用(代码片段)
...停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！1.1实现思路分析使用GoogleOption解析命令行参数。读取要采集的数据目录&#... 查看详情
[hadoop3.x系列]googleoption概要及使用(代码片段)
...停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！1.1实现思路分析使用GoogleOption解析命令行参数。读取要采集的数据目录&#... 查看详情
[hadoop3.x系列]hadoop常用文件存储格式及bigdatafileviewer工具的使用
...停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键 查看详情
[hadoop3.x系列]hadoop常用文件存储格式及bigdatafileviewer工具的使用
...停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键 查看详情
✨[hadoop3.x系列]hdfsresthttpapi的使用webhdfs(代码片段)
文章目录前言历史文章🍑需求:🍑WebHDFS概述及操作🐒简介🐒关于RESTful🚲REST🚲RESTFulAPI🚲PUT请求类型和POST请求类型的区别🐒HDFSHTTPRESTFULAPI🚲HTTPGET🚲HTTPPUT🚲 查看详情
[hadoop3.x系列]hdfsresthttpapi的使用webhdfs(代码片段)
文章目录前言🍑需求:🍑WebHDFS概述及操作🐒1.1.1简介🐒1.1.2关于RESTful🚲1.1.2.1REST🚲1.1.2.2RESTFulAPI🚲1.1.2.3PUT请求类型和POST请求类型的区别🐒1.1.3HDFSHTTPRESTFULAPI🚲 查看详情
✨[hadoop3.x]新一代的存储格式apachearrow
...停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路& 查看详情
✨[hadoop3.x]新一代的存储格式apachearrow
...停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路& 查看详情
大数据hadoop2.x与hadoop3.x相比较都有哪些变化
参考技术A在这篇文章中，我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop2程序，Hadoop2和Hadoop3有什么区别？我们希望Hadoop2和Hadoop3之间的这个功能的区别将帮助回答上述问题。Hadoop2.x... 查看详情
大数据基石-hadoop3.x学习教程-hadoop产品了解与快速上手(代码片段)
大数据基石-HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建3、Hadoop快速上手三、... 查看详情
大数据基石-hadoop3.x学习教程-大数据场景介绍
大数据基石-HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、理解大数据1、大数据的特点2、大数据的应用方向3、大数据的工作前景二、大数据课程体系介绍1、大数据前置知识2、大数据课程体系一、理解大数... 查看详情
搭建hadoop3.x分布式集群(代码片段)
如今Hadoop已经升级为第3个大版本，相比Hadoop2.x，Hadoop3.x没有在架构上进行大的改动，而是提高了系统的可扩展性和资源利用率上，因此，Hadoop3.x有更高的性能、更强的容错能力和更高效的数据处理能力。到现... 查看详情
hadoop3.x时代，ec露个脸呗！
在本文中，笔者将详细研究HDFSEC（ErasureCoding，纠删码），讲解什么是HDFSEC，引入EC的原因，用于EC的算法，以及在Hadoop社区中为EC做的架构优化，最后再结合Hive实战HDFSEC。HDFS复制算法的问题为了提供容错，HDFS根据复制因子的大... 查看详情
大数据技术——hadoop3.x入门搭建+安装调优（1.入门）(代码片段)
...环境准备3.2克隆虚拟机3.3在hadoop102安装JDK3.4在hadoop102安装Hadoop3.5Hadoop目录结构四、Hadoop运行模式4.1本地运行模式（官方WordCount）4.2完全分布式运行模式（开发重点& 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
文章目录前言历史文章🍑HDFS存储类型和存储策略🐒介绍🍑存储类型和存储策略🐒多种多样的存储类型🐒速率对比🐒存储类型🐒存储策略介绍🐒HDFS中的存储策略🐒存储策略方案🐒配置... 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
文章目录前言历史文章🍑HDFS存储类型和存储策略🐒介绍🍑存储类型和存储策略🐒多种多样的存储类型🐒速率对比🐒存储类型🐒存储策略介绍🐒HDFS中的存储策略🐒存储策略方案🐒配置... 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
文章目录前言历史文章🍑HDFS存储类型和存储策略🐒介绍🍑存储类型和存储策略🐒多种多样的存储类型🐒速率对比🐒存储类型🐒存储策略介绍🐒HDFS中的存储策略🐒存储策略方案🐒配置... 查看详情
[hadoop3.x]hdfs存储类型和存储策略概述(代码片段)
文章目录前言历史文章🍑HDFS存储类型和存储策略🐒介绍🍑存储类型和存储策略🐒多种多样的存储类型🐒速率对比🐒存储类型🐒存储策略介绍🐒HDFS中的存储策略🐒存储策略方案🐒配置... 查看详情