关键词:
Linux企业运维——Hadoop大数据平台(上)Hadoop工作原理、部署、资源管理器Yarn
文章目录
一、Hadoop简介
1.1、Hadoop框架与模块
Hadoop名字不是一个缩写,是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。
Hadoop起源于Google的三大论文:
- GFS:Google的分布式文件系统Google File System
- MapReduce:Google的MapReduce开源分布式并行计算框架
- BigTable:一个大型的分布式数据库
演变关系:
- GFS—->HDFS
- Google MapReduce—->Hadoop MapReduce
- BigTable—->HBase
hadoop主流版本:
- Apache基金会hadoop
- Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”)
- Hortonworks版本(Hortonworks Data Platform,简称“HDP”)
Hadoop框架包括以下四个模块:
- Hadoop Common:
这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操作系统级抽象,并包含启动Hadoop所需的Java文件和脚本。 - Hadoop YARN: 这是一个用于作业调度和集群资源管理的框架。
- Hadoop Distributed File System (HDFS): 分布式文件系统,提供对应用程序数据的高吞吐量访问。
- Hadoop MapReduce:这是基于YARN的用于并行处理大数据集的系统。
其中最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算。
hadoop应用场景:
在线旅游、移动数据、电子商务、能源开采与节能、基础架构管理、图像处理、诈骗检测、IT安全、医疗保健等等
HDFS属于Master与Slave结构。一个集群中只有一个NameNode,可以有多个DataNode。
HDFS存储机制保存了多个副本,当写入1T文件时,我们需要3T的存储,3T的网络流量带宽;系统提供容错机制,副本丢失或宕机可自动恢复,保证系统高可用性。
HDFS默认会将文件分割成block。然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,会导致内存的负担很重。
HDFS采用的是一次写入多次读取的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题,并且使高吞吐量的数据访问成为可能。
1.2、Hadoop工作原理
HDFS工作机制(HDFS漫画点击查看):
客户端向NN请求写数据,NN向客户端返回DN列表,客户端决定以多大的block size切分文件、决定一个block几个副本,接着客户端以数据流的方式发送副本到DN上,除了副本还会发送DN列表给DN,DN一边接收副本一边根据DN列表自动同步副本到其他DN上,当所有副本同步完成后,DN会返回信息给NN:
(1)客户端和DN在同一个节点:第一个副本存放在本机,第二个副本存放在与第一个副本不同的机架中,第三个副本与第二个副本在同一机架内但在不同DN上,,其他后续副本随机(ppt-18)
(2)客户端和DN不在同一个节点:第一个副本随机存放,(其余相同)第二个副本存放在与第一个副本不同的机架中,第三个副本与第二个副本在同一机架内但在不同DN上,,其他后续副本随机
HDFS存储理念是以最少的钱买最烂的机器并实现最安全、难度高的分布式文件系统(高容错性低成本),HDFS认为机器故障是种常态,所以在设计时充分考虑到单个机器故障,单个磁盘故障,单个文件丢失等情况。
HDFS容错机制:
节点失败监测机制:DN每隔3秒向NN发送心跳信号,10分钟收不到,认为DN宕机。
通信故障监测机制:只要发送了数据,接收方就会返回确认码。
数据错误监测机制:在传输数据时,同时会发送总和校验码。
二、Hadoop工作模式
2.1、hadoop部署
在真实主机创建两台新的虚拟机server1、server2,先开启一个虚拟机server1(2G内存)
真实主机下载hadoop官方套件,需要jdk环境,发送给server1
创建hadoop用户,切换到这一普通用户运行,不建议使用超级用户身份
使用源码安装(不用rpm包安装)
创建软连接方便后续更新升级,进入/home/hadoop/hadoop/etc/hadoop
目录下,编辑hadoop-env.sh脚本文件
配置环境变量
复制/etc/hadoop/*.xml至刚创建的input文件夹内
配置在非分布式模式下作为jar运行,查找并显示匹配正则表达式的内容。 将输出写入到 output目录,output目录会自动创建
output被创建,查看其内容
2.2、伪分布式
编辑/home/hadoop/hadoop/etc/hadoop
目录下的hdfs-site.xml文件,以伪分布式模式在单节点上运行,每个 Hadoop 守护进程作为单独的 Java 进程运行。
副本数设置为1
再编辑core-site.xml文件,指定hdfs的NN的ip,由于是伪分布式,所以主从都在一起,填写本机9000端口
查看workers,也是自己
切换到root用户,给hadoop用户加密码,再切换回hadoop用户,做免密,先生成密钥
将密钥复制给localhost
测试免密登录,初始化文件系统
初始化完成后,数据都存放在/tmp。启动NN和DN
jps
显示当前开启的java进程,使用此命令需要将jps命令添加到环境变量
编辑.bash_profile添加java环境变量
重新读取环境变量,再次使用jps
命令,可以看到启动的进程,secondnode
表示当master的NN down掉后由它来接管
浏览器访问server1的9870端口进入hadoop页面
9870是hadoop默认的监听端口,9000是Namenode和Datanode的连接端口
server1输入bin/hdfs dfsadmin -report
通过命令行查看文件系统
文件系统信息如图
创建用户主目录,注意用户要一致,查看上传目录没有文件,上传input目录
命令行查看上传目录,可以看到input目录
也可以通过浏览器图形化界面界面查看文件系统
输入用户主目录点击Go,可以看到目录内容
点击打开input目录可以看到包含的所有文件
此时bin命令进行统计,input不是本地的,以单词数统计input目录内容将结果输出到output
本地删除output目录,再查看还是可以看到该目录及其内容,因为已经上传到了分布式中
在hadoop页面中可以看到该目录
点击进入output目录,查看其包含的内容
server1本地在分布式中下载output目录,然后切换到该目录查看其内容,正常
2.3、完全分布式
真实主机再开启虚拟机server3
虚拟机都正常运行,server2和server3作为DN,完全分布式部署需要将DN和NN分开,NameNode-master只保留源数据,不存储数据
server1编辑hdfs-site.xml,将副本数量改为2
再编辑core-site.xml文件,将本机地址设置为master节点
再编辑workers,指定server3和server4是数据节点
server1安装nfs-utils文件系统
安装完成后,查看hadoop用户uid为1000,gid为1000,共享/home/hadoop目录,赋予读写权限,匿名用户uid和gid与master节点的hadoop用户一致,重启nfs服务
server2和server3添加hadoop用户,安装nfs文件系统
server2挂载nfs中server1分享的/home/hadoop
目录到本地的/home/hadoop
目录,然后切换到hadoop用户
server3也做同样的操作
server1切换到hadoop用户,进入hadoop目录下,将之前的伪分布式部署停止,重新格式化
重新格式化文件系统后数据会清除
server1测试与server2和server3的ssh免密连接,成功连接
server2和server3也分别与其他两个节点测试免密连接,也成功了,因为使用nfs文件系统,挂载目录下的数据都是同步的。
server1开启nfs,使用jps
查看java进程,可以看到作为NN节点运行
server2和server3查看java进程,可以看到作为DN节点在运行
浏览器访问hadoop图形化页面,点击查看DN节点信息,可以看到server2和server3正常显示
因为重新格式化文件系统,之前数据都被清除
server1在dfs创建虚拟目录/user/hadoop,将input目录上传至文件系统,以单词数统计input目录内容将结果输出到output
在web页面中此时可以看到刚才上传的两目录
点击进入input目录,可以正常查看目录内容
进入output目录,内容正常显示
我们可以进行如下操作来再添加一个DN节点
真实主机再开启一台虚拟机server4
server4安装nfs
server2创建用户hadoop,挂载nfs中server1分享的/home/hadoop
目录到本地的/home/hadoop
目录,然后切换到hadoop用户进行测试
server4进入到/etc/hadoop/目录下,编辑workers,将自己添加进工作节点
server4返回到上上级目录,运行DN节点进程
现在hadoop页面上可以看到server4加入到工作节点
三、资源管理器YARN
RM:resourcemanager工作原理:
客户端向RM(ResourceManager)申请,RM上有一个任务队列,RM向客户端返回app所需资源路径,接着客户端向RM申请运行AM,AM在NM上运行,AM向RM继续申请资源,RM会把job分布式地分给NM运行,一旦所有job运行完成,AM注销并释放容器(逻辑层面)资源
server1编辑etc/hadoop/mapred-site.xml文件,添加mapreduce模块,$HADOOP_MAPERD_HOME
变量稍后会在环境变量中定义
再编辑yarn-site.xml文件,添加nodemanager模块
再编辑hadoop-env.sh环境变量文件,定义HADOOP_MAPERD_HOME
变量
依次将三个文件配置完毕:使用YARN、白名单列表、定义变量
server1开启yarn,jps
查看java进程,可以看到ResourceManager运行
DN节点server2、server3和server4查看java进程,可以看到NodeManager正在运行
浏览器访问server1的8088端口可以查看资源管理页面
linux企业运维——hadoop大数据平台(下)hdfs高可用yarn高可用hbase高可用(代码片段)
Linux企业运维——Hadoop大数据平台(下)hdfs高可用、Yarn高可用、hbase高可用文章目录Linux企业运维——Hadoop大数据平台(下)hdfs高可用、Yarn高可用、hbase高可用一、Hadoop高可用1.1、zoomkeeper集群部署1.2、hdfs高可用1.... 查看详情
linux企业运维——hadoop大数据平台(下)hdfs高可用yarn高可用hbase高可用(代码片段)
Linux企业运维——Hadoop大数据平台(下)hdfs高可用、Yarn高可用、hbase高可用文章目录Linux企业运维——Hadoop大数据平台(下)hdfs高可用、Yarn高可用、hbase高可用一、Hadoop高可用1.1、zoomkeeper集群部署1.2、hdfs高可用1.... 查看详情
大数据运维工作(linux,ogg,链路监控,hadoop运维等)(代码片段)
大数据运维工程师工作内容Linux运维手册1.启动/关闭集群组件1.1负载均衡1)Nginx运维命令Copytoclipboardcd/usr/nginx/sbin#进入sbin目录Copytoclipboard./nginx#启动nginxCopytoclipboard./nginx-sstop#停止NginxCopytoclipboard./nginx-sreload#重启Ngi 查看详情
学完linux去哪里就业比较好?
...。 1:服务器、系统,包括系统集成、系统工程师、运维工程师、云工程师等; 2、云计算大数据:运维开发、运维大数据、大数据、云工程师(偏开发); 3、人工智能:智能运维、大数据分析、算法工程师。Linux就业方向... 查看详情
linux企业运维——elk日志分析平台(中)es节点优化logstash数据采集过滤插件(代码片段)
Linux企业运维——ELK日志分析平台(中)ES节点优化、logstash数据采集、过滤插件文章目录Linux企业运维——ELK日志分析平台(中)ES节点优化、logstash数据采集、过滤插件一、ES节点优化1.1、ES节点角色1.2、节点角色... 查看详情
开源项目丨一文详解一站式大数据平台运维管家chengying如何部署hadoop集群
课件获取:关注公众号“数栈研习社”,后台私信“ChengYing”获得直播课件视频回放:点击这里ChengYing开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个__STAR!STAR!!STAR!!!(重... 查看详情
linux企业运维——elk日志分析平台(下)kibana数据可视化xpack安全验证轻量级metricbeat(代码片段)
Linux企业运维——ELK日志分析平台(下)kibana数据可视化、xpack安全验证、轻量级metricbeat文章目录Linux企业运维——ELK日志分析平台(下)kibana数据可视化、xpack安全验证、轻量级metricbeat一、kibana数据可视化1.1、kib... 查看详情
大数据linux重要吗
...良好的界面,支持多种平台。随着网络科技的发展,现在企业对大数据Linux人才IDE需求也变得越来越多,所以它的前景还是非常不错的。 查看详情
大数据运维---linux安装hadoophadoopha集群部署(代码片段)
1.Hadoop下载好之后解压到相应目录: 为了方便管理,我们使用mv把名称更改为hadoop[root@master~]#tar-zxvfhadoop-2.7.1.tar.gz-C/usr/local/src/[root@master~]#cd/usr/local/src/[root@mastersrc]#lshadoop-2.7.1javazookeeper[root@mastersrc]#mvhadoop... 查看详情
大数据在哪儿学比较好?
...究竟有哪些就业方向。大数据就业岗位随着大数据技术在企业界如火如荼的实践,企业对组建大数据团队的迫切程度也也来越高,对与大数据相关高端人才的需求也越来越紧迫,但企业对大数据团队的组建和角色分配方面缺一直... 查看详情
大数据hadoop实验报告(代码片段)
文章目录实验一熟悉常用的Linux操作和Hadoop操作1.实验目的2.实验平台3.实验内容和要求实验二熟悉常用的HDFS操作1.实验目的2.实验平台3.实验步骤实验三熟悉常用的HBase操作1.实验目的2.实验平台3.实验步骤实验四MapReduce/Spark编程初... 查看详情
大数据hadoop实验报告(代码片段)
文章目录实验一熟悉常用的Linux操作和Hadoop操作1.实验目的2.实验平台3.实验内容和要求实验二熟悉常用的HDFS操作1.实验目的2.实验平台3.实验步骤实验三熟悉常用的HBase操作1.实验目的2.实验平台3.实验步骤实验四MapReduce/Spark编程初... 查看详情
linux企业运维——elk日志分析平台(上)安装与配置es图形化管理插件(代码片段)
Linux企业运维——ELK日志分析平台(上)安装与配置、ES图形化管理插件文章目录Linux企业运维——ELK日志分析平台(上)安装与配置、ES图形化管理插件一、ELK简介二、ELK的安装与配置三、ELK集群搭建四、elasticsear... 查看详情
大数据技术与架构——大数据处理架构hadoop(上)
...doop的应用现状1.5ApacheHadoop版本演变1.6Hadoop各种版本(企业开发产品)2.Hadoop项目结构1.Hadoop概述1.1Hadoop简介Hadoop是Apache[ә’pætʃi]软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式... 查看详情
大数据时代,就业转型必备技能!
...PythonPython往往在大数据处理框架中得到支持。3、Linux运维企业大数据开发往往是在Linux操作系统下完成的,因此,想从事大数据相关工作,需要掌握Linux系统操作方法和相关命令。在 查看详情
spark和hadoop的区别
...最活跃的开源大数据项目,但是,在选择大数据框架时,企业不能因此 查看详情
linux运维是怎样的一个工作
...及系统之上的相关软件服务、程序代码(Java、Php、Python)和企业核心数据正常运行,使得企业能够优质、高效、快速的为企业的客户提供服务,从而盈利赚钱,随着企业增长,服务器和服务数量、要求也会成倍增加,对运维的能力... 查看详情
linux运维工程师的主要工作是啥?
...及系统之上的相关软件服务、程序代码(Java、Php、Python)和企业核心数据正常运行,使得企业能够优质、高效、快速的为企业的客户提供服务,从而盈利赚钱,随着企业增长,服务器和服务数量、要求也会成倍增加,对运维的能力... 查看详情