正文 

当前位置： 首页 > 代码 > java教程

大数据讲课笔记3.2hadoop部署模式(代码片段)

howard2005 howard2005     2023-03-17     602

关键词：

文章目录

零、学习目标

  1. 了解Hadoop部署模式
  2. 掌握JDK安装与配置
  3. 掌握Hadoop安装

一、导入新课

  • 通过上次课的学习，学生完成了Hadoop集群构建的准备工作。本次课将针对Hadoop集群的构建进行详细讲解。

二、新课讲解

（一）Hadoop部署模式

1、独立模式

  • 在独立模式下，所有程序都在单个JVM上执行，调试Hadoop集群的MapReduce程序也非常方便。一般情况下，该模式常用于学习或开发阶段进行调试程序。

2、伪分布式模式

  • 在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。

3、完全分布式模式

  • 在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。

（二）Hadoop集群规划

  • 本课程将以前面安装的虚拟机为例，阐述完全分布模式Hadoop集群的安装与配置方法。当前规划的Hadoop集群包含一台主节点和两个从节点。

1、集群拓扑

  • 一个主节点，两个从节点

2、角色分配

  • 完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop，集群角色分配如下表所示。
节点角色
masterNameNode
slave1DataNode
slave2DataNode

（三）JDK安装与配置

  • 由于Hadoop是由Java语言开发的，Hadoop集群的使用依赖于Java环境，因此安装Hadoop集群之前，需要先安装并配置好JDK。

1、下载JDK压缩包

2、上传到master虚拟机

  • 将JDK压缩包上传到master虚拟机/opt目录
  • 查看上传的JDK压缩包

3、在master虚拟机上安装配置JDK

  • 执行命令：tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local，将JDK压缩包解压到指定目录
  • 执行命令：ll /usr/local/jdk1.8.0_162，查看解压之后的jdk1.8.0_162目录
  • 执行命令：vim /etc/profile，配置环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 存盘退出，执行命令：source /etc/profile，让配置生效
  • 查看JDK版本
  • 编写一个Java程序 - HelloWorld.java
  • 存盘退出后，执行命令：javac HelloWorld.java，编译成字节码文件
  • 执行命令：java HelloWorld

4、将JDK分发到slave1和slave2虚拟机

  • 执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r：recursive - 递归)
  • 在slave1虚拟机上查看JDK是否拷贝成功
  • 执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME (-r recursive - 递归)
  • 在slave2虚拟机上查看JDK是否拷贝成功

3、将环境配置文件分发到slave1和slave2虚拟机

  • 执行命令：scp /etc/profile root@slave1:/etc
  • 执行命令：scp /etc/profile root@slave2:/etc
  • 在slave1与slave2虚拟机上执行命令：source /etc/profile，让环境配置生效

  • 在slave1虚拟机上查看JDK版本
  • 在slave2虚拟机上查看JDK版本

（四）Hadoop安装

  • Hadoop是Apache基金会面向全球开源的产品之一，任何用户都可以从Apache Hadoop官网下载使用。

1、下载Hadoop压缩包

2、上传Hadoop压缩包到虚拟机

  • 将Hadoop压缩包上传到master虚拟机/opt目录
  • 查看上传的Hadoop压缩包

5、将Hadoop压缩包解压到指定目录

  • 执行命令：tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local
  • 查看解压之后的hadoop目录
目录作用
bin目录命令脚本
etc/hadoop目录存放hadoop的配置文件
lib目录hadoop运行的依赖jar包
sbin目录存放启动和关闭hadoop等命令
libexec目录存放的也是hadoop命令，但一般不常用
  • 在配置Hadoop时，常用的就是bin、etc与sbin三个目录
  • 查看bin目录
  • 查看etc/hadoop目录，主要是hadoop配置文件
  • 查看sbin目录

4、配置Hadoop环境变量

  • 执行命令：vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  • 存盘退出，执行命令source /etc/profile，让配置生效

5、验证Hadoop环境

  • 执行命令：hadoop -version，检查Hadoop安装是否成功
  • 下一节，我们会学习如何配置Hadoop集群。

三、归纳总结

  • 回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导。

四、上机操作

  • 形式：单独完成
  • 题目：在主节点上安装JDK和Hadoop
  • 要求：让学生自己动手操作安装JDK和Hadoop，以此来巩固本节的学习内容。写一篇CSDN博客，记录自己操作的过程。

大数据讲课笔记3.1hadoop安装准备(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）Hadoop集群拓扑1、集群拓扑2、角色分配（二）虚拟机安装（三）虚拟机克隆1、克隆类型（1）完整克隆（2）链接克隆2、克隆步骤（... 查看详情

大数据讲课笔记5.4mapreduce运行模式(代码片段)

...式2、集群运行模式（二）MapReduce性能优化策略1、数据输入2、Map阶段3、Reduce阶段4、Shuffle阶段5、其它调优属性三、归纳总结四、上机操作零、学习目标了解MapReduce运行模式理解MapReduce性能优化策略一、导入新课通过 查看详情

大数据讲课笔记3.3hadoop集群配置(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）配置Hadoop集群1、在master虚拟机上配置hadoop（1）编辑Hadoop环境配置文件-hadoop-env.sh（2）编辑Hadoop核心配置文件-core-site.xml（3）编辑HDFS配置文... 查看详情

大数据讲课笔记3.3hadoop集群配置(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）配置Hadoop集群1、在master虚拟机上配置hadoop（1）编辑Hadoop环境配置文件-hadoop-env.sh（2）编辑Hadoop核心配置文件-core-site.xml（3）编辑HDFS配置文... 查看详情

大数据讲课笔记1.5使用vim编辑器(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）了解Vim编辑器（二）安装Vim编辑器（三）切换三种工作模式1、命令模式2、输入模式3、末行模式（四）命令模式中基本操作1、命令模式中操... 查看详情

大数据讲课笔记3.4hadoop集群测试(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）通过UI界面查看Hadoop运行状态1、hadoop2和hadoop3端口区别表2、查看HDFS集群状态3、查看YARN集群状态（二）Hadoop集群初体验——词频统计1、启动Hadoop集群2、在... 查看详情

大数据讲课笔记3.4hadoop集群测试(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）通过UI界面查看Hadoop运行状态1、hadoop2和hadoop3端口区别表2、查看HDFS集群状态3、查看YARN集群状态（二）Hadoop集群初体验——词频统计1、启动Hadoop集群2、在... 查看详情

大数据讲课笔记2.3初探hadoop世界

...、新课讲解（一）Hadoop的前世今生1、Google处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程（二）Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性（三）Hadoop的生态体系1、HDFS... 查看详情

2022年大数据讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

2022年大数据基础讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

2022年大数据基础讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

大数据hadoop之——clouderahadoop（cm6.3.1+cdh6.3.2环境部署）(代码片段)

...oopClouderaHadoop（CDH）2）CDH特点灵活性——存储任何类型的数据并使用各种不同的计算框架对其进行操作，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。集成——在完整的Hadoop平台上快速启动并运行，该平台可与... 查看详情

大数据讲课笔记4.3hdfs的shell操作(代码片段)

...ff08;2）退出安全模式（四）案例-Shell定时采集数据到HDFS1、配置环境变量2、准备日志存放目录和待上传文件3、设置日志文件上传的路径4、实现文件上传5、执行程序展示运行结果三、归纳总结四、上机操作零、 查看详情

大数据讲课笔记4.3hdfs的shell操作(代码片段)

...ff08;2）退出安全模式（四）案例-Shell定时采集数据到HDFS1、配置环境变量2、准备日志存放目录和待上传文件3、设置日志文件上传的路径4、实现文件上传5、执行程序展示运行结果三、归纳总结四、上机操作零、 查看详情

大数据讲课笔记6.4zookeeper分布式集群部署(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）ZooKeeper分布式集群部署（二）下载解压ZooKeeper安装包1、下载ZooKeeper安装包2、上传ZooKeeper安装包3、解压ZooKeeper安装包（三）ZooKeeper相关配置1、在maste... 查看详情

学习笔记hadoop——hadoop集群的安装与部署——hadoop集群部署模式配置固定ip(代码片段)

一、Hadoop集群部署模式Hadoop的安装部署的模式一共有三种：独立模式（本地模式）standalone默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapRed... 查看详情

大数据讲课笔记5.1初探mapreduce(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）MapReduce核心思想（二）MapReduce编程模型（三）MapReduce编程实例——词频统计1、词频统计设计思路（1）Map阶段（2）Reduce阶段2、词频统... 查看详情

大数据讲课笔记4.1hdfs基本概念(代码片段)

文章目录零、学习目标一、导入新课二、新课讲解（一）HFDS的演变（二）HDFS的基本概念1、NameNode（名称节点）2、DataNode（数据节点）3、Block（数据块）4、Rack（机架）5、Metadata（ 查看详情