正文

hadoop集群搭建之环境准备(代码片段)

X+Y=Z  X+Y=Z  2023-01-15  772

关键词：

本文使用虚拟机进行集群的搭建

文章目录

搭建前准备
虚拟机创建
服务器安装
虚拟机克隆

搭建前准备

需要下载 MobaXterm(SSH工具)、Ubuntu Server镜像、VMware Workstation，如下图所示

下载链接如下：

# MobaXterm 21.4 
https://download.mobatek.net/2142021091974654/MobaXterm_Installer_v21.4.zip

# Ubuntu Server 21.10
https://mirrors.neusoft.edu.cn/ubuntu-releases/21.10/ubuntu-21.10-live-server-amd64.iso

# VMware Workstation 16.2.0
https://download3.vmware.com/software/wkst/file/VMware-workstation-full-16.2.0-18760230.exe

安装好 MobaXterm 和 VMware Workstation

虚拟机创建

Step 1：打开 VMware Workstation ，选择创建新的虚拟机

Step 2：选择 自定义(高级) 并点击下一步

Step 3：使用默认配置，点击下一步

Step 4：点击安装程序光盘镜像文件，点击浏览选择之前下载的 Ubuntu Server 21.10 镜像文件，并点击下一步

Step 5：修改下虚拟机名称(可选步骤)，并点击下一步

Step 6：修改下处理器数量和每个处理器的内核数量(需要根据电脑的性能而定，这里都设置为2)，并点击下一步

Step 7：设置虚拟机的内存大小(需要根据电脑的内存大小而定，这里设置为6144)，并点击下一步

Step 8：选择使用桥接网络，并点击下一步

Step 9：使用默认配置，点击下一步

Step 10：使用默认配置，点击下一步

Step 11：使用默认配置，点击下一步

Step 12：修改最大磁盘大小(需要根据电脑磁盘大小而定，这里设置为50)，并点击下一步

Step 13：使用默认配置，并点击下一步

Step 14：使用默认配置，并点击完成，等待一会儿进入Ubuntu Server安装界面

服务器安装

注意：后续步骤只能键盘操作，上下方向键或Tab键选择，回车键确认

Step 15：按下回车键

Step 16：语系选择，这里使用默认配置，按下回车键

Step 17：键盘选择，这里使用默认配置，选择Done并回车

Step 18：服务器类型选择，这里使用默认配置，选择Done并回车

Step 19：IP配置(请记住这个IP，后面SSH登录时要用)，这里使用默认配置，选择Done并回车

Step 20：代理配置，这里使用默认配置，选择Done并回车

Step 21：镜像配置，这里使用默认配置，选择Done并回车

Step 22：存储选择，这里使用默认配置，选择Done并回车

Step 23：存储配置，这里使用默认配置，选择Done并回车

Step 24：存储确认，选择Continue并回车

Step 25：账户配置(请记住这里的配置，后面SSH登录的时候需要用)，配置好后选择Done并回车

Step 26：SSH配置，选择安装OpenSSH Server，之后选择Done并回车

Step 27：其他服务安装，这里不安装，选择Done并回车

Step 28：开始安装

Step 29：安装完成，选择Reboot Now

Step 30：按下回车键移除安装介质

Step 31：登录界面

Step 32：登录成功，安装完成

之后可以使用MobaXterm进行远程登录

虚拟机克隆

Hadoop集群搭建至少需要三个节点，关闭刚才创建的虚拟机，完整克隆出三个节点，分别取名去node1、node2、node3

Step 33：关闭已经启动的服务器

Step 34：右击Ubuntu -> 管理 -> 克隆

Step 35：点击下一步

Step 36：使用默认配置，点击下一步

Step 37：选择创建完整克隆，点击下一步

Step 38：输入虚拟机名称node1，点击下一步

Step 39：点击关闭完成创建

Step 40：重复创建步骤，创建出node2和node3

集群搭建环境搭建linux配置jdkhadoop(代码片段)

文章目录准备解压配置JDK环境配置Hadoop本地模式伪分布模式准备JavaDownloads|Oracle官网：下载hadoop-2.7.3.tar.gzApacheHadoop官网：下载hadoop-2.7.3.tar.gz下到本地后用Xftp6或者其它方法上传到服务器，我上传到了/opt/local，用XSh... 查看详情

数仓采集之环境搭建hadoop,zookeeper,kafka,flume(代码片段)

数仓采集之环境搭建hadoop,zookeeper,kafka前期的阿里云ECS环境已装好，现在开始正式搭建项目的环境hadoop安装配置1.集群规划服务器hadoop102服务器hadoop103服务器hadoop104HDFSNameNodeDataNodeDataNodeDataNodeSecondaryNameNodeYarnNodeManagerResourcemanage 查看详情

使用docker搭建本地hadoop集群(代码片段)

终于开始学习hadoop了，虽然是学校开课了才开始跟着学校的课程学，至少也是开始了。首先要做的就是搭建好一个hadoop的环境，需要三台主机，配置一个master两个slave的架构。老师让我们用vbox来做，但是个人觉得虚拟机太慢了，... 查看详情

hadoop2.0高可用集群搭建保姆级教程(代码片段)

搭载Hadoop2.0高可用集群说明准备下载好所需要的文件目录准备虚拟机网络配置（可能会在其他文章中讲到）文件的安装配置环境变量环境变量的验证关闭防火墙配置Hadoop高可用集群修改hadoop-env.sh修改core-site.xm文件修改hdfs... 查看详情

搭建5个节点的hadoop集群环境（cdh5）(代码片段)

提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。搭建一个分布式的hadoop集群环境，下面是详细步骤，使... 查看详情

消息队列之kafka(集群搭建)(代码片段)

...）(2)集体搭建：版本：kafka_2.11-1.1.0 集群规划：hadoop01、hadoop02、hadoop03（三个节点）①解压安装包到对应的目录 tarzxvfkafka_2.11-1.1.0.tgz-C/application/②修改配置文件 [[email protected]~]$cd/application/kafka_2.11-1.1.0/config/&em... 查看详情

00hadoop集群搭建之模板系统

模板虚拟机环境准备安装模板虚拟机，IP地址192.168.88.100、主机名称hadoop100、内存6G、硬盘100G(根据自己的机器情况配置)hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7-x86_64-DVD-2009.iso为例查看详情

大数据运维hadoop完全分布式环境搭建(代码片段)

...xff09;二、集群规划2.1编写同步脚本xsync2.2安装JAVA环境JDK2.3hadoop安装2.3.1配置hadoop2.4启动hadoop集群一、准备工作1.1安装VMware并设置网络下载vmvare软件&# 查看详情

华为云hadoop与spark集群环境搭建(代码片段)

华为云Hadoop与Spark集群环境搭建流程Hadoop2.7.1环境搭建1、购买华为云服务器2、修改服务器相关配置3、配置ssh免密登录4、JDK安装5、Hadoop集群搭建Spark3.2.0集群环境搭建1、Spark安装2、Spark文件配置3、启动Spark集群4、关闭Spark集群所... 查看详情

基于docker快速搭建hadoop集群和flink运行环境(代码片段)

前言搭建集群环境升级配置Hadoop配置Flink打包镜像启动集群前言本文主要讲，基于Docker在本地快速搭建一个Hadoop2.7.2集群和Flink1.11.2运行环境，用于日常Flink任务运行测试。前任栽树，后人乘凉，我们直接用DockerHadoo... 查看详情

spark2.2.2安装和集群搭建(代码片段)

1.环境准备安装Hadoop-2.7.2安装scala-2.11.8安装jdk-1.8.0_171准备安装包:spark-2.2.2-bin-hadoop2.7.tgz,并解压至hadoop用户目录.tarzxvfspark-2.2.2-bin-hadoop2.7.tgzmvspark-2.2.2-bin-hadoop2.7spark2.修改配置文件.bash_profile#添加exportSP 查看详情

hadoop集群搭建准备环境，手把手教你一步一步搭建，超详细(代码片段)

Hadoop运行环境搭建准备环境由于各种原因，本人决定要在实验室使用三台主机搭建一个集群，集群使用的机器是三台破旧主机，破旧到什么程度，就是去库房拔了一下午，扒到了三台勉强还能跑的动的电脑&#... 查看详情

hadoop3.1.3分布式集群搭建，超详细，保姆级教程(代码片段)

Hadoop3.1.3分布式集群搭建，超详细，保姆级教程1.环境准备2jdk1.8安装2.1卸载虚拟机自带的JDK2.2安装JDK1.83.在hadoop102安装Hadoop集群3.1集群安装准备3.2安装hadoop3.3hadoop运行模式3.4完全分布式运行模式（开发重点）3.4.1编... 查看详情

阿里云hadoop集群环境搭建(代码片段)

1、基础环境准备1.1、yum安装rz、sz命令(上传下载)yum-yinstalllrzsz1.2、集群分发脚本xsync#!/bin/bash#1.判断参数个数if[$#-lt1]thenechoNotEnoughArguement!exit;fi#2.遍历集群所有机器forhostinh102h103h104doecho============... 查看详情

hadoop集群配置运行(代码片段)

文章目录前期准备配置JDK环境Hadoop安装配置hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkersHadoop集群启动hdfs格式化启动集群参考前期准备下面以三台Ubuntu虚拟机搭建集群。需要互相ssh能够免密通讯如果不行，可以参... 查看详情

hbase集群环境搭建(代码片段)

...ngli2011/如发现有错，请留言，谢谢）一、准备1.1软件版本hadoop-2.6.5zookeeper-3.4.10.tar.gzhbase-1 查看详情