关键词：
文章目录
一、Linux安装Hadoop
1.1、下载安装文件
链接：https://pan.baidu.com/s/19s19t-yDcxRuj0AnnDOSkQ
提取码：n7km
linux安装hadoop需要下方两个文件剩下两个文件是windows配置环境使用
1.2、创建虚拟机
详情请查看创建linux虚拟机
1.3、配置网络
详情请查看配置linux网络
1.4、设置免密登录
[root@localhost ~]# ssh-keygen -t rsa -P ""
此处直接回车
[root@localhost ~]# cd .ssh/
[root@localhost .ssh]# ls
[root@localhost .ssh]# cat ./id_rsa.pub >> authorized_keys
# 开启远程免密登录配置
[root@localhost .ssh]# ssh-copy-id -i ./id_rsa.pub -p22 root@192.168.136.143
# 远程登录
[root@localhost .ssh]# ssh -p22 root@192.168.136.143
# 退出远程登录
[root@localhost .ssh]# exit
完成使用ssh -p22 root@192.168.136.143命令会直接连上不需要输入密码
1.5、同步时间
在创建下虚拟机后会与北京时间差8个小时，需要将其同步
# 同步时间
[root@localhost .ssh]# yum install -y ntpdate
[root@localhost .ssh]# ntpdate time.windows.com
[root@localhost .ssh]# date
# 定时同步时间
[root@localhost .ssh]# crontab -e
# 每5小时更新时间
* */5 * * * /usr/sbin/ntpdate -u time.windows.com
# 启动定时任务
[root@localhost .ssh]# service crond start
更改时区后：
1.6、设置计算机名称
# 修改计算机名称有两种方式：
# 在配置文件中修改
[root@localhost .ssh]# vim /etc/hostname
# 通过命令修改
[root@localhost .ssh]# hostnamectl set-hostname xsqone143
# 配置hosts文件
[root@localhost .ssh]# vim /etc/hosts
xsqone143 192.168.136.143
1.7、安装JDK
hadoop依赖于JAVA环境需要按照JDK
# 解压文件到指定目录
[root@localhost opt]# mkdir /opt/install
[root@localhost opt]# mkdir /opt/soft
再使用xftp将文件传入到/opt/install目录下
[root@localhost install]# pwd
/opt/install
# 将文件解压到/opt/soft目录下
[root@localhost install]# tar -zxvf jdk-8u321-linux-x64.tar.gz -C ../soft/
[root@localhost soft]# mv jdk1.8.0_321/ jdk180
# 加入jdk的环境变量
[root@localhost soft]# vim /etc/profile
# JAVA_HOME
export JAVA_HOME=/opt/soft/jdk180
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
[root@localhost soft]# source /etc/profile
使用java命令或javac命令 出现提示，或使用java -version命令会显示jdk版本则安装成功
1.8、安装Hadoop
[root@localhost install]# tar -zxvf hadoop-3.1.3.tar.gz -C ../soft/
[root@localhost soft]# mv hadoop-3.1.3/ hadoop313
# 修改hadoop文件所属
[root@xsqone143 soft]# chown -R root:root hadoop313/
# 修改hadoop配置文件
[root@xsqone143 hadoop]# pwd
/opt/soft/hadoop313/etc/hadoop
1.8.1、core-site.xml
[root@xsqone143 hadoop]# vim core-site.xml
<configuration>
# 路径
<property>
<name>fs.defaultFS</name>
<value>hdfs://xsqone143:9000</value>
</property>
# 存放数据临时目录
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop313/data</value>
</property>
# http请求的静态用户
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
# 读写序列缓存
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
<description>读写序列缓存为：128KB</description>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
1.8.2、hadoop-env.sh
# 设置hadoop所使用的的jdk
[root@xsqone143 hadoop]# vim hadoop-env.sh
54 export JAVA_HOME=/opt/soft/jdk180
1.8.3、hdfs-site.xml
[root@xsqone143 hadoop]# vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>hadoop中每一个block文件的备份数量</description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/soft/hadoop313/data/dfs/name</value>
<description>namenode上存储hdfs名字空间元数据的目录</description>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/opt/soft/hadoop313/data/dfs/data</value>
<description>datanode上数据块的物理存储位置目录</description>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
<description>关闭权限验证</description>
</property>
</configuration>
1.8.4、mapred-site.xml
[root@xsqone143 hadoop]# vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>job执行框架：local,classic or yarn</description>
<final>true</final>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
<description>job执行框架：local,classic or yarn</description>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>xsqone143:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>xsqone143:19888</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
</configuration>
1.8.4、yarn-site.xml
[root@xsqone143 hadoop]# vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
<value>20000</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
<name>yarn.nodemanager.localizer.address</name>
<value>xsqone143:8040</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>xsqone143:8050</value>
</property>
<property>
<name>yarn.nodemanager.webapp.address</name>
<value>xsqone143:8042</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/opt/soft/hadoop313/yarndata/yarn</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/opt/soft/hadoop313/yarndata</value>
</property>
</configuration>
1.8.4、设置hadoop环境变量
export JAVA_LIBRARY_PATH=/opt/soft/hadoop313/lib/native
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
1.9、配置完成进行启动测试
# 格式化
[root@xsqone143 hadoop]# hdfs namenode -format
# 运行
[root@xsqone143 hadoop]# start-all.sh
# 查看是否启动成功(一共会有6个线程)
[root@xsqone143 hadoop]# jps
二、使用shell脚本安装hadoop与jdk
1.1-1.6需安装自己设置
在shell脚本中会自动根据计算机名设置Hadoop
使用脚本后自己进行初始化
#! /bin/bash
echo 'auto install JDK beginging ...'
# global var
hadoop=true
# 获取计算机名
hostname=`hostname`
jdk=true
if [ "$jdk" = true ];then
echo 'jdk install set true'
echo 'setup jdk 8'
tar -zxf /opt/install/jdk-8u321-linux-x64.tar.gz -C /opt/soft
mv /opt/soft/jdk1.8.0_321 /opt/soft/jdk180
# echo '#jdk' >> /etc/profile
# echo 'export JAVA_HOME=/opt/soft/jdk180' >> /etc/profile
# echo 'export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/profile
# echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
sed -i '54a\\export JAVA_HOME=/opt/soft/jdk180' /etc/profile
sed -i '54a\\export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' /etc/profile
sed -i '54a\\export PATH=$PATH:$JAVA_HOME/bin' /etc/profile
sed -i '54a\\#jdk' /etc/profile
source /etc/profile
echo 'setup jdk 8 successful!!!'
fi
echo 'set time'
yum install -y ntpdate
/usr/sbin/ntpdate time.windows.com
echo 'auto install Hadoop beginging ...'
if [ "$hadoop" = true ];then
echo 'hadoop install set true'
echo 'setup hadoop 313'
tar -zxf /opt/install/hadoop-3.1.3.tar.gz -C /opt/soft
mv /opt/soft/hadoop-3.1.3 /opt/soft/hadoop313
echo 'update /etc/profile'
sed -i '57a\\#hadoop\\nexport JAVA_LIBRARY_PATH=/opt/soft/hadoop313/lib/native\\nexport HADOOP_HOME=/opt/soft/hadoop313\\nexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib\\nexport HDFS_NAMENODE_USER=root\\nexport HDFS_DATANODE_USER=root\\nexport HDFS_SECONDARYNAMENODE_USER=root\\nexport HDFS_JOURNALNODE_USER=root\\nexport HDFS_ZKFC_USER=root\\nexport YARN_RESOURCEMANAGER_USER=root\\nexport YARN_NODEMANAGER_USER=root\\nexport HADOOP_MAPRED_HOME=$HADOOP_HOME\\nexport HADOOP_COMMON_HOME=$HADOOP_HOME\\nexport HADOOP_HDFS_HOME=$HADOOP_HOME\\nexport HADOOP_YARN_HOME=$HADOOP_HOME\\nexport HADOOP_INSTALL=$HADOOP_HOME\\nexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native\\nexport HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec\\nexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop' /etc/profile
source /etc/profile
echo 'update /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh'
sed -i '19a\\<property>\\n<name>fs.defaultFS</name>\\n<value>hdfs://'$hostname':9000</value>\\n</property>\\n<property>\\n<name>hadoop.tmp.dir</name>\\n<value>/opt/soft/hadoop313/data</value>\\n</property>\\n<property>\\n<name>hadoop.http.staticuser.user</name>\\n<value>root</value>\\n</property>\\n<property>\\n<name>io.file.buffer.size</name>\\n<value>131072</value>\\n<description>读写序列缓存为：128KB</description>\\n</property>\\n<property>\\n<name>hadoop.proxyuser.root.hosts</name>\\n<value>*</value>\\n</property>\\n<property>\\n<name>hadoop.proxyuser.root.groups</name>\\n<value>*</value>\\n</property>' /opt/soft/hadoop313/etc/hadoop/core-site.xml
echo 'update /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh'
sed -i '54a\\export JAVA_HOME=/opt/soft/jdk180' /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh
echo 'update /opt/soft/hadoop313/etc/hadoop/hdfs-site.xml'
sed -i '19a\\<property>\\n<name>dfs.replication</name>\\n<value>1</value>\\n<description>hadoop中每一个block文件的备份数量</description>\\n</property>\\n<property>\\n<name>dfs.namenode.name.dir</name>\\n<value>/opt/soft/hadoop313/data/dfs/name</value>\\n<description>namenode上存储hdfs名字空间元数据的目录</description>\\n</property>\\n<property>\\n<name>dfs.namenode.data.dir</name>\\n<value>/opt/soft/hadoop313/data/dfs/data</value>\\n<description>datanode上数据块的物理存储位置目录</description>\\n</property>\\n<property>\\n<name>dfs.permissions.enabled</name>\\n<value>false</value>\\n<description>关闭权限验证</description>\\n</property>' /opt/soft/hadoop313/etc/hadoop/hdfs-site.xml
echo 'update /opt/soft/hadoop313/etc/hadoop/mapred-site.xml'
sed -i '19a\\<property>\\n<name>mapreduce.framework.name</name>\\n<value>yarn</value>\\n<description>job执行框架：local,classic or yarn</description>\\n<final>true</final>\\n</property>\\n<property>\\n<name>mapreduce.application.classpath</name>\\n<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value><description>job执行框架：local,classic or yarn</description>\\n</property>\\n<property>\\n<name>mapreduce.jobhistory.address</name>\\n<value>'$hostname':10020</value>\\n</property>\\n<property>\\n<name>mapreduce.jobhistory.webapp.address</name>\\n<value>'$hostname':19888</value>\\n</property>\\n<property>\\n<name>mapreduce.map.memory.mb</name>\\n<value>2048</value>\\n</property>\\n<property>\\n<name>mapreduce.reduce.memory.mb</name>\\n<value>2048</value>\\n</property>' /opt/soft/hadoop313/etc/hadoop/mapred-site.xml
echo 'update /opt/soft/hadoop313/etc/hadoop/yarn-site.xml'
sed -i '17a\\<property>\\n<name>yarn.resourcemanager.connect.retry-interval.ms</name>\\n<value>20000</value>\\n</property>\\n<property>\\n<name>yarn.resourcemanager.scheduler.class</name>\\n<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>\\n</property>\\n<property>\\n<name>yarn.nodemanager.localizer.address</name>\\n<value>'$hostname':8040</value>\\n</property>\\n<property>\\n<name>yarn.nodemanager.address</name>\\n<value>'$hostname':8050</value>\\n</property>\\n<property>\\n<name>yarn.nodemanager.webapp.address</name>\\n<value>'$hostname':8042</value>\\n</property>\\n<property>\\n<name>yarn.nodemanager.aux-services</name>\\n<value>mapreduce_shuffle</value>\\n</property>\\n<property>\\n<name>yarn.nodemanager.local-dirs</name>\\n<value>/opt/soft/hadoop313/yarndata/yarn</value>\\n</property>\\n<property>\\n<name>yarn.nodemanager.log-dirs</name>\\n<value>/opt/soft/hadoop313/yarndata</value>\\n</property>' /opt/soft/hadoop313/etc/hadoop/yarn-site.xml
echo 'setup /etc/profile hadoop successful!!!'
fi
三、windows配置Hadoop环境
将hadoop-3.1.3.tar.gz解压然后配置环境变量
3.1、配置环境变量
3.1.1、HADOOP_HOME
变量名：HADOOP_HOME
变量值：存放hadoop的位置
3.1.2、PATH
%HADOOP_HOME%\\bin
%HADOOP_HOME%\\sbin
%HADOOP_HOME%\\lib
3.2、放入window所需文件
- 将下方文文件解压两个文件（hadoop.cmd,hadoop.dll）都放入hadoop目录下的bin目录
- 再将hadoop.dll文件放入C:\\Windows\\System32目录下
- 测试：打开命令提示窗口输入hadoop -version出现hadoop版本号即可
- 再双击hadoop.cmd文件若是闪一下即配置成功，若是报错（ 没有msvcr120.dll文件）则使用下方文件给windows系统打上补丁
编写一键安装伪分布式hadoop的脚本
学校开设了Hadoop这门课程，第一次上课就是在本机上安装一个伪分布式的Hadoop。班上大多数同学由于之前没有使用过linux系统(安装hadoop他们也是在虚拟机中进行)在安装的过程中出现了各种各样的问题不知道怎么解决。索性我... 查看详情
虚拟机安装jdk及hadoop单机版(代码片段)
虚拟机安装jdk对jdk安装包进行解压使用xftp连接虚拟机，将jdk和hadoop的安装包放到opt目录下连接虚拟机cd/opt/切换到opt目录下tar-zxfjdk-8u111-linux-x64.tar.gz对jdk-8u111-linux-x64.tar.gz这个压缩包进行解压解压完之后文件名：jdk1.8.0_111m... 查看详情
hadoop安装(安装详情私)-
...name配置Linux克隆机主机名称映射hosts文件：vim/etc/hostsreboot安装JDK前，一定确保提前删除了虚拟机自带的JDK解压、配置JDK环境变量，测试：java-versionHadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/解压、将Hadoop添加到... 查看详情
⭐️shell脚本一键安装，oracle21csingle抢先体验！！！(代码片段)
...部署主机环境1、Vagrant镜像源添加2、配置VagrantFile3、准备安装介质和脚本4、初始化主机环境Oracle21C单机脚本安装📚写在最后🌲前言2021年8月13日，Oracle21C正式发布Linux64版本的本地安装包。为了体验和完善我的Oracle一... 查看详情
spark实验3
一、实验目的（1）掌握在Linux虚拟机中安装Hadoop和Spark的方法；（2）熟悉HDFS的基本使用方法；（3）掌握使用Spark访问本地文件和HDFS文件的方法。二、实验平台操作系统：Ubuntu16.04；Spark版本：2.1.0；Hadoop版本：2.7.1。三、实验内... 查看详情
hadoop安装及speak安装
参考技术A掌握在Linux虚拟机中安装Hadoop和Spark的方法，熟悉HDFS的基本使用方法，掌握使用Spark访问本地文件和HDFS文件的方法。进入Linux系统，参照本教程官网“实验指南”栏目的“Hadoop的安装和使用”，完成Hadoop伪分布式模式的... 查看详情
如何在windows下使用linux的shell脚本
...windows10之前的版本，可以借助于vmware、virtualpc等虚拟机来安装linux虚拟机，从而实现linux脚本的执行。三、除了安装虚拟机外，也可以安装windows上的linux模拟环境，比如cygwin。参考技术A首先电脑中需要安装的是git的应用程序，安... 查看详情
hadoop学习笔记hdfs单机版windows安装(代码片段)
Hadoop学习笔记（四）HDFS单机版Windows安装1、hadoop相关软件下载1、hadoop下载地址：https://archive.apache.org/dist/hadoop/common/2、windows系统运行环境winutils下载地址：https://download.csdn.net/download/Asia175 查看详情
hadoop框架搭建总结(代码片段)
文章目录一、机器准备二、安装JDK安装步骤shell脚本三、安装zookeeper安装过程修改配置文件配置zk开机自启动启动zookeepershell脚本四、配置免密登录基本步骤shell脚本五、配置Hadoop修改配置文件shell脚本一、机器准备准备三台虚拟... 查看详情
mac下hadoop，hive,hbase，spark单机环境搭建
...件包开始搭建过一次环境，mac下则是使用brew来进行快速安装的。不得不说，用brew后方便很多。一hadoop安装：大家可以参考https://www.cnblogs.com/davidgu/p/6179191.html这篇文章， 查看详情
hadoop2.6.0安装—单机/伪分布
目录环境准备创建hadoop用户更新apt配置SSH免密登陆安装配置Java环境安装HadoopHadoop单机/伪分布配置单机Hadoop伪分布Hadoop启动Hadoop停止Hadoop作者：vincent_zh时间：2016-10-16 出处：http://www.cnblogs.com/vincentzh/p/5967274.html 声明：本文... 查看详情
大数据必知必会：hadoop单机环境安装(代码片段)
(大数据必知必会：Hadoop（1）单机环境安装)安装前准备操作系统准备本次安装采用的操作系统是Ubuntu20.04。更新一下软件包列表。sudoapt-getupdate安装Java8+使用命令安装Java8。sudoapt-getinstall-yopenjdk-8-jdk配置环境变量。vi~/.bashrcexportJAVA... 查看详情
hive学习——单机版hive的安装(代码片段)
目录一、基本概念(一)Hive概念(二)优势和特点(三)Hive元数据管理(四)Hive架构(五)HiveInterface–其他使用环境二、Hive环境搭建1.自动安装脚本2./opt/soft/hive312/conf目录下创建hive配置文件hive-site.xml3.拷贝一个jar包到hive下面的lib目录下4.删... 查看详情
centos7单机怎么安装hadoop
参考技术A.操作系统;5.7.5Minimal版本2.CDH5.CloudraManager版本5.7/5.84.JDK版本：5.7用的JDK7，5.8用的JDK85.使用VirtualBox5搭建3个虚拟机6.硬件，16G内存.83：笔记本i5第6代：Centos6 查看详情
hadoop单机伪分布式安装(完整版)(代码片段)
在学习Hadoop时，我发现网上的各种安装的资料要不不全，要不前后不匹配（比如有的是伪分布式，有的是完全分布式）。此篇文章，我总结了身边的同学在安装Hadoop时遇到的毛病，在前面安装配置环节&... 查看详情
使用 Linux Shell 脚本远程连接到 Cassandra 实例
...2017-02-0417:46:45【问题描述】：我想从我的开发环境连接到安装在远程服务器中的Cassandra。开发环境没有安装cassandra，因此它不允许我执行以下操作来连接到我在另一台机器上运行的cassandra服务器。客 查看详情
单机：oracle19c数据库一键安装(代码片段)
前言本文将演示如何使用脚本一键安装Oracle19C单机数据库的全过程。安装前准备在生产环境中，Linux操作系统和网络一般不是由DBA来配置，为了更贴合生产使用，本脚本仅用于安装Oracle数据库，请提前安装好Linux操作系统。主机... 查看详情
如何在windows下使用linux的shell脚本
...unix模拟环境，是cygnussolutions公司开发的自由软件)安提示安装好cygwin打开cygwin，就可以看到熟悉的命令行提示了，shell环境对应的根目录是软件的安装目录开始使用linux命令：grep、awk、less、vi等等，如果发现有缺少什么命令，重... 查看详情