关键词:
目录
前言
Hadoop 的伪分布式安装需要建立在 Hadoop 的单机安装之上,关于 Hadoop 的单机安装可以参考作者的另一篇博客:Ubuntu下单机安装Hadoop详细教程(附所需安装包下载)
本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用(第3版)》中所要求,其中 Java 版本为1.8.0_301,Hadoop 版本为3.3.1,这里我的操作系统环境是 Ubuntu 20.04,此安装方法同样适用于低版本。
一、修改配置文件
1. 配置 .bashrc 文件
修改 .bashrc 文件:
sudo gedit ~/.bashrc
往文件末加入以下两行:
# 注意此处的路径和你的hadoop文件最后解压存放的位置是一致的
export HADOOP_HOME=/usr/local/hadoop
使配置文件立即生效:
source ~/.bashrc
2. 配置伪分布式
对于伪分布式配置,我们需要修改 core-site.xml 和 hdfs-site.xml 两个文件,这两个文件在我们单机安装好的 Hadoop 目录下的 /etc/hadoop 文件夹内。
Ctrl + Alt + T 打开终端,进入 Hadoop 安装目录:
cd /usr/local/hadoop
输入 ls 命令,可以看到如下输出:
hadoop@fzqs-computer:/usr/local/hadoop$ ls
bin input LICENSE-binary NOTICE-binary README.txt
etc lib licenses-binary NOTICE.txt sbin
include libexec LICENSE.txt output share
hadoop@fzqs-computer:/usr/local/hadoop$
我们所需要修改的配置文件就在该目录下的 /etc/hadoop 文件夹内:
cd ./etc/hadoop
修改我们的 core-site.xml 文件:
sudo gedit core-site.xml
修改文件内容如下:(实则就是往 configuration 里添加参数,注意缩进)
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
期间 gedit 一堆 WARNING 不用管,没有 ERROR 就行。接着修改 hdfs-site.xml 文件:
sudo gedit hdfs-site.xml
也是添加一些配置参数,修改后如下:(注意缩进)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
到这,伪分布式安装所需要的配置就配置好啦!
二、初始化文件系统
先回到我们的 Hadoop 安装目录下:
cd /usr/local/hadoop
使用以下命令初始化文件系统:
./bin/hdfs namenode -format
部分输出如下:
/usr/local/hadoop> ./bin/hdfs namenode -format
WARNING: /usr/local/hadoop/logs does not exist. Creating.
2021-09-27 23:54:48,247 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = fzqs-computer/10.132.13.98
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 3.3.1
......************************************************************/
......2021-09-27 23:54:49,927 INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.
......
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at fzqs-computer/10.132.13.98
************************************************************/
/usr/local/hadoop>
三、验证安装
1. 启动HDFS
文件初始化成功后,赋予 logs 文件夹相关权限:
sudo chmod -R 777 ./logs
可使用如下命令启动 HDFS:
./sbin/start-dfs.sh
注意这里若出现如下报错:localhost: ERROR: JAVA_HOME is not set and could not be found.
hadoop@fzqs-computer:/usr/local/hadoop$ ./sbin/start-dfs.sh
Starting namenodes on [localhost]
localhost: ERROR: JAVA_HOME is not set and could not be found.
Starting datanodes
localhost: ERROR: JAVA_HOME is not set and could not be found.
Starting secondary namenodes [fzqs-computer]
fzqs-computer: Warning: Permanently added 'fzqs-computer,240e:615:4003:132::a07' (ECDSA) to the list of known hosts.
fzqs-computer: ERROR: JAVA_HOME is not set and could not be found.
使用如下命令修改环境文件:
sudo gedit ./etc/hadoop/hadoop-env.sh
添加如下内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
注意这里的 jdk 版本号。正常启动输出如下:
hadoop@fzqs-computer:/usr/local/hadoop$ ./sbin/start-dfs.sh
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [fzqs-computer]2021-09-29 21:16:11,575 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hadoop@fzqs-computer:/usr/local/hadoop$
启动后,使用 jps 指令查看所有 Java 进程,若 HDFS 启动成功输出如下:
hadoop@fzqs-computer:/usr/local/hadoop$ jps
27538 SecondaryNameNode
27138 NameNode
27319 DataNode
27663 Jps
hadoop@fzqs-computer:/usr/local/hadoop$
此时可访问 Web 页面(在浏览器输入:http://localhost:9870):
2. 部分报错
一种是出现 permission denied 权限不足的情况,这种情况下需要往 $HADOOP_HOME/etc/hadoop 目录下的 hadoop-env.sh 添加一行内容:
sudo gedit ./etc/hadoop/hadoop-env.sh
在文首添加以下代码:
HADOOP_SHELL_EXECNAME=root
立即使配置文件生效:
source ./etc/hadoop/hadoop-env.sh
还有一种是 jps 后没有 namenode 等输出的情况,这种情况需要删除 $HADOOP_HOME 目录下的 tmp 目录:
先关闭所有 HDFS 服务:
./sbin/stop-all.sh
删除 tmp 目录:
sudo rm -rf usr/local/hadoop/tmp
接着再重新启动 HDFS:
./sbin/start-dfs.sh
接着 jps 应该就有输出啦!
总结
ubuntu下伪分布式安装hadoop启动后jps无namenode等输出解决办法(代码片段)
...2.2(同理适用于其他版本)Hadoop安装方式:伪分布式 查看详情
ubuntu下伪分布式安装hadoop启动后jps无namenode等输出解决办法(代码片段)
...2.2(同理适用于其他版本)Hadoop安装方式:伪分布式 查看详情
ubuntu下安装spark3.2.0教程(代码片段)
...8;类似于Hbase和Hive),关于Hadoop的单机安装以及伪分布式安装可以参考作者的另两篇博客:Ubuntu下单机安装Hadoop详细教程(附所需安装包下载)Ubuntu下伪分布式安装Hadoop详细教程本文安装的Hadoop及Java环境基于... 查看详情
ubuntu下安装hive3.1.2教程(附mysql安装方法及安装包)(代码片段)
...(类似于Hbase),关于Hadoop的单机安装以及伪分布式安装可以参考作者的另两篇博客:Ubuntu下单机安装Hadoop详细教程(附所需安装包下载)Ubuntu下伪分布式安装Hadoop详细教程本文安装的Hadoop及Java环境基于林... 查看详情
hadoop2.x安装教程_单机/伪分布式配置_ubuntu14.0464bitx
最近需要跟进小组大势,所以学习一下Spark。本文提供一份Hadoop2.x.x的详细教程,非常好用。按照流程来,基本没有问题。本教程由给力星出品,原文链接http://www.powerxing.com/install-hadoop/ 查看详情
hadoop3.1.3分布式集群搭建,超详细,保姆级教程(代码片段)
Hadoop3.1.3分布式集群搭建,超详细,保姆级教程1.环境准备2jdk1.8安装2.1卸载虚拟机自带的JDK2.2安装JDK1.83.在hadoop102安装Hadoop集群3.1集群安装准备3.2安装hadoop3.3hadoop运行模式3.4完全分布式运行模式(开发重点)3.4.1编... 查看详情
ubuntu下单机安装hadoop详细教程(附所需安装包下载)
目录前言一、创建Hadoop用户二、更新apt和安装Vim编辑器三、安装SSH和配置SSH无密码登录四、安装Java环境1.安装JDK2.配置JDK环境3.检验安装 五、安装单机Hadoop1.下载安装Hadoop2.运行示例总结前言本文安装的Hadoop及Java环境基于林子雨... 查看详情
ubuntu下单机安装hadoop详细教程(附所需安装包下载)(代码片段)
目录前言一、创建Hadoop用户二、更新apt和安装Vim编辑器三、安装SSH和配置SSH无密码登录四、安装Java环境1.安装JDK2.配置JDK环境3.检验安装 五、安装单机Hadoop1.下载安装Hadoop2.运行示例总结前言本文安装的Hadoop及Java环境基于林子雨... 查看详情
如何在ubuntu14.04配置分布式hadoop
...用了hadoop用户来操作,这样做的确够方便。结点信息:(分布式集群架构:master为主节点,其余为从节点)机器名IP作用master122.205.135.254NameNodeandJobTrackerslave1122.205.135.212DataNodeandTaskTracker1.JDK的安装首先Hadoop运行需要Java的支持,所以... 查看详情
hadoop单点安装详细教程(代码片段)
系统:Ubuntu18.04Hadoop:3.3.0系统环境准备sudoapt-getupdatesudoapt-getinstalldefault-jdksudoapt-getinstallvimsudoapt-getinstallssh创建一个用户,命名为hadoop(或者其他的也可)sudouseraddhadoop之后输 查看详情
ubuntu下为hadoop安装配置hbase教程(代码片段)
文章目录前言一、安装Hbase1.下载压缩包2.解压安装3.伪分布式安装配置二、运行测试Hbase1.启动Hbase2.测试Hbase三、部分错误处理1.启动Hbase后jps无对应输出2.使用Hbaseshell时出现部分命令使用不了总结前言本教程运行环境是在Ubuntu-64... 查看详情
ubuntu下为hadoop安装配置hbase教程(代码片段)
文章目录前言一、安装Hbase1.下载压缩包2.解压安装3.伪分布式安装配置二、运行测试Hbase1.启动Hbase2.测试Hbase总结前言本教程运行环境是在Ubuntu-64位系统下,HBase版本为hbase-2.2.2,这是目前已经发行的已经编译好的稳定的版... 查看详情
hadoop安装搭建伪分布式教程(全面)吐血整理(代码片段)
Hadoop安装搭建伪分布式教程(全面)吐血整理1、安装下载虚拟机VMware2、下载Ubuntu18.04镜像文件,并在VMware中添加虚拟机。3、Hadoop伪分布式搭建3.1创建hadoop用户,并更新ubuntu系统中相应软件,安装vim编辑器3.1.1... 查看详情
hadoop集群搭建,14张过程截图超详细教程(代码片段)
...结1.Hadoop简介以及集群规划•Hadoop是由Apache基金会开源的分布式储存+分布式计算平台提供分布式的储存和计算•是一个分布式的系统基础架构:用户可以在不了解分布式底层细节的情况下进行使用。•分布式文件系统... 查看详情
hadoop集群搭建,14张过程截图超详细教程(代码片段)
...结1.Hadoop简介以及集群规划•Hadoop是由Apache基金会开源的分布式储存+分布式计算平台提供分布式的储存和计算•是一个分布式的系统基础架构:用户可以在不了解分布式底层细节的情况下进行使用。•分布式文件系统... 查看详情
2.3hadoop安装与体验(代码片段)
文章目录伪分布式配置创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java环境安装HadoopHadoop伪分布式配置运行Hadoop伪分布式实例参考伪分布式配置去ApacheHadoop官网下载最新版,选择二进制下载本教程使用Ubuntu18.0464位作为系... 查看详情
超详细从零记录hadoop2.7.3完全分布式集群部署过程
超详细从零记录Ubuntu16.04.13台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。(首更时间2016年10月27日)主机名/hostnameIP角色hadoop1192... 查看详情
centos安装配置hadoop超详细过程(含故障排除)
...介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细... 查看详情