正文 

当前位置： 首页 > java > java语法

大数据学习系列之一-----hadoop环境搭建(单机)

虚无境的博客      2022-02-16     793

关键词：

一、环境选择

1，服务器选择

阿里云服务器:入门型(按量付费)
操作系统:linux CentOS 6.8
Cpu：1核
内存：1G
硬盘:40G
ip:39.108.77.250
技术分享图片

2，配置选择

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)

3，下载地址

官网地址:
JDK：
http://www.oracle.com/technetwork/java/javase/downloads

Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common

百度云:

链接：http://pan.baidu.com/s/1pLqS4kF 密码：yb79

二、服务器的相关配置

在配置Hadoop之前，应该先做以下配置

1，更改主机名

首先更改主机名，目的是为了方便管理。
输入:

hostname

查看本机的名称
然后输入:

vim /etc/sysconfig/network

修改主机名称
将HOSTNAME 的名称更改为你想要设置的名称
技术分享图片
注:主机名称更改之后，要重启(reboot)才会生效。

输入

vim /etc/hosts

添加 主机IP 和对应的主机名称，做映射。
技术分享图片

注:在配置文件中使用主机名的话，这个映射必须做！

2，关闭防火墙

关闭防火墙，方便外部访问。
CentOS 7版本以下输入:
关闭防火墙

service   iptables stop

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

3，时间设置

输入:

date

查看服务器时间是否一致，若不一致则更改
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

三、Hadoop环境安装

1，下载jdk、hadoop

将下载下来的 jdk、hadoop 解压包放在home 目录下
并新建java、hadoop文件夹
技术分享图片

3.1.1解压文件

输入:
tar -xvf jdk-8u144-linux-x64.tar.gz
tar -xvf hadoop-2.8.2.tar.gz
解压jdk和hadoop ,分别移动文件到java和hadoop文件下，
并将文件夹重命名为jdk1.8和hadoop2.8
技术分享图片

2，JDK环境配置

首先输入

java -version

查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载

3.2.1 profile 文件更改

编辑 /etc/profile 文件
输入:

vim /etc/profile

整体的配置文件:

export JAVA_HOME=/home/java/jdk1.8
export JRE_HOME=/home/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

技术分享图片
注: JAVA_HOME的路径是 JDK的路径

使用vim 编辑之后 记得输入

source /etc/profile

使配置生效

配置完后，输入java -version 查看版本信息
技术分享图片

3，Hadoop 环境配置

3.3.1 profile 文件更改

编辑 /etc/profile 文件
输入:

vim /etc/profile

整体的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

技术分享图片
输入:

source  /etc/profile

使配置生效

修改配置文件

3.3.2新建文件夹

在修改配置文件之前，现在root目录下建立一些文件夹。
输入:

mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data

注:在root目录下新建文件夹是防止被莫名的删除。

首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3.3.3修改 core-site.xml

输入:

vim core-site.xml

在<configuration>添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://test1:9000</value>
   </property>
</configuration>

技术分享图片
说明: test1 可以替换为主机的ip。

3.3.4修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为：

export   JAVA_HOME=/home/java/jdk1.8

技术分享图片

3.4.5修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在<configuration>添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

技术分享图片

说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

3.4.6 修改mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>test1:49001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

技术分享图片

使用的命令:
技术分享图片
到此 Hadoop 的单机模式的配置就完成了。

四、Hadoop启动

第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.8/bin目录下输入

  ./hadoop  namenode  -format

技术分享图片
技术分享图片

初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。
技术分享图片

启动Hadoop 主要是启动HDFS和YARN
切换到/home/hadoop/hadoop2.8/sbin目录
启动HDFS
输入:

start-dfs.sh

登录会询问是否连接，输入yes ，然后输入密码就可以了
技术分享图片

启动YARN
输入:

start-yarn.sh

技术分享图片

可以输入 jps 查看是否成功启动

在浏览器输入:
http://39.108.77.250:8088/cluster
技术分享图片

到此，Hadoop的单机配置就结束了。















































大数据学习系列之七-----hadoop+spark+zookeeper+hbase+hive集

引言在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什么先写单机的搭建，是因为作为个人学习的话，... 查看详情

大数据学习系列之三-----hbasejavaapi图文详解(代码片段)

引言在上一篇中大数据学习系列之二-----HBase环境搭建(单机)中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java对HBase的一些操作。一、事前准备1.确认hadoop和hbase成功启动2.确认防火墙是否关闭3.maven所需要的依赖架包<!--h... 查看详情

大数据基石-hadoop3.x学习教程-hadoop产品了解与快速上手(代码片段)

大数据基石-HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建3、Hadoop快速上手三、... 查看详情

大数据系列——hadoop集群完全分布式坏境搭建

前言上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。技术准备VMware虚拟机、CentOS6.864bit安装流... 查看详情

hadoop环境搭建

啥是大数据？问啥要学大数据？ 在我看来大数据就很多的数据，超级多，咱们日常生活中的数据会和历史一样，越来越多！！！大数据有四个特点(4V)：大多样快价值学完大数据我们可以做很多事，比如可以对许多单词进行... 查看详情

0基础搭建hadoop大数据处理-环境

 　　由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。　　VMware的安装，装好一个虚拟机后... 查看详情

hadoop学习笔记—22.hadoop2.x环境搭建与配置

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍，对Hadoop这个神奇的小象有了一个初步的了解，还对每次学习的内容进行了总结，也形成了我的一个博文系列《Hadoop学习笔记系列》。其实，早在2014年Hadoop2.x版本就已经... 查看详情

hadoop大数据平台组件搭建系列——zookeeper组件配置(代码片段)

简介本篇介绍Hadoop大数据平台组件中的Zookeeper组件的搭建使用软件版本信息zookeeper-3.4.14.tar.gzZookeeper安装解压Zookeeper安装包至目标目录下，并配置环境变量，使环境变量生效解压zookeeper安装包tar-zxvf/opt/software/zookeeper-3.4.14.... 查看详情

0基础搭建hadoop大数据处理-集群安装

　　经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz　　不需要下载最新的3.0版本，与后续Hive最新版本有冲突，不... 查看详情

大数据hadoop入门之hadoop家族详解

大数据hadoop入门之hadoop家族详解大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门... 查看详情

大数据技术之hadoop（入门）概述运行环境搭建运行模式(代码片段)

...1.3.3MapReduce架构概述1.3.4HDFS、YARN、MapReduce三者关系1.3.5大数据技术生态体系1.3.6推荐系统框架图2Hadoop运行环境搭建（开发重点）2. 查看详情

大数据hadoop入门之hadoop家族详解

大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很... 查看详情

【大数据】使用docker搭建hadoop集群

参考技术A启动后发现还是无法使用hadoop、hdfs、hive等命令，我们需要安装hadoop和hive这个时候我们进入bin路径下，即可执行./hadoop或者./hdfs等命令，我们接下来将其加入环境遍历以便全局使用这些命令，在~/.bashrc文件后面追加下面... 查看详情

hadoop系列之hadoop环境搭建

...境简介centos系统jdk（jdk的安装和配置，请参考Linux系列之安装jdk（二））hadoop3.2.1一、创建hadoop用户useradd-mhadoop-s/bin/bash#创建新用户hadooppasswdhadoop#输入密码（若提示“无效的密码，过于简单”则再次输... 查看详情

大数据运维hadoop完全分布式环境搭建(代码片段)

文章目录一、准备工作1.1安装VMware并设置网络1.2.安装centos虚拟机(这里就不详细说了，网上太多了)1.3虚拟机配置（三台虚拟机同理）二、集群规划2.1编写同步脚本xsync2.2安装JAVA环境JDK2.3hadoop安装2.3.1配置hadoop2.4启动hado... 查看详情

eclipse搭建hadoop开发环境二三事

...Eclipse搭建开发环境        当我们完成了基本的概念学习，我们就应该着手写代码了。毕竟时间才是真理啊！好了，今天我们就来 查看详情

大数据分析hadoop+spark10分钟搭建hadoop（伪分布式）+spark（local模式）环境

文章目录Hadoop（伪分布）+Spark（Local）软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、Hadoop安装及配置（伪分布式）1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安... 查看详情

spark入门实战系列--2.spark编译与部署（上）--基础环境搭建

注】1、该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取；2、Spark编译与部署将以CentOS64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础环境搭建、Ha... 查看详情