关键词：
参考技术A 我的环境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
为了方面配置，我在每台机器上都使用了hadoop用户来操作，这样做的确够方便。
结点信息：(分布式集群架构：master为主节点，其余为从节点)
机器名
IP
作用
master
122.205.135.254
NameNode and JobTracker
slave1
122.205.135.212
DataNode and TaskTracker
1.JDK的安装
首先Hadoop运行需要Java的支持，所以必须在集群中所有的节点安装JDK，
jdk1.8.0_25的详细安装见我的另一篇文章：http://www.linuxidc.com/Linux/2015-01/112030.htm 注意：最好将集群中的JDK都安装在同一目录下，便于配置。实践中，笔者一般将JDK安装在/usr/java这个目录，但并不是必须的。
2.配置hosts文件
修改集群中所有机器的/etc/hosts，打开该文件的命令如下：
sudo gedit /etc/hosts
添加：
122.205.135.254 master
122.205.135.212 slave1
如图所示：
注意：这里的master、slave1、slave2等等，指的是机器的机器名（使用命令hostname可以查看本机的机器名），切记，如果不是机器名的话会出问题的，并且集群中所有结点的机器名都应该不一样。
3.SSH无密码登录
Hadoop主从节点无密码登录的安装配置详细见我的另一篇章：点击打开链接
4.Hadoop的安装与配置
(1).下载解压Hadoop稳定版
我用的是hadoop-2.6.0，下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/stable/
将下载后的Hadoop 拷贝到hadoop目录下，解压到master服务器的/hadoop目录下（配置好master结点后再将其复制到其它的服务器上，一般来说，群集中所有的hadoop都安装在同一目录下）：
解压命令如下：
tar xzfv hadoop-2.6.0.tar.gz
（2）.配置Hadoop
1.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh，添加JDK支持：
export JAVA_HOME=/usr/java/jdk1.8.0_25
如果不知道你的JDK目录，使用命令echo $JAVA_HOME查看。
2.修改hadoop-2.6.0/etc/hadoop/core-site.xml
注意：必须加在<configuration></configuration>节点内
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.0/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
3.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop-2.6.0/dfs/name</value>
<description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop-2.6.0/dfs/data</value>
<description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description>Host or IP and port of JobTracker.</description>
</property>
5. 修改hadoop-2.6.0/etc/hadoop/masters
列出所有的master节点：
master
6.修改hadoop-2.6.0/etc/hadoop/slaves
这个是所有datanode的机器，例如：
slave1
slave2
slave3
slave4
7.将master结点上配置好的hadoop文件夹拷贝到所有的slave结点上
以slave1为例：命令如下：
scp -r ~/hadoop-2.6.0 hadoop@slave1:~/
安装完成后，我们要格式化HDFS然后启动集群所有节点。
5.启动Hadoop
1.格式化HDFS文件系统的namenode
（这里要进入hadoop-2.6.0目录来格式化好些）：
cd hadoop-2.6.0 //进入hadoop-2.6.0目录
bin/hdfs namenode -format //格式化
2.启动Hadoop集群
启动hdrs命令如下：
sbin/start-dfs.sh //开启进程
ubuntu下伪分布式安装hadoop详细教程(代码片段)
目录前言一、修改配置文件1.配置.bashrc文件2.配置伪分布式二、初始化文件系统三、验证安装1.启动HDFS 2.部分报错总结前言 Hadoop的伪分布式安装需要建立在Hadoop的单机安装之上，关于Hadoop的单机安装可以参考作者... 查看详情
ubuntu下伪分布式安装hadoop详细教程(代码片段)
目录前言一、修改配置文件1.配置.bashrc文件2.配置伪分布式二、初始化文件系统三、验证安装1.启动HDFS 2.部分报错总结前言 Hadoop的伪分布式安装需要建立在Hadoop的单机安装之上，关于Hadoop的单机安装可以参考作者... 查看详情
如何在linux上安装与配置hadoop-it168技术开发专区
...主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分... 查看详情
ubuntu-hadoop伪分布(代码片段)
...ff08;确保环境最干净）1.2jdk1.3hadoop配置ssh无密码（分布式的结点以ssh控制，有密码不行）hadoop环境变量伪分布模式检查停止/启用hadoop2.伪分布实例2.1估计pi值2.2统计文本1.ubuntu-hadoop伪分布-环境配置1.1创建 查看详情
如何在linux上安装与配置hadoop-it168技术开发专区
...主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分... 查看详情
如何在linux上安装与配置hadoop
...opversionok,安装成功！（？不算安装吧，哈哈）二、配置伪分布式模式根据上面步骤安装成功后，hadoop处于独立模式即本机模式，在本机模式下，没有运行守护进程，所有程序运行在单个JVM上。本机模式用于开发阶段测试调试MapRed... 查看详情
如何在ubuntu下安装伪分布hadoop(代码片段)
首先要准备一些东西 1.虚拟机2.Xshell 3.Xftp 4.Ubuntu的镜像文件5.jdk的包（Linux版）6.Hadoop的镜像文件（Hadoop的包）7.eclipse（linux版）首先下载虚拟机进入虚拟机官网下载： https://www.vmware.com/cn/products/wor... 查看详情
如何在ubuntu下安装伪分布hadoop(代码片段)
首先要准备一些东西 1.虚拟机2.Xshell 3.Xftp 4.Ubuntu的镜像文件5.jdk的包（Linux版）6.Hadoop的镜像文件（Hadoop的包）7.eclipse（linux版）首先下载虚拟机进入虚拟机官网下载： https://www.vmware.com/cn/products/wor... 查看详情
Hadoop名称节点找不到数据节点
...功建立了一个单节点集群，现在我正在尝试建立一个完全分布式的集群，其中一个namenode运行在master上，一个datanode运行在slave上。运行start-dfs.sh和start 查看详情
ubuntu14.04离线安装cdh5.6.0(代码片段)
...tp://archive.cloudera.com/cdh5/parcels/5.6.0/由于我们的操作系统为ubuntu14.04，需要下载以下文件：CDH-5.6.0-1.cdh5.6.0.p0.45-trusty.parcelCDH-5.6.0-1.cdh5.6.0.p0.45-trusty.parcel.sha1manifest.json全程采用root安装机器配置1.三台机器的ip和名字为192.168.10.... 查看详情
如何在 ubuntu 14.04 中从本地主机发送邮件
】如何在ubuntu14.04中从本地主机发送邮件【英文标题】：Howtosendmailfromlocalhostinubuntu14.04【发布时间】：2016-07-2910:57:11【问题描述】：您好，我已经尝试过这些命令，但我无法发送邮件，请帮帮我..1)安装sendmailSendmail可能已经安装... 查看详情
如何在ubuntu下搭建spark集群
...节点看到worker进程5，运行程序，运行例子进入spark目录下分布式运行./ru 查看详情
hadoop2.x安装教程_单机/伪分布式配置_ubuntu14.0464bitx
最近需要跟进小组大势，所以学习一下Spark。本文提供一份Hadoop2.x.x的详细教程，非常好用。按照流程来，基本没有问题。本教程由给力星出品，原文链接http://www.powerxing.com/install-hadoop/ 查看详情
2.3hadoop安装与体验(代码片段)
文章目录伪分布式配置创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java环境安装HadoopHadoop伪分布式配置运行Hadoop伪分布式实例参考伪分布式配置去ApacheHadoop官网下载最新版，选择二进制下载本教程使用Ubuntu18.0464位作为系... 查看详情
如何在ubuntu14.04中使用samba共享文件
1、安装Samba和图形配置工具使用Ctrl+Alt+T打开终端，并通过如下命令进行安装sudoapt-getinstallsambasamba-commonsystem-config-sambapython-glade2gksu2、在UnityDash中搜索并打开Samba配置工具3、打开首选项下面的服务器设置可以看到基本标签：■工... 查看详情
docker——hadoop完全分布式安装
参考技术A——使用docker拉取官方Ubuntu镜像，将单机安装好hadoop，然后做成image，再跑多个容器做集群。但有人建议不要把本地运行的容器转成镜像！——使用阿里hadoop镜像创建hadoop容器，分别创建三个节点master、slave1、slave2。容... 查看详情
超详细从零记录hadoop2.7.3完全分布式集群部署过程
超详细从零记录Ubuntu16.04.13台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日）主机名/hostnameIP角色hadoop1192... 查看详情
基于vm与hadoop的完全分布式安装(代码片段)
基于VM虚拟机的ubuntu18.04的Hadoop的完全分布式安装，所有的指令都是在超级用户下做的，其中完全分布式模式环境的配置需要在三台虚拟机上都做一次，本人也是第一次做，有很多不会的地方查了很多资料也走了很... 查看详情