关键词：
Hadoop集群配置免密SSH登录方法
Hadoop集群包含1个主节点和3个从节点，需要实现各节点之间的免密码登录，下面介绍具体的实现方法。
一、Hadoop集群环境
二、免密登录原理
每台主机authorized_keys文件里面包含的主机（ssh密钥），该主机都能无密码登录，所以只要每台主机的authorized_keys文件里面都放入其他主机（需要无密码登录的主机）的ssh密钥就行了。
三、实现方法
1. 配置每个节点的hosts文件
#vim /etc/hosts
1 192.168.44.3 hadoop01 2 192.168.44.4 hadoop02 3 192.168.44.5 hadoop03 4 192.168.44.6 hadoop04
2. 每个节点生成ssh密钥
[root@hadoop01 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory \'/root/.ssh\'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. ..................... [root@hadoop01 .ssh]# ls id_rsa id_rsa.pub
执行命令后会在~目录下生成.ssh文件夹，里面包含id_rsa和id_rsa.pub两个文件。
注：使用ssh-keygen -t rsa -P \'\' -f ~/.ssh/id_rsa命令可避免上述交互式操作。
3. 在主节点上将公钥拷到一个特定文件authorized_keys中。
[root@hadoop01 ~]# cd .ssh [root@hadoop01 .ssh]# ls id_rsa id_rsa.pub [root@hadoop01 .ssh]# cp id_rsa.pub authorized_keys [root@hadoop01 .ssh]# ls authorized_keys id_rsa id_rsa.pub
4. 将authorized_keys文件拷到下一个节点，并将该节点的ssh密钥id_rsa.pub加入该文件中。
#在hadoop01上使用scp命令实现远程文件拷贝
[root@hadoop01 .ssh]# scp authorized_keys root@hadoop02:/root/.ssh/ The authenticity of host \'hadoop02 (192.168.44.11)\' can\'t be established. ECDSA key fingerprint is SHA256:MyB1zs0E3J/fm8pC0AN8ycsgEIBNHtUqd9xS0WAyv3s. ECDSA key fingerprint is MD5:88:48:3a:ba:3e:14:a7:d7:86:f6:51:74:00:10:f9:00. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added \'hadoop02,192.168.44.11\' (ECDSA) to the list of known hosts. root@hadoop02\'s password: authorized_keys 100% 395 306.2KB/s 00:00
#登录hadoop02主机
[root@hadoop02 ~]# cd .ssh/
[root@hadoop02 .ssh]# ls
authorized_keys id_rsa id_rsa.pub
[root@hadoop02 .ssh]# cat id_rsa.pub >> authorized_keys #使用cat追加方式
5. 重复第4步的操作，依次将hadoop03、hadoop04节点的ssh密钥加入到authorized_keys文件中，并将hadoop04节点生成的authorized_keys文件拷贝到其他三个节点（hadoop01、hadoop02、hadoop03）即可。
#登录hadoop03主机，将ssh密钥加入authorized_keys文件中 [root@hadoop03 .ssh]# cat id_rsa.pub >> authorized_keys [root@hadoop03 .ssh]# scp authorized_keys root@hadoop04:/root/.ssh/ #登录hadoop04主机，将ssh密钥加入authorized_keys文件中 [root@hadoop04 .ssh]# cat id_rsa.pub >> authorized_keys #将最后生成的authorized_keys文件分别拷贝到hadoop01、hadoop02和hadoop03 [root@hadoop04 .ssh]# scp authorized_keys root@hadoop01:/root/.ssh/ [root@hadoop04 .ssh]# scp authorized_keys root@hadoop02:/root/.ssh/ [root@hadoop04 .ssh]# scp authorized_keys root@hadoop03:/root/.ssh/
6. 验证免密登录
使用ssh 用户名@节点名或ssh ip地址命令验证免密码登录。
[root@hadoop01 .ssh]# ssh root@hadoop02 Last login: Tue Feb 12 03:59:46 2019 from 192.168.44.1 [root@hadoop02 .ssh]# ssh root@hadoop01 Last login: Tue Feb 12 21:27:24 2019 from hadoop04 [root@hadoop03 .ssh]# ssh root@hadoop04 Last login: Tue Feb 12 04:00:47 2019 from 192.168.44.1 [root@hadoop04 .ssh]# ssh root@hadoop01 Last login: Tue Feb 12 21:26:44 2019 from hadoop02
大数据实战——hadoop集群实现免密登录和文件互传(代码片段)
前言本节内容我们主要介绍一下hadoop集群服务器之间实现免密登录和文件互传的功能，这样更加方便我们使用hadoop服务器实现服务器之间的相互登录和文件的相互传输。集群之间的访问不在需要授权就可以实现相互访问。正... 查看详情
hadoop集群配置免密登录和集群配置(代码片段)
...，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。2.1三台linux服务器环境准备1.三台机器IP设置三台机器修改ip地址：#对网库进行设置vi/etc/ 查看详情
ubunutu20.04搭建hadoop集群(代码片段)
Ubunutu20.04搭建Hadoop集群第一章普通用户和root用户实现SSH免密登录文章目录Ubunutu20.04搭建Hadoop集群前言一、免密登录原理二、普通用户和root用户实现SSH免密登录1.普通用户实现SSH免密登录1.1修改主机名和IP的映射关系2.root权限下实... 查看详情
hadoop运行模式ssh无密登录配置生成公钥和私钥集群配置集群部署规划默认配置文件核心配置文件hdfs配置文件yarn配置文件mapreduce配置文件在集群上分发配置好的had(代码片段)
文章目录3.Hadoop运行模式3.3SSH无密登录配置3.3.1配置ssh3.3.1.1基本语法3.3.1.2ssh连接时出现Hostkeyverificationfailed的解决方法3.3.1.3退回到hadoop1023.3.2无密钥配置3.3.2.1免密登录原理3.3.2.2生成公钥和私钥3.3.2.3将公钥拷贝到要免密登录的目... 查看详情
linux服务器免密登录配置(代码片段)
...台linux服务器之间，配置免密登录用处很方便首先在hadoop11这台机子上配置主机名映射vim/etc/hosts10.10.0.11hadoop1110.10.0.12hadoop1210.10.0.13hadoop13生成公钥、私钥ssh-keygen-trsa然后一路回车分别发送公钥到3台主机ssh-copy-idhadoop11ssh-copy-idh... 查看详情
hadoop集群搭建记录|云计算[centos7]|伪分布式集群各节点之间免密登录(代码片段)
本文目录写在前面step1安装openssh-serverstep2.ssh文件夹的创建及生成密钥文件step3传送该文件step4slave1&&slave2节点操作step5所有节点最终配置==**免密登录成功**==写在前面本系列文章索引以及一些默认好的条件在传送... 查看详情
配置hadoop的免密登录(代码片段)
今天在阿里云服务器上安装了hadoop，当我使用命令同时启动或者关闭多个节点时会提醒我输入密码，而我不知道密码是什么，感觉自己使用的话输入密码麻烦就想着配置免密登录，免密登录并不是取消了密码登录&... 查看详情
安装centos7搭配linux集群并进行ssh免密登录（图文超详细）(代码片段)
虚拟机VMware装配Linux集群安装centos7,搭配linux集群并进行ssh免密登录（图文超详细）centos7的安装（虚拟机环境）安装centos7,搭配linux集群并进行ssh免密登录（图文超详细）使用centos7搭配Linux集群，使用ssh... 查看详情
学习笔记hadoop——hadoop集群的安装与部署——配置ssh无密码登录(代码片段)
三、配置ssh无密码登录3.1、SSHSSH为SecureShell的缩写，由IETF的网络小组（NetworkWorkingGroup）所制定；SSH为建立在应用层基础上的安全协议。SSH是较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用S... 查看详情
华为云hadoop与spark集群环境搭建(代码片段)
华为云Hadoop与Spark集群环境搭建流程Hadoop2.7.1环境搭建1、购买华为云服务器2、修改服务器相关配置3、配置ssh免密登录4、JDK安装5、Hadoop集群搭建Spark3.2.0集群环境搭建1、Spark安装2、Spark文件配置3、启动Spark集群4、关闭Spark集群所... 查看详情
hadoop完全分布式集群搭建（超详细）-大数据集群搭建(代码片段)
hadoop完全分布式集群搭建本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk密码：553ubk本次完全分布式集群搭建需要提前建... 查看详情
hadoop集群配置运行(代码片段)
文章目录前期准备配置JDK环境Hadoop安装配置hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkersHadoop集群启动hdfs格式化启动集群参考前期准备下面以三台Ubuntu虚拟机搭建集群。需要互相ssh能够免密通讯如果不行，可以参... 查看详情
dockerxhadoop使用docker搭建hadoop集群（从零开始保姆级）(代码片段)
...步骤——0.背景1.创建出第一个容器2.为该容器配置java和hadoop环境3.配置允许外界通过ssh连接容器4.由该容器克隆出多个容器5.为各个容器配置ssh免密登录6.开始编写集群配置7.启动集群2021-10-6补充（务必看一下）好叭--我承... 查看详情
hadoop学习记录(代码片段)
Hadoop学习虚拟机安装linux网络配置SSH服务配置免密登录防火墙配置Jdk安装配置环境变量Hadoop安装和集群配置配置环境变量主节点配置Hdfs-site.xml文件配置此处dfs需注意value前无需添加hdfsMapred-site.xml文件配置yarn-site.xml文件配置Slaves... 查看详情
万字详解ssh（ssh登录原理+ssh配置+模拟实现ssh免密登录）(代码片段)
...免密登录的具体实现1.方法1（常用）2.方法2（集群常用）一、SSH概述ssh是一种用于安全访问远程服务器的协议，远程管 查看详情
hadoop学习记录(代码片段)
Hadoop学习虚拟机安装linux网络配置此处设置IP时注意SSH服务配置免密登录防火墙配置Jdk安装配置环境变量Hadoop安装和集群配置配置环境变量主节点配置Hdfs-site.xml文件配置此处dfs需注意value前无需添加hdfsMapred-site.xml文件配置yarn-site.... 查看详情
大数据学习笔记~hadoop基础篇(代码片段)
前言记录我在学习大数据技术中的学习笔记目录前言一、Hadoop介绍二、Hadoop发行版介绍三、Hadoop核心架构发展历史四、Hadoop三大核心组件介绍五、Hadoop集群安装部署a、伪分布式集群安装部署1.下载hadoop安装包2.设置静态ip 3、修... 查看详情
大数据练习环境部署-hadoop集群部署(代码片段)
目录1.环境配置1.1创建hadoop用户1.2修改相关host1.3ssh免密登陆2.JAVA安装2.1下载JDK1.82.2解压安装java2.3分发到其他节点2.4安装过程中遇到的问题2.4.1切换到其他用户验证时，PATH环境变量未生效方法一增加环境变量参数方法二注释环... 查看详情