正文 

当前位置： 首页 > 技术 > java教程

分布式集群（第一节网络与ssh登录配置）(代码片段)

红目香薰 红目香薰     2022-12-03     213

关键词：

第二章、hadoop分布式集群

目录

配置静态IP地址和修改主机名

修改计算机名称(正式配置)

远程登录测试

配置静态IP地址和修改主机名(网络配置使用随机分配免配置)

vi /etc/sysconfig/network-scripts/ifcfg-ens33

需要注意修改时:

BOOTPROTO=static
ONBOOT=yes

BOOTPROTO=static # 将 dhcp 换成 static

ONBOOT=yes # 将 no 换成 yes

追加配置：

IPADDR=192.168.200.100 # 静态 IP

GATEWAY=192.168.200.1 # 默认网关

输入：service network restart

主机的网络配置

IPADDR（静态ip）、PREFIX（子网掩码长度24）、GATEWAY（默认网关）、DNS（域名）

IPADDR=192.168.52.131
PREFIX=24
GATEWAY=192.168.52.1
DNS1=192.168.52.1

重启网络·三个机器都需要哦。

service network restart

子机的网络配置(暂时名字是【a1】【a2】)

IPADDR=192.168.52.132
PREFIX=24
GATEWAY=192.168.52.1
DNS1=192.168.52.1

IPADDR=192.168.52.133
PREFIX=24
GATEWAY=192.168.52.1
DNS1=192.168.52.1

修改计算机名称(正式配置)

vi /etc/hostname

主机： 

 子机：(a1/a2自己改名字就行)

2、配置主机名查询静态表

配置【master】主机的【hosts】，静态表。

vi /etc/hosts
192.168.52.131 master
192.168.52.132 a1
192.168.52.133 a2

远程拷贝静态表到【a1与a2】两个子机，需要输入【yes】与【password】 

scp -r /etc/hosts a1:/etc/hosts

scp -r /etc/hosts a2:/etc/hosts

为了能看到已经修改的机器名，需要重启Linux：【reboot】

3、配置SSH免密

主机

ssh-keygen -t rsa

需要回车的地方回车，需要输入【y】的地方输入即可。 

远程拷贝到【a1与a2】两个子机

ssh-copy-id -i root@a1

ssh-copy-id -i root@a2

为了操作方便，主机也复制一个：

ssh-copy-id -i root@localhost

远程登录测试（如果未重启无法显示对应名称）

一节课详解ssh协议(代码片段)

SSH介绍?Telnet缺少安全的认证方式，而且传输过程采用TCP进行明文传输，存在很大的安全隐患。单纯提供Telnet服务容易招致DoS（DenyofService）、主机IP地址欺骗、路由欺骗等恶意***。?随着人们对网络安全的重视，传统的Telnet和FTP通... 查看详情

hadoop集群配置免密ssh登录方法(代码片段)

Hadoop集群配置免密SSH登录方法 Hadoop集群包含1个主节点和3个从节点，需要实现各节点之间的免密码登录，下面介绍具体的实现方法。一、Hadoop集群环境二、免密登录原理每台主机authorized_keys文件里面包含的主机（ssh密钥），... 查看详情

第一节——maven安装与配置(代码片段)

一、maven的安装下载地址：https://maven.apache.org/download.cgi解压文件夹，得到maven，命令：tar-xzvf二、maven的配置配置本地仓库：修改apache-maven-3.8.2/conf/settings.xml文件，添加<localRepository&g 查看详情

hadoop完全分布式ssh无密登录配置(代码片段)

SSH无密登录配置1.配置ssh2.无密钥配置3..ssh文件夹下（~/.ssh）的文件功能解释1.配置ssh（1）基本语法ssh另一台电脑的IP地址（2）ssh连接时出现Hostkeyverificationfailed的解决方法:[zs@hadoop102~]$sshhadoop103如果出现... 查看详情

ssh免密登录配置及.ssh文件夹下文件简析(代码片段)

前言  ssh免密登录主要用于集群间使用脚本进行一键启动服务。例如hadoop集群，如果namenode所在主机与datanode及自己本身所在主机未配置免密登录，在使用start-all.sh或stop-all.sh脚本一键启动hadoop集群时，未配置免密登... 查看详情

学习笔记hadoop——hadoop集群的安装与部署(代码片段)

文章目录一、Hadoop集群部署模式二、配置固定IP2.1、虚拟机DHCP2.2、步骤三、配置ssh无密码登录3.1、SSH3.2、MS架构3.3、配置主节点无密码登录四、配置Hadoop集群4.1、上传并解压Hadoop安装包4.2、修改配置文件：hadoop-env.sh4.3、修改... 查看详情

hadoop集群搭建记录|云计算[centos7]|伪分布式集群各节点之间免密登录(代码片段)

本文目录写在前面step1安装openssh-serverstep2.ssh文件夹的创建及生成密钥文件step3传送该文件step4slave1&&slave2节点操作step5所有节点最终配置==**免密登录成功**==写在前面本系列文章索引以及一些默认好的条件在传送... 查看详情

大数据技术栈-hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署(代码片段)

目录环境条件：1、安装虚拟机（已安装好虚拟机的可跳转至 一、安装jdk与hadoop）（1）直接新建一台虚拟机（2）首次启用虚拟机，进行安装一、集群前置环境搭建（三台机器分别设置hostname、... 查看详情

大数据☀️搞定hadoop集群☀️hadoop运行模式-完全分布式(代码片段)

目录 三大模式：完全分布式搭建：分析：编写集群分发脚本xsync：1.scp（securecopy）安全拷贝：2.rsync远程同步工具：3.xsync集群分发脚本：SSH无密登录配置：配置SSH：1.基本语法：2.ssh... 查看详情

安装centos7搭配linux集群并进行ssh免密登录（图文超详细）(代码片段)

虚拟机VMware装配Linux集群安装centos7,搭配linux集群并进行ssh免密登录（图文超详细）centos7的安装（虚拟机环境）安装centos7,搭配linux集群并进行ssh免密登录（图文超详细）使用centos7搭配Linux集群，使用ssh... 查看详情

hadoop搭建-小白友好系(代码片段)

...1a;创建用户必要组件安装配置SSH安装Java安装Hadoop：伪分布式配置：运行实例：分布式HadoopHadoop集群的安装配置大致为如下流程:网络配置创建你的Slave1&Slave2SSH无密码登录配置Path环境变量配置集群/分布式环境浏览器... 查看详情

hadoop完全分布式集群搭建（超详细）-大数据集群搭建(代码片段)

hadoop完全分布式集群搭建本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk密码：553ubk本次完全分布式集群搭建需要提前建... 查看详情

搭建hadoop2.9伪分布集群环境(代码片段)

搭建Hadoop2.9伪分布集群环境自己创建一个普通用户，用普通用户登录或者用root登录也可以的，具体根据公司的要求来systemctlstopfirewalldsystemctldisablefirewallduseraddhadoop1#我创建的用户是hadooppasswdhadoop1#这里输入用户hadoop的密码... 查看详情

分布式服务管理框架-zookeeper安装与配置（单机集群）(代码片段)

...接：http://blog.csdn.net/xyang81/article/details/53002175Zookeeper分布式服务框架是ApacheHadoop下的一个子项目，它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布... 查看详情

使用dockerswarm搭建分布式爬虫集群(代码片段)

使用DockerSwarm搭建分布式爬虫集群在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一... 查看详情

hadoop伪分布式集群搭建总结

Hadoop伪分布式集群搭建总结一、所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二、安装注意：对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操作为：点击键盘上的Esc按钮，然后输入英文的:字符，再输入wq，点击回车... 查看详情

hadoop运行模式ssh无密登录配置生成公钥和私钥集群配置集群部署规划默认配置文件核心配置文件hdfs配置文件yarn配置文件mapreduce配置文件在集群上分发配置好的had(代码片段)

文章目录3.Hadoop运行模式3.3SSH无密登录配置3.3.1配置ssh3.3.1.1基本语法3.3.1.2ssh连接时出现Hostkeyverificationfailed的解决方法3.3.1.3退回到hadoop1023.3.2无密钥配置3.3.2.1免密登录原理3.3.2.2生成公钥和私钥3.3.2.3将公钥拷贝到要免密登录的目... 查看详情

使用dockerswarm搭建分布式爬虫集群(代码片段)

在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？有时... 查看详情