关键词：
三、配置ssh无密码登录
3.1、SSH
SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。
SSH 是较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。
SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、Digital UNIX、Irix，以及其他平台，都可运行SSH。
从客户端来看，SSH提供两种级别的安全验证：
第一种级别（基于口令的安全验证）
需要帐号和口令，就可以登录到远程主机。所有传输的数据都会被加密，但是不能保证正在连接的服务器就是你想连接的服务器。可能会有别的服务器在冒充真正的服务器，也就是受到“中间人”这种方式的攻击。
第二种级别（基于密匙的安全验证）
需要依靠密匙，也就是必须创建一对密匙，并把公用密匙放在需要访问的服务器上。如果要连接到SSH服务器上，客户端软件就会向服务器发出请求，请求用密匙进行安全验证。服务器收到请求之后，先在该服务器上的主目录下寻找公用密匙，然后把它和发送过来的公用密匙进行比较。如果两个密匙一致，服务器就用公用密匙加密“质询”（challenge）并把它发送给客户端软件。客户端软件收到“质询”之后就可以用私人密匙解密再把它发送给服务器。
3.2、MS架构
Hadoop是M-S架构，即Master-Slave架构。
3.3、配置主节点无密码登录
首先，生成密匙
ssh-keygen -t rsa
完成后，拷贝公匙（依次执行）
ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3
验证(依次执行)：
ssh master
ssh node1
ssh node2
ssh node3
学习笔记hadoop——hadoop集群的安装与部署——hadoop配置参数介绍hadoop集群启动与监控(代码片段)
五、Hadoop配置参数介绍Hadoop集群配置文件主要有：它们的默认参数配置可以看：core-default.xml：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xmlhdfs-default.xml：https:/ 查看详情
学习笔记hadoop——hadoop集群的安装与部署——hadoop集群部署模式配置固定ip(代码片段)
一、Hadoop集群部署模式Hadoop的安装部署的模式一共有三种：独立模式（本地模式）standalone默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapRed... 查看详情
大数据学习笔记~hadoop基础篇(代码片段)
前言记录我在学习大数据技术中的学习笔记目录前言一、Hadoop介绍二、Hadoop发行版介绍三、Hadoop核心架构发展历史四、Hadoop三大核心组件介绍五、Hadoop集群安装部署a、伪分布式集群安装部署1.下载hadoop安装包2.设置静态ip 3、修... 查看详情
学习笔记hadoop——hadoop集群的安装与部署——虚拟机安装java安装(代码片段)
一、虚拟机安装1.1、了解一下概念操作系统操作系统（operationsystem，简称OS）是管理计算机硬件与软件资源的计算机程序。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设... 查看详情
hadoop学习笔记hdfshdfs集群(分布式)安装(代码片段)
安装Hadoop(LinuxCentOS)HDFS集群(分布式)1、hadoop集群配置1.0、需要配置的文件列表：cdetc/hadoopcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkers1.1、vicore-site.xml<configuration> <property><n 查看详情
hadoop学习笔记二集群环境搭建(代码片段)
零、准备工作 准备三台Linux服务器。本文是在自己的台式机上安装了虚拟机工具（vmware和virtualbox都行），装3台CentOS7虚拟机。 集群规划：hadoop001192.168.164.10hadoop002192.168.164.20hadoop003192.168.164.30HDFS集群NameNo... 查看详情
学习笔记hadoop——hadoop集群的安装与部署——配置ssh无密码登录(代码片段)
三、配置ssh无密码登录3.1、SSHSSH为SecureShell的缩写，由IETF的网络小组（NetworkWorkingGroup）所制定；SSH为建立在应用层基础上的安全协议。SSH是较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用S... 查看详情
大数据讲课笔记3.2hadoop部署模式(代码片段)
文章目录零、学习目标一、导入新课二、新课讲解（一）Hadoop部署模式1、独立模式2、伪分布式模式3、完全分布式模式（二）Hadoop集群规划1、集群拓扑2、角色分配（三）JDK安装与配置1、下载JDK压缩包2、... 查看详情
大数据讲课笔记3.2hadoop部署模式(代码片段)
文章目录零、学习目标一、导入新课二、新课讲解（一）Hadoop部署模式1、独立模式2、伪分布式模式3、完全分布式模式（二）Hadoop集群规划1、集群拓扑2、角色分配（三）JDK安装与配置1、下载JDK压缩包2、... 查看详情
hadoop学习笔记hdfs高可用集群
Hadoop学习笔记（六）HDFS高可用集群架构图组件介绍ZKFailoverController是基于Zookeeper的故障转移控制器，它负责控制NameNode的主备切换，ZKFailoverController会检测NameNode的健康状态，当发现ActiveNameNode出现异常时会通过... 查看详情
学习笔记hadoop——hadoop基础操作——hadoop安全模式hadoop集群基本信息(代码片段)
一、Hadoop安全模式在分布式文件HDFS系统启动的时候，会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时... 查看详情
大数据讲课笔记3.4hadoop集群测试(代码片段)
文章目录零、学习目标一、导入新课二、新课讲解（一）通过UI界面查看Hadoop运行状态1、hadoop2和hadoop3端口区别表2、查看HDFS集群状态3、查看YARN集群状态（二）Hadoop集群初体验——词频统计1、启动Hadoop集群2、在... 查看详情
大数据讲课笔记3.4hadoop集群测试(代码片段)
文章目录零、学习目标一、导入新课二、新课讲解（一）通过UI界面查看Hadoop运行状态1、hadoop2和hadoop3端口区别表2、查看HDFS集群状态3、查看YARN集群状态（二）Hadoop集群初体验——词频统计1、启动Hadoop集群2、在... 查看详情
hadoop基础学习
Hadoop基础学习Hadoop介绍Hadoop现状Hadoop的优点：三高一低Hadoop的版本发展Hadoop集群整体概述HDFS集群YARN集群Hadoop集群的开启HDFS分布式文件系统介绍HDFS简介HDFS核心属性及功能主从架构分布式存储元数据记录分块存储副本机制names... 查看详情
spark学习笔记-spark集群搭建
安装spark包11、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。22、解压缩spark包：tarzxvfspark-1.3.0-bin-hadoop2.4.tgz。33、更改spark目录名：mvspark-1.3.0-bin-hadoop2.4spark44、设置spark环境变量5vi.bashrc6exportSPARK_H 查看详情
hadoop入门学习
Hadoop入门学习1.Hadoop基础知识1.1基础概念1.2Hadoop特性优点1.3Hadoop集群整体概述1.4集群简介1.5hadoop集群搭建（在linux上搭建）2.参考视频1.Hadoop基础知识1.1基础概念1.2Hadoop特性优点1.3Hadoop集群整体概述1.4集群简介1.5hadoop集群搭... 查看详情
学习笔记hadoop——hadoop介绍——hadoop核心组件
二、Hadoop核心组件2.1、ApacheHadoop简介ApacheHadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还... 查看详情
mac本地安装单机hadoop--学习笔记
Mac配置hadoop1.修改/etc/hosts127.0.0.1localhost2.下载hadoop2.9.0和jdk并安装配置相应环境vim/etc/profileexportHADOOP_HOME=/Users/yg/app/cluster/hadoop-2.9.0exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportPATH=$PATH: 查看详情