关键词：
白名单：表示在白名单的主机IP地址可以，用来存储数据。
配置白名单步骤如下：
1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件
（1）创建白名单
[lytfly@hadoop102 hadoop]$ vim whitelist在whitelist中添加如下主机名称，假如集群正常工作的节点为102 103
hadoop102
hadoop103（2）创建黑名单
[lytfly@hadoop102 hadoop]$ touch blacklist保持空的就可以
2）在hdfs-site.xml配置文件中增加dfs.hosts配置参数
<!-- 白名单 -->
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.4/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-3.1.4/etc/hadoop/blacklist</value>
</property>3）分发配置文件whitelist，hdfs-site.xml
[lytfly@hadoop102 hadoop]$ xsync hdfs-site.xml whitelist4）第一次添加白名单必须重启集群，不是第一次，只需要刷新NameNode节点即可
[lytfly@hadoop102 hadoop-3.1.4]$ myhadoop.sh stop
[lytfly@hadoop102 hadoop-3.1.4]$ myhadoop.sh start5）在web浏览器上查看DN，http://hadoop102:9870/dfshealth.html#tab-datanode
至此白名单添加成功。下面进行白名单的实现：
6）在hadoop104上执行上传数据数据失败
[lytfly@hadoop104 hadoop-3.1.4]$ hadoop fs -put NOTICE.txt /7）二次修改白名单，增加hadoop104
[lytfly@hadoop102 hadoop]$ vim whitelist修改为如下内容:
hadoop102
hadoop103
hadoop1048）刷新NameNode
[lytfly@hadoop102 hadoop-3.1.4]$ hdfs dfsadmin -refreshNodes9）在web浏览器上查看DN，http://hadoop102:9870/dfshealth.html#tab-datanode
大数据hadoop集群的扩容及缩容（动态添加删除节点）
添加白名单和黑名单白名单，表示在白名单的主机IP地址可以用来存储数据企业中；配置白名单，可以尽量防止黑客恶意访问攻击。配置白名单步骤如下：原文：sw-code1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录创建whitelist... 查看详情
hadoop-生产调优手册(代码片段)
...生产配置1.2NameNode心跳并发配置1.3开启回收站配置2HDFS—集群压测2.1测试HDFS写性能2.2测试HDFS读性能3HDFS—多目录3.1NameNode多目录配置3.2DataNode多目录配置3.3集群数据均衡之磁盘间数据均衡4HDFS—集群扩容及缩容4.1添加白名单4.2服役... 查看详情
hadoop3-hdfsdatanode动态扩容和缩容(代码片段)
...sdn.net/qq_43692950/article/details/127181660动态扩容：已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动 查看详情
hadoop3-hdfsdatanode动态扩容和缩容(代码片段)
...sdn.net/qq_43692950/article/details/127181660动态扩容：已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动 查看详情
hadoop3-hdfsdatanode动态扩容和缩容(代码片段)
...sdn.net/qq_43692950/article/details/127181660动态扩容：已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动 查看详情
大数据技术之hadoop（生产调优手册）(代码片段)
...生产配置1.2NameNode心跳并发配置1.3开启回收站配置2HDFS—集群压测2.1测试HDFS写性能2.2测试HDFS读性能3HDFS—多目录3.1NameNode多目录配置3.2DataNode多目录配置3.3集群数据均衡之磁盘间数据均衡4HDFS—集群扩容及缩容4.1添加白名单4.2服役... 查看详情
hadoop离线day07--hadoopyarnha机制(代码片段)
...式自动进入离开手动进入离开安全模式的注意事项 Hadoop集群动态扩容、缩容集群扩容集群缩容ApacheYARNYARN的概述YARN组件--3大组件client提交程序到yarn运行流程YARNschdulerYARN3大调度策略HadoopHA集群今日内容大纲#HDFS安全模式 #Hadoop集... 查看详情
建议收藏大数据技术之hadoop（生产调优手册）(代码片段)
...生产配置1.2NameNode心跳并发配置1.3开启回收站配置2.HDFS—集群压测2.1测试HDFS写性能2.2测试HDFS读性能3.HDFS—多目录3.1NameNode多目录配置3.2DataNode多目录配置3.3集群数据均衡之磁盘间数据均衡4.HDFS—集群扩容及缩容4.1 查看详情
接近3w详解docker搭建redis集群（主从容错主从扩容主从缩容）(代码片段)
1、场景解决方案1、哈希取余分区优点：简单粗暴，直接有效，只需要预估好数据规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器固定处... 查看详情
hdfs服役新数据节点和退役旧节点步骤(代码片段)
...载均衡服务3动态缩容、节点下线3.1添加退役节点3.2刷新集群3.3手动关闭DataNode进程3.4DataNode负载均衡服务4黑白名单机制4.1白名单4.2黑名单1背景已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加... 查看详情
tidb-tidb集群的扩容和缩容及tiup指令说明(代码片段)
一、TIUP工具简介前面介绍了使用TIUP搭建TIDB集群，本篇文章详细介绍下使用TIUP对集群进行扩容和缩容。在面对双十一这种流量突峰的场景，我们平常的TIDB集群有可能承受不住，因此需要提前进行扩容，例如增加ti... 查看详情
zookeeper运维——集群动态迁移与扩缩容（不停机+不丢失）(代码片段)
...文章，希望对你有所帮助。文章目录一、前言二、zk集群动态迁移1、利用Observer机制2、切换客户端zk地址3、修改目的集群配置4、依次重启目的集群三、zk集群动态扩容1、Observer扩容2、Follower扩容（1） 查看详情
zookeeper运维——集群动态迁移与扩缩容（不停机+不丢失）(代码片段)
...文章，希望对你有所帮助。文章目录一、前言二、zk集群动态迁移1、利用Observer机制2、切换客户端zk地址3、修改目的集群配置4、依次重启目的集群三、zk集群动态扩容1、Observer扩容2、Follower扩容（1） 查看详情
zookeeper运维——集群动态迁移与扩缩容（不停机+不丢失）(代码片段)
...文章，希望对你有所帮助。文章目录一、前言二、zk集群动态迁移1、利用Observer机制2、切换客户端zk地址3、修改目的集群配置4、依次重启目的集群三、zk集群动态扩容1、Observer扩容2、Follower扩容（1） 查看详情
hadoop面试连环炮(代码片段)
目录1Hadoop1.1介绍Hadoop1.2Hadoop特性优点1.3hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？1.4Hadoop主要的配置文件1.5Hadoop集群重要命令1.6HDFS的垃圾桶机制1.7HDFS写数据流程1.8Hadoop读数据流程1.9SecondaryNameNode的作... 查看详情
kafka生产环境缩容遇到的一个坑(代码片段)
1、背景最近在折腾Kafka日志集群，由于公司部署的应用不断增加，日志采集程序将采集到的日志发送到Kafka集群时出现了较大延迟，总的TPS始终上不去，为了不影响业务团队通过日志排查问题，采取了先解决问... 查看详情
kafka生产环境缩容遇到的一个坑(代码片段)
1、背景最近在折腾Kafka日志集群，由于公司部署的应用不断增加，日志采集程序将采集到的日志发送到Kafka集群时出现了较大延迟，总的TPS始终上不去，为了不影响业务团队通过日志排查问题，采取了先解决问... 查看详情