关键词：
CDH 6.3.2 开启kerberos 遇到 的坑
标签（空格分隔）： 大数据平台构建
- 一： 关于安装系统的一些坑
- 二： 关于 开启Kerberos Java 的 一些坑
- 三： 关于hive
一： 关于 安装系统的一些坑
1） 安装之前一定 确认 jdk 的安装 目录 因为 通过 centos 7 这个系统 默认会 在装之前 会自带 一些 jdk 版本 要彻底卸载 这个 jdk ， 最好是保证安装系统之前 自装 最简 的centos 7.5 x64 mini
2 ) 系统最好 分区为三个
/
swap
/boot
千万不要用 LVM 分区 与启用raid
产线存储数据（DN）盘 另外加
二：关于 开启Kerberos Java 的 一些坑
1） 安装cloudera-manger 有安装依赖包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql* portmap mod_ssl openssl-devel python-psycopg2 MySQL-python
执行 完这个步骤 之后 有 jdk 安装
要卸载这个 jdk 保证 系统的jdk 为自己安装的jdk 在安装 CDH 6.3.2
保证CDH 的 环境 有一个JDK 存在，并且是 自己安装的
2） 20/05/29 09:13:18 WARN security.UserGroupInformation: Not attempting to re-login since the last re-login was attempted less than 60 seconds before. Last Login=1590714794874
这个报错是开启的Kerberos 的jdk 缺少 应用
因为系统采用的是Centos7.6,对于使用Centos5.6及以上系统，默认采用 AES-256 来加密；这就需要CDH集群所有的节点都安装 Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File
需要下载 jdk 8 的JCE 来覆盖
下载链接：https://www.oracle.com/technetwork/java/javase/downloads/index.html
JAVA_HOME=/usr/java/jdk1.8.0_161-cloudera
cp UnlimitedJCEPolicyJDK8/*.jar /usr/java/jdk1.8.0_161-cloudera/jre/lib/security/
然后 从新启动CDH6.3.2的集群
3） 确认CDH6.3.2 集群 是 当前 安装的jdk 这个 不然开启Kerberos 会报错
所有主机 --》 配置--高级--》 设置Java 的环境目录然后从新 启动 整个 CDH 集群
三： 关于 那个 新建用户的提交任务的坑
1. 新建用户提交job
----
1）保证所有节点 都有这个用户 没有就用useradd 去建立
useradd flyfish
2) 保证Kerberos 的 krb5admin 库有 principal 库有 这个 账号
kadmin.local
addprinc flyfish@LANXIN.COM
输入密码 然后使用kinit 登录 没有问题才可以
之后导出这个keytab
kadmin.local
xst -kt /root/flyfish.keytab -norandkey flyfish@LANXIN.COM
这里面会有涉及那个Kerberos 导出keytab 过期问题要 一定要加一个 -norandkey 参数
kinit -kt /root/flyfish.keyab flyfish
klist
3）在yarn上面提交任务必须 userid 小与 1000
----
是由于Yarn限制了用户id小于1000的用户提交作业；
解决方法：修改Yarn的min.user.id来解决
2.异常信息：
Diagnostics: Application application_1504017397148_0002 initialization failed (exitCode=255) with output: main : command provided 0
main : run as user is hdfs
main : requested yarn user is hdfs
Requested user hdfs is not whitelisted and has id 986,which is below the minimum allowed 1000
-------
以上报错是因为 CDH 不给以 hdfs 这个用户 提交 任务 所以要给予 hdfs 的这个用户 提交 任务 的权限
取消掉 hdfs 的 禁用 拿掉 
错误：
FATAL org.apache.hadoop.hdfs.server.namenode.NameNode Exception in namenode join java.io.IOException There appears to be a gap in the edit log
这个一般是Hadoop HDFS HA 出现问题fsimage 损坏出现 问题 会报这个错误
如果在CDH中的 HDFS HA 散架崩溃 出现问题
1） 下架 问题 namenode节点
2) 第二步 会出现 以上 fsimage 问题
先把元数据fsimage 的问题节点 进行 备份 就是 安装 大数据CDH 平台时候 namenode的NN 目录生成文件
一般是 /dfs/nn 这个目录
3） namenode元数据被破坏，需要修复
hdfs namenode –recover
一路选择c，一般就OK了hive 中的 坑：
AnalysisException: Failed to load metadata for table: ‘dw_pay_report_results.t_pay_report_credit_paopi_pay‘ CAUSED BY: TableLoadingException: Failed to load metadata for table: dw_pay_report_results.t_pay_report_credit_paopi_pay CAUSED BY: IllegalArgumentException: java.net.UnknownHostException: ns1 CAUSED BY: UnknownHostException: ns1
这个是 因为 HDFS HA 出现 散架 配置 这个时候 一般要 从新 CDH 上面 配置 HA 在启动 配置 并命名 为 ns1 的HA 然后跟新 hive 的 metastore
可以查看 metastore 中的 mysql 中 DBS 与 SDS 两表中设置了 Hive的元数据信息 需要修改此表。
第一种方法是将 这些 ns1 全部 改掉 这种 方法 一般 用在 apache 的版本 部署的Hadoop 因为 启用 HA 配置比较麻烦
第二种方法就是在CDH 中 再次启动 HA 然后 跟新 hive 的metastore
更新hive metastore 一般是在 启用 hdfs HA 之后
1） 启用 hdfs HA 之后
2) 启用 hive 的metastore 更新
先停掉 hive 
然后更新
然后从新启动 hive 
cdh6.3.2开启kerberos认证(代码片段)
CDH6.3.2开启kerberos认证1、查看hosts文件cat/etc/hosts192.168.1.210cdh-1192.168.1.211cdh-2192.168.1.212cdh-32、安装kerberos相关服务cdh-1:yuminstallkrb5-serverkrb5-workstationpam_krb5-ycdh-[2-3]：yuminstallkrb5-develkrb 查看详情
如何在cdh6.3.2启用kerberos中使用sentry限制用户读写(代码片段)
如何在CDH6.3.2启用Kerberos中使用sentry限制用户读写标签（空格分隔）：大数据平台构建一：系统环境介绍二：CDH6.3.2启用安装sentry三：sentry使用四：启用sentry测试一：系统环境介绍操作系统CentOS7.5x64cdh/cm版本cm:6.3.1cdh:6.3.2采用root用... 查看详情
cdh6.3.2启用kerberos认证
一.Kerberos概述强大的身份验证和建立用户身份是Hadoop安全访问的基础。用户需要能够可靠地“识别”自己，然后在整个Hadoop集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群... 查看详情
kerberos环境下parcel方式部署flink1.15.3基于cdh6.3.2flinkonyarn
1.1FlinkonYarn的优势相对于Standalone模式，在Yarn模式下有以下几点好处：1.资源按需使用，提高集群的资源利用率；2.任务有优先级，根据优先级运行作业；3.基于Yarn调度系统，能够自动化地处理各个角色... 查看详情
cdh6.3.2集成flink的部署配置(代码片段)
CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据... 查看详情
centos7安装cdh6.3.2集群(代码片段)
CDH软件准备cdh6下载地址 https://archive.cloudera.com/cdh6/6.3.2/parcels/cm6下载地址 https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/ 一、操作系统1、虚拟机设置 查看详情
cdh6.3.2hiveonspark报错isrunningbeyondphysicalmemorylimits(代码片段)
Hue跑hivesql时报错如下java.lang.IllegalStateException:ConnectiontoremoteSparkdriverwaslost查看yarn报错日志如下Container[pid=41355,containerID=container_1451456053773_0001_01_000002]isrunningbeyondphysicalme 查看详情
cm6.3.1-cdh6.3.2安装streamsets3.22.3(代码片段)
版本CM6.3.1CDH6.3.2Streamsets3.22.3Centos7.6一、准备Parcel包1下载Parcel包打开官方提供的下载地址下载地址下载Streamsets3.22.3版本的Manifest，Streamsets3.22.3版本的ClouderaCentos7对应的ParcelRHEL7、SHA、CustomServiceDescriptor(CSD)最大的是 查看详情
cdh6.3.2之kafka配置和命令(代码片段)
文章目录版本查看命令创建主题查看有哪些主题查看某个主题的描述生产和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它版本查看在页... 查看详情
cdh6.3.2之kafka配置和命令(代码片段)
文章目录版本查看命令创建主题查看有哪些主题查看某个主题的描述生产和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它版本查看在页... 查看详情
cdh6.3.2集成apacheflink1.12.0(代码片段)
目录一、编译Flink1下载flink源码2增加maven镜像3执行编译命令二、编译parcel1下载flink-parcel2修改参数3复制安装包4编译parcel5编译csd6上传文件三、CDH集成1登录CDH2进入Parcel操作界面3分配Parcel4激活Parcel5回主界面6添加服务报错解决参考... 查看详情
cdh6.3.2集成apacheflink1.12.0(代码片段)
目录一、编译Flink1下载flink源码2增加maven镜像3执行编译命令二、编译parcel1下载flink-parcel2修改参数3复制安装包4编译parcel5编译csd6上传文件三、CDH集成1登录CDH2进入Parcel操作界面3分配Parcel4激活Parcel5回主界面6添加服务问题1报错解... 查看详情
cdh6.3.2处理zookeeper因未授权访问造成的漏洞(代码片段)
1.zookeeper的基本情况zookeeper是分布式协同管理工具，常用来管理系统配置信息，提供分布式协同服务。zookeeper官网下载软件包，bin目录下有客户端脚本和服务端脚本。另外还有个工具对理解和使用zookeeper服务非常有用&... 查看详情
运维实战100：cdh5.16.2升级至cdh6.3.2(代码片段)
...相关大数据组件版本，解决开发中的一些技术问题和代码优化，需要将现有集群CDH版本由5.x版本升级为6.3.x版本，也是为了适配如Flink、Doris等一些计算引擎。由于生产迁移风险巨大，我们现在测试集群进行验证。... 查看详情
运维实战100：cdh5.16.2升级至cdh6.3.2(代码片段)
...相关大数据组件版本，解决开发中的一些技术问题和代码优化，需要将现有集群CDH版本由5.x版本升级为6.3.x版本，也是为了适配如Flink、Doris等一些计算引擎。由于生产迁移风险巨大，我们现在测试集群进行验证。... 查看详情
大数据hadoop之——clouderahadoop（cm6.3.1+cdh6.3.2环境部署）(代码片段)
@[TOC]一、概述1）目前比较流行Hadoop版本ApacheHadoopClouderaHadoop（CDH）2）CDH特点灵活性——存储任何类型的数据并使用各种不同的计算框架对其进行操作，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。集成——在... 查看详情
zookeeper配置kerberos认证的坑
zookeeper配置了kerberos之后，zkCli.sh连接认证死活不通过连接命令：zkCli.sh报错如下：WatchedEvent state:SyncConnected type:None path:null2017-08-21 10:11:42,054 [myid:] - ERROR [main-Send 查看详情
cdh6.3.2详细介绍及使用
一.简介:CDH：全称Cloudera’sDistributionIncludingApacheHadoop。hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。Cloudera公司的发行版，我们将该版本称为CDH(ClouderaDistributionHadoop)。是Hadoop众多分... 查看详情