关键词：
大数据问题排查系列-开启 kerberos 后无法访问 HIVESERVER2 等服务的 WEBUI
1 前言
大家好，我是明哥！
在博文“从技术视角看大数据行业的发展趋势”中，我们提到大数据的一个发展趋势是日益重视数据安全。在数据安全上，有四个方面的问题需要解决，即 3A + 1E：
- 3A 是指 authentication, authorization 和 audit 即认证，授权和审计，分别解决了用户身份校验，用户权限校验，事后审计监督的问题；
- 1E 指的是 encryption 即加密，包括对静态数据的加密和对传输过程中数据的加密。
- 在3A+1E中，authentication 用户认证是基础。试想，如果用户身份验证没有做好，那么就可能冒用别人的身份，安全也就无从谈起了；
- 在大数据领域，解决 authentication 用户认证问题，事实上的标准是 Kerberos, 常见的主流大数据框架，都支持 kerberos 认证方式。
- 在实际工作中，几乎所有的金融行业和保险行业的大数据集群都启用了 kerberos， 这一趋势也在快速蔓延到电信行业，制造行业等各个行业；
- 而同时由于一些小伙伴对 kerberos 不太熟悉，使用过程中由于姿势不对，也遇到了各种五花八门的问题。
有鉴于此，笔者在大数据问题排查系列中，准备专门开一个 kerberos问题排查子序列，专门讲述常见的 kerberos 问题与解决方法。
本文是该子序列第一篇，以下是正文。
2. 问题概述
大数据集群开启kerberos后，一些服务如 HDFS/YARN/HIVESERVER2 的 webui无法访问, 如下图所示，分别对应 chrome 和 firefox 访问 hdfs webui的报错：
3 问题原因
- 通过查看 HDFS/YARN 服务的配置，可以发现开启了 “Enable Kerberos Authentication for HTTP Web-Consoles”, 所以此时因为用户通过浏览器访问 WEBUI 时会因为没有认证无法访问；
- 通过查看服务的后台日志，也能确认是用户认证的问题，以下是相关日志截图：
4 问题解决
- 解决方法1：可以关掉 hdfs/yarn/hive 的 “Enable Kerberos Authentication for HTTP Web-Consoles”，需要注意，hive 中该配置项需要在高级配置段中设置，如下图所示：
- 解决方法2：如果安全管理很严格，不能采用上述方法1，此时可以安装个 kerberos windows 客户端，在使用浏览器访问 webui前，先在 kerberos windows 客户端通过用户名和密码的认证，然后就可以使用浏览器正常访问 webui了，需要注意 chrome浏览器的相关配置比较复杂，建议使用 firefox 浏览器。相关截图如如下图所示：
5 知识总结
- 大数据领域，解决数据安全中用户认证 authentication 问题，事实上的标准是使用 kerberos；
- 一旦大数据服务开启了 kerberos 安全认证，默认情况下其 webui 页面的访问，同样需要通过 kerberos 认证才能访问；
- windows下kerberos 安全认证，可以使用 MIT Kerberos 的 windows 客户端，输入principal和对应的密码经过认证后，就可以使用浏览器正常访问开启了 kerberos 安全的大数据服务的 web ui了，且浏览器推荐使用 firefox;
- 也可以关闭开启了 kerberos 安全认证的大数据服务的 webui 的 http 认证，即“ disable Kerberos Authentication for HTTP Web-Consoles”，此时浏览器访问其 webui 不需要经过 kerberos 安全认证;
！关注不迷路~ 各种福利、资源定期分享！欢迎小伙伴们扫码添加明哥微信，后台加群交流学习。
开启kerberos安全的大数据环境中，yarncontainer启动失败导致作业失败
大数据问题排查系列-开启Kerberos安全的大数据环境中，YarnContainer启动失败导致spark/hive作业失败前言大家好，我是明哥！最近在若干个不同客户现场，都遇到了大数据集群中开启Kerberos后，spark/hive作业提交到YAR... 查看详情
开启kerberos安全的大数据环境中，yarncontainer启动失败导致作业失败
大数据问题排查系列-开启Kerberos安全的大数据环境中，YarnContainer启动失败导致spark/hive作业失败前言大家好，我是明哥！最近在若干个不同客户现场，都遇到了大数据集群中开启Kerberos后，spark/hive作业提交到YAR... 查看详情
大数据问题排查系列-hive踩坑记
...hive3.0才修复。以下是正文。问题现象cdh6.2.1中，开启kerberos和sentry的hive中，使用dml语句insertoverwrite 查看详情
大数据线上问题排查系列-hive踩坑记(代码片段)
...hive3.0才修复。以下是正文。问题现象cdh6.2.1中，开启kerberos和sentry的hive中，使用d 查看详情
大数据问题排查系列-tdh大数据平台中hive作业长时间无法执行结束
大数据问题排查系列-TDH大数据平台中HIVE作业长时间无法执行结束前言大家好，我是明哥！本片博文是“大数据问题排查系列”之一，讲述某星环TDH大数据平台中，研发同学提交的Hive作业在成功提交后，客户... 查看详情
大数据问题排查系列-tdh大数据平台中hive作业长时间无法执行结束
前言大家好，我是明哥！本片博文是“大数据问题排查系列”之一，讲述某星环TDH大数据平台中，研发同学提交的Hive作业在成功提交后，客户端长时间收不到任何结果信息也收不到任何报错信息问题的排查。... 查看详情
cdh/cdp中开启kerberos后如何访问hdfs/yarn/hiveserver2等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2等服务的webui在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2等服务的webui呢？一起看下相关知识。问题现象在CDH/CDP等大数据平台中，当开启ke... 查看详情
cdh/cdp中开启kerberos后如何访问hdfs/yarn/hiveserver2等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2等服务的webui在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2等服务的webui呢？一起看下相关知识。问题现象在CDH/CDP等大数据平台中，当开启ke... 查看详情
hadoop配置kerberos互信
参考技术A当Hadoop集群开启Kerberos后，跨集群访问需要配置Kerberoscross-realm(跨域访问)。Kerberos跨域访问原理查看：Kerberos跨域原理Hadoop集群配置Kerberos互信查看：hadoop集群配置Kerberos互信。在我们的实验中，参照该博客中的步骤不能... 查看详情
大数据问题排查系列-因hive中元数据与hdfs中实际的数据不一致引起的问题的修复(代码片段)
大数据问题排查系列-因HIVE中元数据与HDFS中实际的数据不一致引起的问题的修复前言大家好，我是明哥！本片博文是“大数据问题排查系列”之一，讲述某HIVESQL作业因为HIVE中的元数据与HDFS中实际的数据不一致引起的... 查看详情
大数据问题排查系列-hdfsfilesystemapi的正确打开方式，你get了吗？(代码片段)
大数据问题排查系列-HDFSFileSystemAPI的正确打开方式，你GET了吗？前言大家好，我是明哥！本片博文是“大数据问题排查系列”之一，我们首先会聊聊一个问题的现象原因和解决方法，然后给出HDFSFileSystemAPI... 查看详情
无法通过 Safari 使用 Kerberos 约束委派通过 Web 应用程序访问后端 WCF 服务
】无法通过Safari使用Kerberos约束委派通过Web应用程序访问后端WCF服务【英文标题】：CannotaccessbackendWCFservicesviaawebappusingKerberosConstrainedDelegationthroughSafari【发布时间】：2012-09-1305:46:37【问题描述】：我有一个场景，其中托管在IIS7/Wi... 查看详情
大数据问题排查系列-sparkstandaloneha模式的一个缺陷点与应对方案(代码片段)
大数据问题排查系列-SPARKSTANDALONEHA模式的一个缺陷点与应对方案前言大家好，我是明哥！作为当今离线批处理模式的扛把子，SPARK在绝大多数公司的数据处理平台中都是不可或缺的。而在底层使用的具体资源管理器上&... 查看详情
cdh6.3.2开启kerberos认证(代码片段)
CDH6.3.2开启Kerberos认证标签（空格分隔）：大数据平台构建一：如何安装及配置KDC服务二：如何通过CDH启用Kerberos三：如何登录Kerberos并访问Hadoop相关服务一：如何安装及配置KDC服务1.1系统环境1.操作系统：CentOS7.5x642.CDH6.3.23.采用ro... 查看详情
kerberos系列之flink认证配置
...章https://www.cnblogs.com/bainianminguo/p/12548076.html-----------安装kerberoshttps://www.cnblogs.com/bainianminguo/p/12548334.html-----------hadoop的kerberos认证https://www.cnblogs.com/bainianminguo/p/12548175.html-----------zookeeper的kerberos认证https://www.cnblogs.com/bainianminguo/p/12... 查看详情
kerberos系列之spark认证配置
...章https://www.cnblogs.com/bainianminguo/p/12548076.html-----------安装kerberoshttps://www.cnblogs.com/bainianminguo/p/12548334.html-----------hadoop的kerberos认证https://www.cnblogs.com/bainianminguo/p/12548175.html-----------zookeeper的kerberos认证https://www.cnblogs.com/bainianminguo/p/12... 查看详情
小米路由器不能访问共享盘之问题排查
1.检查samba协议是否开启并开启全盘访问2.开启相应服务服务开启参考*3.确保每种网络的文件共享处于开启模式 查看详情
如何杜绝sparkhistoryserverui的未授权访问?(代码片段)
...么如何配置以杜绝上述对shsui的未授权访问呢？2开启kerberos的大数据集群环境中，如何杜绝对shsui的未授权访问？在信息安全要求较高的环境中，我们推荐开启大数据集群的kerberos安全认证，从而对整个集群中... 查看详情