关键词：
1、cdh在spark的conf中没有slaves文件解决方法：在spark的conf目录下添加slaves文件，内容为worker节点名
2、yarn的端口和spark的worker端口冲突都是7337，导致worker进程不能正常工作
解决办法：在spark的conf目录下修改spark-default.conf文件，把里面的7337端口
改成其他的端口
cdh集群spark-shell执行过程分析
目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解spark-shell执行启动spark-shell后，可以... 查看详情
cdh上安装sparkonyarn
在cdh上安装sparkonyarn还是比较简单的，不需要独立安装什么模块或者组件。安装服务选择onyarn模式：上面Spark在spark服务中添加在yarn服务中添加getWay 后重新启动服务端用hdfs用户进入sparkbin目录cd/opt/cloudera/parcels/CDH/lib/spark/bin执... 查看详情
cdh5.15集群添加spark2.3服务（parcels安装）
背景：机器系统：redhat7.3；已经配置了http服务集群在安装的时候没有启动spark服务，因为cdh5.15自带的spark不是2.0，所以直接进行spark2.3的安装参考文档：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html一、下载：（... 查看详情
无法检测clouderamanagerserver:cdh安装的一个坑:couldnotcontactscmserveratlocalhost:7182,givingup
错误: 在web界面安装agent那一步，抛错，单击信息查看如下初步分析：是用localhost:7182无法连接scmserver 尝试解决办法:1.检查关闭防火墙2.检查python版本2.6.63.检查/etc/hosts文件,重启网络servicenetworkrestart4.检查/etc/sysconfig/... 查看详情
cdh中如何升级spark(代码片段)
...不是基于原生的sparkmasterslave集群管理。因此任务的大致启动模式是：如果是Cluster模式：A节点启动Spark-submit，这个程序即为client，client连接ResourceManagerResourceManager指定一个NodeManager创建AppMaster，这个AppMas 查看详情
在 CDH 5.12 上使用 Spark 2.2 安装 IPython
】在CDH5.12上使用Spark2.2安装IPython【英文标题】：IPythonInstallationwithSpark2.2onCDH5.12【发布时间】：2017-10-3017:03:57【问题描述】：我在带有RHEL的CDH5.12上有一个带有Spark2.2的集群，我正在尝试设置IPython以与pyspark2一起使用。我已经安装... 查看详情
cdh|spark升级
升级之Spark升级在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的... 查看详情
在cdh上用外部spark2.2.1安装和配置carbondata
在CDH上用外部Spark2.2.1（hadoopfree版本）standalone模式安装和配置CarbonData =====================================================================cdh中外部spark（standalone模式安装）===================== 查看详情
吐血经验在windows上安装spark遇到的一些坑|避坑指南(代码片段)
断断续续踩坑两周，三大问题总结于此。在windows上安装spark遇到的一些坑|避坑指南最近有个活：给了我一个阿里云桌面（windows10系统），让我在上面用scala+spark写一些东西。总是报错不断，基本的逻辑都运行不了。经历了很久的... 查看详情
sparkha安装配置和使用（spark1.2-cdh5.3）
安装环境如下：操作系统：CentOs6.6Hadoop版本：CDH-5.3.0Spark版本：1.2集群5个节点node01-05node01-03为workernode04、node05为mastersparkHA必须要zookeepr来做协同服务，做master主备切换，zookeeper的安装和配置再次不做赘述。yum源的配置请看：1.安... 查看详情
在cdh中安装spark2(代码片段)
第一步，需要在CDH上安装Spark2，由于我的CDH是5.15.x，只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。总结下，需要手动下载cds文件上传到CM服务器并修改owner，然后重启系统的cmservice... 查看详情
cdh5上安装hive,hbase,impala,spark等服务(代码片段)
...等。ClouderaManager以GUI的方式的管理CDH集群，提供向导式的安装步骤。因为须要对Hive,HBase,Impala,Spark进行功能測试，就採用了ClouderaManager方式进行安装。ClouderaManager提供两种软件包安装源，Package和?Parcel：Package就是一个个rpm文件。... 查看详情
cdh6.3.2开启kerberos遇到的坑(代码片段)
...ros遇到的坑标签（空格分隔）：大数据平台构建一：关于安装系统的一些坑二：关于开启KerberosJava的一些坑三：关于hive一：关于安装系统的一些坑1）安装之前一定确认jdk的安装目录因为通过centos7这个系统默认会在装之前会自带... 查看详情
cdh安装时，部分节点不受管控
...cm-agent/rm-rfuuid问题描述： 使用CDH5.2版本安装时，agent节点有12个。按照安装说明，在各个节点启动cm-agent之后，发现只有6个节点能被纳管。其它的节点 查看详情
cdh5.12.0如何升级到spark2.0版本(代码片段)
...分发一：CDH5.12.0的spark2.0的概述：在CDH5.12.0集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2. 查看详情
1spark2.1源码编译支持cdh
...下载很多的第三方类库包，因此需要主机能够联网。1、安装Java，配置环境变量，版本为JDK1.7或者以上下载地址：http://www.oracle.com/technetwork/java/javase/download 查看详情
0030-如何在cdh中安装kudu&spark2&kafka(代码片段)
...请使用手机打开并单击图片放大查看。1.概述在CDH的默认安装包中，是不包含Kafka，Kudu和Spark2的，需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下，在CentOS6.5操作系统上基于CDH5.12.1集群，使用ClouderaMa... 查看详情
如何在cdh5上运行spark应用
...Python版的程序。本文主要记录在CDH5集群环境上如何创建一个Scala的maven工程并且编写、编译和运行一个简单的Spark程序 查看详情