关键词：
在cdh 上安装spark on yarn 还是比较简单的，不需要独立安装什么模块或者组件。
安装服务 选择on yarn 模式：上面 Spark
在spark 服务中添加
在yarn 服务中添加 getWay
后重新 启动服务端
用hdfs 用户进入 spark bin 目录
cd /opt/cloudera/parcels/CDH/lib/spark/bin
执行
./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10
执行后查看状态：
查看Executors
cdh6.3.2sparkonyarn配置使用
初始化exportSPARK_HOME=/XXXXspark程序打包依赖分离mvndependency:copy-dependencies-DoutputDirectory=libs将libs压缩为libs.zip上传到服务器或hdfs的/spark-yarn/jarslocal模式配置依赖jarsmkdir-p/tmp/spark/jarscd/tmp/spark/jars#上传 查看详情
sparkonyarn
公司中一般采用sparkonyarn模式，下面主要介绍sparkonyarn的安装与简单程序运行。1、sparkonyarn两种运行模式yarn-cluster：用于生产环境。Driver和AM运行在一起，client单独。yarn-client：能立即看到输出结果。Driver运行在本地。AM仅用来管... 查看详情
sparkonyarn内存和cpu分配
...t-2/ 软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用SparkOnYARN时（无论是Client模式或者是Cluster模式，当然下面会有这种模式的对比区别），可以添加诸如：--executor-memo 查看详情
sparkonyarn内存和cpu分配
软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用SparkOnYARN时（无论是Client模式或者是Cluster模式，当然下面会有这种模式的对比区别），可以添加诸如：[plain]viewplaincopy–executor-m 查看详情
ooziesparkonyarnrequirementfailed
...CDH5.7.3版本的时候，发起一个Oozie工作流，该工作流使用SparkOnYARN的方式提交一个Spark程序，但是在Oozie中该程序运行失 查看详情
centos7上安装cdh5.10.0认不到主机
最近在centos7上安装CDH5.10.0认不到主机异常提示：cloudemanager安装时出现ProtocolError:<ProtocolErrorfor127.0.0.1/RPC2:401Unauthorized>问题解决方法：所有agent主机上执行ps-ef|grepsupervisord$>kill-9<processID>sudo./cloudera 查看详情
sparkonyarn内存和cpu分配(代码片段)
本篇博客参考：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/ 软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用SparkOnYARN时（无论是Client模式或 查看详情
在 CDH 5.12 上使用 Spark 2.2 安装 IPython
】在CDH5.12上使用Spark2.2安装IPython【英文标题】：IPythonInstallationwithSpark2.2onCDH5.12【发布时间】：2017-10-3017:03:57【问题描述】：我在带有RHEL的CDH5.12上有一个带有Spark2.2的集群，我正在尝试设置IPython以与pyspark2一起使用。我已经安装... 查看详情
无法在 ubuntu 机器上卸载通过 CDH5 安装的 sqoop
】无法在ubuntu机器上卸载通过CDH5安装的sqoop【英文标题】：unabletouninstallsqoopinstalledthoughCDH5onanubuntumachine【发布时间】：2017-12-2413:26:55【问题描述】：我从ClouderaManager卸载了sqoop，但我仍然通过终端看到sqoop版本：chaithu@localhost:~$sq... 查看详情
cdh-5.12.2安装教程
...，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试。以往安装配置使用ApacheHadoop时，完全需要手动在服务器上，通过命令和脚本进行安 查看详情
适合国内网速的cdh5安装
0.集群规划说明：因为CDH能够方便的动态加入删除主机，动态改变主机上的服务，所以后面再对各机器上跑得服务进行分配。共三台机器操作系统:centos6.5机器名：work01、work02、work03work03执行ClouderaManager1.关闭防火墙和SELinux &nb... 查看详情
cdh5.14.0安装失败，无法接受agent发出的检测信号(代码片段)
安装cdh5到最后报如下错误：安装失败，无法接受agent发出的检测信号。确保主机名称正确确保端口7182可在clouderamanagerserver上访问（检查防火墙规则）确保正在添加的主机的端口9000和9001空闲检查在添加的主机上/var/log/cloudera-scm-ag... 查看详情
cdh5上安装hive,hbase,impala,spark等服务(代码片段)
...等。ClouderaManager以GUI的方式的管理CDH集群，提供向导式的安装步骤。因为须要对Hive,HBase,Impala,Spark进行功能測试，就採用了ClouderaManager方式进行安装。ClouderaManager提供两种软件包安装源，Package和?Parcel：Package就是一个个rpm文件。... 查看详情
大数据之—cdh搭建(代码片段)
...数据之—CDH搭建目录大数据之—CDH搭建前言1、CDH概述2、安装CDH前准备3、配置4、下载安装包部署CDH所有节点都要安装的内容只有主节点node1上安装的内容所有节点修改agent配置，指向server节点node1主节点node1修改server配置主节点部... 查看详情
CDH 集群安装在“分发”阶段失败 - 由于种子种子的停顿而失败
】CDH集群安装在“分发”阶段失败-由于种子种子的停顿而失败【英文标题】：CDHclusterinstallationfailingin"distributing"stage-failedduetostallonseededtorrent【发布时间】：2018-10-0305:56:04【问题描述】：你好，我们正在尝试使用cloudera-ins... 查看详情
cdh5.10.0离线安装(共3节点)
1.安装方式CDH的离线部署安装，即Parcel包（推荐）2.角色规划三个节点对应的角色：3.基本环境配置（在每个节点上都要配置）(1)关闭防火墙#/etc/init.d/iptablesstop#chkconfig--level345iptablesoff(2)关闭seliux#vim/etc/sysconfig/selinuxSELINUX=disabled(3)i... 查看详情
spark远程debug之调试sparkonyarn程序
...还是有小部分需要注意的地方，这里记录一下调试运行在sparkonyarn模式下的程序。环境准备需要完好的Hadoop，spark集群，以便于提交sparkonyarn程序。我这里是基于CDH的环境步骤1.随便写个spark程序，比如序列化一个集合，然后求和... 查看详情
cdh6.3.2开启kerberos认证(代码片段)
...Kerberos认证标签（空格分隔）：大数据平台构建一：如何安装及配置KDC服务二：如何通过CDH启用Kerberos三：如何登录Kerberos并访问Hadoop相关服务一：如何安装及配置KDC服务1.1系统环境1.操作系统：CentOS7.5x642.CDH6.3.23.采用root用户进行... 查看详情