正文 

当前位置： 首页 > 开发 > java教程

cdh6.3.2集成flink的部署配置(代码片段)

author author     2022-11-29     571

关键词：

CDH6.3.2 集成flink的部署配置

标签（空格分隔）： 大数据平台构建

  • 一：flink的简介
  • 二：cdh6.3.2 集成flink

一：flink的简介

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行

在 2019 年 10 月于柏林举行的 Flink Forward 活动上，Cloudera 的工程主管 Marton Balassi 和 Field CTO Andrew Psaltis 在大会上宣布，Cloudera 承诺将通过 CSA 产品不断给 Apache Flink 社区做出贡献。

相信 Cloudera 对 Apache Flink 的集成将会为社区带来更多创新、为企业及开发者提供更便捷的操作与更友好的使用体验

二：CDH6.3.2 集成flink

介绍如何在CDH6.3中安装Flink1.9以及运行你的第一个Flink例子，以下是测试环境信息：

1.CM和CDH版本为6.3.2

2.CentOS7.5x64

3.JDK1.8.0_181

4.集群启用Kerberos

5.root用户安装

flink 的parcels 包下载地址：

https://archive.cloudera.com/csa/1.0.0.0

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel  
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha  

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

manifest.json

技术图片

mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar /opt/cloudera/csd/

chown cloudera-scm:cloudera-scm -R csd/ -R
cd ..

mv flink /var/wwww/html/

service cloudera-scm-server restart 
service httpd start

技术图片

CM 增加 parcels 文件  然后从新启动CM

技术图片

技术图片

技术图片

技术图片

技术图片

技术图片

技术图片

第一个Flink例子

1.执行Flink自带的example的wordcount例子。

hdfs dfs -put word.txt /tmp

flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.11.160:8020/tmp/word.txt --output hdfs://192.168.11.160:8020/tmp/result4

技术图片

cdh6.3.2集成apacheflink1.12.0(代码片段)

...l2修改参数3复制安装包4编译parcel5编译csd6上传文件三、CDH集成1登录CDH2进入Parcel操作界面3分配Parcel4激活Parcel5回主界面6添加服务问题1报错解决问题2报错解决参考资料版本：Centos7.6JDK1.8Scala2.11 查看详情

大数据hadoop之——clouderahadoop（cm6.3.1+cdh6.3.2环境部署）(代码片段)

...处理，交互式SQL，自由文本搜索，机器学习和统计计算。集成——在完整的Hadoop平台上快速启动并运行，该平台可与各种硬件和软件解决方案配合使用。安全性——处理和控制敏感数据。可扩展性——支持广泛的应 查看详情

cdh6.3.2开启kerberos认证(代码片段)

...认证标签（空格分隔）：大数据平台构建一：如何安装及配置KDC服务二：如何通过CDH启用Kerberos三：如何登录Kerberos并访问Hadoop相关服务一：如何安装及配置KDC服务1.1系统环境1.操作系统：CentOS7.5x642.CDH6.3.23.采用root用户进行操作1.... 查看详情

clouderamanager6.3.1&cdh6.3.2集群部署（超详细，亲测可用）(代码片段)

...响到您的利益，请联系我们删除第1章ClouderaManager环境部署1.1.CM简介1.1.1.CM简介ClouderaManager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内， 查看详情

cdh6.3.2之kafka配置和命令(代码片段)

...和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它版本查看在页面查看：点击具有Kafka服务的主机，然后点击组件在服务器查看如... 查看详情

cdh6.3.2之kafka配置和命令(代码片段)

...和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它版本查看在页面查看：点击具有Kafka服务的主机，然后点击组件在服务器查看如... 查看详情

kerberos环境下parcel方式部署flink1.15.3基于cdh6.3.2flinkonyarn

1.1FlinkonYarn的优势相对于Standalone模式，在Yarn模式下有以下几点好处：1.资源按需使用，提高集群的资源利用率；2.任务有优先级，根据优先级运行作业；3.基于Yarn调度系统，能够自动化地处理各个角色... 查看详情

运维实战100：cdh5.16.2升级至cdh6.3.2(代码片段)

...相关大数据组件版本，解决开发中的一些技术问题和代码优化，需要将现有集群CDH版本由5.x版本升级为6.3.x版本，也是为了适配如Flink、Doris等一些计算引擎。由于生产迁移风险巨大，我们现在测试集群进行验证。... 查看详情

运维实战100：cdh5.16.2升级至cdh6.3.2(代码片段)

...相关大数据组件版本，解决开发中的一些技术问题和代码优化，需要将现有集群CDH版本由5.x版本升级为6.3.x版本，也是为了适配如Flink、Doris等一些计算引擎。由于生产迁移风险巨大，我们现在测试集群进行验证。... 查看详情

cdh6.3.2开启kerberos遇到的坑(代码片段)

CDH6.3.2开启kerberos遇到的坑标签（空格分隔）：大数据平台构建一：关于安装系统的一些坑二：关于开启KerberosJava的一些坑三：关于hive一：关于安装系统的一些坑1）安装之前一定确认jdk的安装目录因为通过centos7这个系统默认会... 查看详情

streampark集成clouderaflinkldap告警，以及部署常见问题(代码片段)

集成背景我们当前集群使用的是ClouderaCDP，Flink版本为ClouderaVersion1.14，整体Flink安装目录以及配置文件结构与社区版本有较大出入。直接根据Streampark官方文档进行部署，将无法配置FlinkHome，以及后续整体Flink任务提... 查看详情

k8s部署flink(代码片段)

https://flink.apache.org/#Flink官网此步骤(k8s)部署才需要配置文件先把Flink的所有配置文件拷贝到本地,再把本地的配置文件挂在到POD里面1.1jobmanager的配置文件vimflink-conf.yaml修改配置文件jobmanager.rpc.address:flink-jobmanager-svcjobmanager.rpc.port:61... 查看详情

cdh集群离线部署(代码片段)

CDH集群离线部署(CM6.3.1+CDH6.3.2+CentOS7)_小宇0926的博客-CSDN博客_cdh集群大数据之CDH（web页面部署Hadoop）_leon.yan1994的博客CDH集群部署最佳实践-知乎(zhihu.com)CDH6.3.1集群离线部署-掘金(juejin.cn)基于阿里云的CDH集群安装_Frank__... 查看详情

cdh6.3.2开启kerberos认证(代码片段)

CDH6.3.2开启kerberos认证1、查看hosts文件cat/etc/hosts192.168.1.210cdh-1192.168.1.211cdh-2192.168.1.212cdh-32、安装kerberos相关服务cdh-1:yuminstallkrb5-serverkrb5-workstationpam_krb5-ycdh-[2-3]：yuminstallkrb5-develkrb 查看详情

cdh6.3.2处理zookeeper因未授权访问造成的漏洞(代码片段)

...情况zookeeper是分布式协同管理工具，常用来管理系统配置信息，提供分布式协同服务。zookeeper官网下载软件包，bin目录下有客户端脚本和服务端脚本。另外还有个工具对理解和使用zookeeper服务非常有用，即zk-uiÿ... 查看详情

cm6.3.1-cdh6.3.2安装streamsets3.22.3(代码片段)

版本CM6.3.1CDH6.3.2Streamsets3.22.3Centos7.6一、准备Parcel包1下载Parcel包打开官方提供的下载地址下载地址下载Streamsets3.22.3版本的Manifest，Streamsets3.22.3版本的ClouderaCentos7对应的ParcelRHEL7、SHA、CustomServiceDescriptor(CSD)最大的是 查看详情

centos7安装cdh6.3.2集群(代码片段)

CDH软件准备cdh6下载地址 https://archive.cloudera.com/cdh6/6.3.2/parcels/cm6下载地址 https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/      一、操作系统1、虚拟机设置  查看详情

huid学习七：hudi与flink集成(代码片段)

一、环境准备 1、基础框架版本框架版本备注ApacheHadoop2.7.5ApacheHudi0.9.0ApacheFlink1.12基于Scala2.12 2、执行环境安装部署  2.1、Flink框架概述        ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状... 查看详情