apacheflink是啥?

author author     2023-04-05     429

关键词:

Flink其实就是ApacheFlink,是一款业内非常火的大数据产品,由Apache软件基金会开发,核心是用Java和Scala编写的分布式流数据流引擎。Apach

Flink其实就是Apache Flink,是一款业内非常火的大数据产品,由Apache软件基金会开发,核心是用Java和Scala编写的分布式流数据流引擎。Apache Flink是个旨在提供‘一站式’ 的分布式开源数据处理框架。

Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。

此外,Flink的运行时本身也支持迭代算法的执行。

虽然,spark和storm的计算框架非常成熟,但是Flink仍然占据了一席之地。

主要在于flink在设计event time处理模型上比较优秀:watermark的计算实时性高,输出延迟低,而且接受迟到数据没有spark那么受限。

另外,Flink提供的window programming模型非常的灵活,不但支持spark、storm没有的session window,而且只要实现其提供的WindowAssigner、Trigger、Evictor就能创造出符合自身业务逻辑的window,flink可谓功能非常强大。
参考技术A Flink为流处理和批处理应用公用一个通用的引擎。
1、数据量&吞吐量&延迟性
Flink 的流处理引擎只需要很少配置就能实现高吞吐率和低延迟。
2、支持 Event Time 和乱序事件
Flink 支持了流处理和 Event Time 语义的窗口机制。
Event time 使得计算乱序到达的事件或可能延迟到达的事件更加简单。
3、状态计算的 exactly-once 语义
流程序可以在计算过程中维护自定义状态。
Flink 的 checkpointing 机制保证了即时在故障发生下也能保障状态的 exactly once 语义。
4、高度灵活的流式窗口
Flink 支持在时间窗口,统计窗口,session 窗口,以及数据驱动的窗口
窗口可以通过灵活的触发条件来定制,以支持复杂的流计算模式。
5、带反压的连续流模型
数据流应用执行的是不间断的(常驻)operators。
Flink streaming 在运行时有着天然的流控:慢的数据 sink 节点会反压(backpressure)快的数据源(sources)。
6、容错性
Flink 的容错机制是基于 Chandy-Lamport distributed snapshots 来实现的。
这种机制是非常轻量级的,允许系统拥有高吞吐率的同时还能提供强一致性的保障。
7、Batch 和 Streaming 一个系统流处理和批处理共用一个引擎
Flink 为流处理和批处理应用公用一个通用的引擎。批处理应用可以以一种特殊的流处理应用高效地运行。
8、内存管理
Flink 在 JVM 中实现了自己的内存管理。
应用可以超出主内存的大小限制,并且承受更少的垃圾收集的开销。
9、迭代和增量迭代
Flink 具有迭代计算的专门支持(比如在机器学习和图计算中)。
增量迭代可以利用依赖计算来更快地收敛。
10、程序调优
批处理程序会自动地优化一些场景,比如避免一些昂贵的操作(如 shuffles 和 sorts),还有缓存一些中间数据。

flink是啥意思

参考技术AFlink是什么?ApacheFlink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。Flink擅长处理无界和有界数据集精确的... 查看详情

apacheflink入门,了解apacheflink

文章目录ApacheFlink入门,了解ApacheFlink1、如何通俗易懂的解释Flink2、Flink3、应用场景4、ApacheFlink特性5、ApacheFlink的分层APIApacheFlink入门,了解ApacheFlink1、如何通俗易懂的解释FlinkFlink主要在协议层面做了各类协议的转换,降低了各... 查看详情

apacheflink入门,了解apacheflink

文章目录ApacheFlink入门,了解ApacheFlink1、如何通俗易懂的解释Flink2、Flink3、应用场景4、ApacheFlink特性5、ApacheFlink的分层APIApacheFlink入门,了解ApacheFlink1、如何通俗易懂的解释FlinkFlink主要在协议层面做了各类协议的转换,降低了各... 查看详情

apacheflink入门,了解apacheflink

文章目录ApacheFlink入门,了解ApacheFlink1、如何通俗易懂的解释Flink2、Flink3、应用场景4、ApacheFlink特性5、ApacheFlink的分层APIApacheFlink入门,了解ApacheFlink1、如何通俗易懂的解释FlinkFlink主要在协议层面做了各类协议的转换,降低了各... 查看详情

集成-apacheflink+springboot

我正在测试ApacheFlink和SpringBoot之间的集成,在IDE上运行它们很好,但是当我尝试在ApacheFlinkCluster上运行时,我遇到了一个与ClassLoader相关的异常。这些课很简单:BootFlinkApplication@SpringBootApplication@ComponentScan("com.example.demo")publicclassB... 查看详情

apacheflink实现原理:容错机制

目录前言一、Flink容错二、状态(State)三、检查点(Checkpoint)四、保存点(Savepoint) 查看详情

apache-flink深度解析-概述

摘要:ApacheFlink的命脉"命脉"即生命与血脉,常喻极为重要的事物。系列的首篇,首篇的首段不聊ApacheFlink的历史,不聊ApacheFlink的架构,不聊ApacheFlink的功能特性,我们用一句话聊聊什么是ApacheFlink的命脉?我的答案是:ApacheFlink... 查看详情

apacheflink2022新年大礼包

...鱼基于Flink构建数据集成平台的设计与实现汽车之家基于ApacheFlink的跨数据库实时物化视图探索5年迭代5次,抖音基于Flink的推荐系统演进历程2021年网易云音乐实时计算平台发展和挑战Flink在58同城的应用与实践伴鱼:借助Flink完成... 查看详情

apacheflink:数据流编程模型

ApacheFlink:数据流编程模型|从入门到精通-第2期(每天一期新知识)Flink是最热门的实时计算引擎之一。在动手部署和编程之前,学习Flink的数据流编程模型,可以建立起核心概念的全局架构。方便局部概念深... 查看详情

初识apacheflink-数据流上的有状态计算

初识ApacheFlink-数据流上的有状态计算|做大数据实时(流)计算就应该学习Flink。初识Flinkhttps://www.bilibili.com/video/av66770569/点击播放视频|什么是Flink?ApacheFlink是一个框架和分布式处理引擎,用于在无边界和有边界数据流... 查看详情

apacheflink在翼支付的实践应用

更多Flink相关技术问题,可扫码加入社区钉钉交流群~   戳我,查看原文视频&演讲PDF~ 查看详情

社区活动|apacheflink1.9版本即将发布,新版本有哪些新特性?

6月29号,ApacheFlink社区Meetup北京站即将到来,此次Meetup一如既往地邀请了社区多位Flink技术专家现场分享。伴随着ApacheFlink1.9版本发布日期临近,大家对ApacheFlink1.9版本有哪些新特性都十分好奇,本次Meetup特邀ApacheFlinkPMC与阿里巴... 查看详情

apacheflink:statefulfunctions3.2.0发布!(代码片段)

ApacheFlink社区很高兴地宣布有状态函数(StateFun)3.2.0的发布。]);http.createServer(statefun.handler()).listen(8000);与Python、Java和GoSDK一样,JavaScriptSDK包括:充当特定地址的键值存储的地址范围存储。一种跨语言发送、接收和存储值的统一... 查看详情

apacheflink在汽车之家的应用与实践

...时计算平台负责人邸星星在FlinkForwardAsia2020分享的议题《ApacheFlink在汽车之家的应用及实践》。主要内容包括:背景及现状AutoStream平台基于Flink的实时生态建设后续规划一、背景及现状1.第一阶段在2019年之前,汽车之家的 查看详情

行业实践-apacheflink在移动云实时计算的实践

更多Flink相关技术问题,可扫码加入社区钉钉交流群~   戳我,查看原文视频&演讲PDF~ 查看详情

apacheflink在京东的实践与优化

...京东高级技术专家付海涛在FlinkForwardAsia2020分享的议题《ApacheFlink在京东的实践与优化》,内容包括:业务演进和规模容器化实践Flink优化改进未来规划一、业务演进和规模1.业务演进京东在2014年基于storm打造了第一代流式... 查看详情

8大行业场景!最新apacheflink行业案例集火热出炉

简介:ApacheFlink社区携手一线企业重磅推出8大行业实践案例,本书整理了Flink社区近一年的行业案例,供大家参考!ApacheFlink是一个开源的分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。它... 查看详情

8大行业场景!最新apacheflink行业案例集火热出炉

简介:ApacheFlink社区携手一线企业重磅推出8大行业实践案例,本书整理了Flink社区近一年的行业案例,供大家参考!ApacheFlink是一个开源的分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。它... 查看详情