jflink+tidb|从一个累加的故事说起~~~

zhisheng_blog zhisheng_blog     2022-12-10     315

关键词:

摘要:Jflink On TiDB--便捷可靠的实时数据业务支撑,分享大纲如下:

  1. 从一个实时累加值的故事说起

  2. JFlink实时数据业务解决方案

  3. Flink的准确保证

  4. Flink with TiDB

  5. JFlink on TiDB实时数据业务支持

什么是 JFlink?



多种内置 SDK:Redis、ES、TiDB、HTTP、gRPC

Flink 的 Checkpoint 机制能够保证数据处理的 Exactly Once,在异常故障会有失败重试机制,并且状态能够恢复,从而保证数据处理的准确性。

保证端到端的 Exactly Once 靠的是 2PC(两阶段提交,参见 TwoPhaseCommitSinkFunction 类)

并不是所有的 Sink 都支持 2PC 协议

  • 海量业务日志数据的实时格式化入库

  • 基于海量数据的分析统计

  • 实时TiDB/Kafka双流连接的支付链路分析

  • 对通数据地图

  • 时序数据


end






Flink 从入门到精通 系列文章
基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结(干干货)日志收集Agent,阴暗潮湿的地底世界

公众号(zhisheng)里回复 面经、ClickHouse、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章。

点个赞+在看,少个 bug ????

响应式编程初见——从一块蛋糕说起(代码片段)

一个故事有这样一个神奇的村落,村里的每个人都爱吃蛋糕,并且都定制自己喜欢的蛋糕。然而,村里的物资不算丰富,只有一套专门用来加工蛋糕的设备(假设蛋糕只能用这个设备来加工),但可以找到许多会做蛋糕的工人。... 查看详情

flinkontidb——便捷可靠的实时数据业务支撑

...易互娱计费数据中心实时业务负责人,实时开发框架JFlink-SDK和实时业务平台JFlink的主程,FlinkCodeContributor。本文由网易互娱计费数据中心实时业务负责人林佳老师分享,主要介绍网易数据中心在处理实时业务时为什么... 查看详情

tidb3数据库的发展历史现在未来

...足用户对数据的计算需求。第一点是最基本的要求,如果一个数据库没办法把数据安全完整存下来,那么后续的任何功能都没有意义。当满足第一点后,用户紧接着就会要求能够使用数据,可能是简单的查询,比如按照某个Key来... 查看详情

h264码流结构一探究竟

...孙艺珍的电影说起(二)已经比较详细地叙述了一个视频从原始的yuv数据流如何转化为一个H264码流,那么今天就来讲一讲整个过程的最终产物H264码流究竟是什么样子的。如果还没看过这两篇博文,建议先看一下&#... 查看详情

带着问题读tidb源码:powerbidesktop以mysql驱动连接tidb报错(代码片段)

...但是在面对像类似TiDB这样复杂的系统时,源码阅读是一个非常庞大的工程。而对一些TiDBUser来说,从自己日常遇到的问题出发,反过来阅读源码就是一个不错的切入点,因此我们策划了《带着问题读源码》系列文... 查看详情

从长辈们的故事谈起

...九我也不会读博,或者获得学位遥遥无期。我知道自己是一个“智力平平”的人,又选了一位严格的博导,如果不是一心熬过读博的日子,恐怕收获一纸文凭会不容易。“爱瞎操心”和“不放心”的处事风格于我,要真的能博士... 查看详情

一个故事告诉你什么才是好的程序员

从一个故事说起在应用开发如此方便的今天,我总是会听到有些人有这样的疑问,“只是做应用开发的话,还有没有必要学习诸如操作系统,编译原理这样的课程呢?”,亦或是会听到这样的话,“会用这个框架就行了,它底层... 查看详情

c++学习笔记---02---从一个小程序说起

从一个小程序说起这一讲的主要目的是帮助大家在C语言的背景知识上与C++建立联系。 问题探索 问题:对一个整型数组求和。要求:定义一个存储着n个元素的数组,要求用C语言完成这个任务。赶紧的:大家一起动手!参... 查看详情

4.从abstractqueuedsynchronizer(aqs)说起——aqs结语

...dash;—共享模式的锁获取与释放》对AQS同步器已经有了一个大致的了解,从独占模式和共享模式来解析了AQS的两个基本方面,一个是同步状态的获取,另外一 查看详情

从一个故事板转到另一个故事板?

】从一个故事板转到另一个故事板?【英文标题】:Seguefromonestoryboardtoadifferentstoryboard?【发布时间】:2013-09-1715:05:06【问题描述】:我在一个故事板上有太多视图,这导致它运行得很慢。有人告诉我,解决此问题的方法是将一个... 查看详情

发明闪存能赚多少钱?这是一个日本的狗血故事

鱼羊Alex发自凹非寺量子位|公众号QbitAI说起闪存,想来你并不陌生。从手机到笔记本电脑,基本上是个能存上几MB数据的电子设备,都少不了这玩意儿。但你或许想不到的是,它的发明人在其问世之后,仅拿到... 查看详情

c++学习笔记---03---从一个小程序说起2

从一个小程序说起2 要求:编写一个程序,要求用户输入一串整数和任意数目的空格,这些整数必须位于同一行中,但允许出现在该行中的任何位置。当用户按下键盘上的“Enter”键时,数据输入结束。程序自动对所有的整数... 查看详情

从beautifulsoup说起

...过<h1>-<h6>标签来定义的.举个栗子:<h1>这是一个标题</h1><h2>这是一个标题</h2><h3>这是一个标题</h3>2.HTML段落是通过标签<p>来定义的. 查看详情

使用dumpling从tidb/mysql导出数据

安装tiupinstalldumpling所需要权限shellSELECTRELOADLOCKTABLESREPLICATIONCLIENTPROCESS基本参数-h|--host:连接的数据库主机的地址,默认127.0.0.1-p|--password:连接的数 查看详情

vue.js组件开发:从一个简单的例子说起

<ol><!--<liv-for="thinginsomeThings">{{thing.name}}</li>--><thing-liv-for="thinginsomeThings"v-bind:something="thing"></thing-li></ol>li列表的功能是显示一件事情的名字,我们以它作为 查看详情

分享两个故事

第一个故事前两天和写文档的小姑娘聊天。她说写文档的效率提高了差不多近一倍。让我感到挺惊喜。在此之前,一个项目负责人和说起最近文档的工作累计的比较多。我比较疑惑,所有的项目都需要文档吗?然后和负责人简单... 查看详情

分享两个故事

第一个故事前两天和写文档的小姑娘聊天。她说写文档的效率提高了差不多近一倍。让我感到挺惊喜。在此之前,一个项目负责人和说起最近文档的工作累计的比较多。我比较疑惑,所有的项目都需要文档吗?然后和负责人简单... 查看详情

linux性能调优,从优化思路说起

Linux操作系统是一个开源产品,也是一个开源软件的实践和应用平台,在这个平台下有无数的开源软件支撑,我们常见的apache、tomcat、mysql、php等等,开源软件的最大理念是自由、开放,那么linux作为一个开源平台,最终要实现的... 查看详情