关键词:
2023年3月25日,首届OceanBase开发者大会在北京举行。NineData 的首席架构师谭宇(茂七)受邀参加 OceanBase 数据管理与服务技术专场,发表了《NineData 多云数据管理》主题演讲。
谭宇表示:作为曾经 OceanBase 创始团队成员,做过内核开发、平台,还开拓过客户,算是“样样都干”。虽然离开了 OceanBase 团队,但仍然为 OceanBase 取得的成绩感到骄傲。今天,我们看到做一个数据库内核很难,但是要把数据库建成一个生态可以说更难。目前 NineData 所做的工作,能够帮助大家更好地用好 OceanBase、用好数据库。
整体介绍
主要会分享以下几个内容:一是介绍一下玖章算术团队和 NineData 多云数据管理平台的整体情况;二是着重介绍一下我们在数据复制方面的一些工作;最后是我们对多云数据管理平台,未来的一点看法和对多云使用的一些建议。
研发团队
先来简单的看一下 NineData 团队的基本情况。
NineData 团队主要来自阿里云数据库团队,创始人叶正盛、花名斗佛大家可能都认识,曾经负责阿里云数据库产品与解决方案事业部总经理,也就是负责整个阿里云数据库产品体系的打造以及相关解决方案的制订,并研发了 DTS/DMS/DBS/DAS 等多款云原生数据产品。在做这些产品的过程中,我们其实就一直在思考一个问题,就是这一类产品应该在云厂商做还是该由独立的厂商来做,最后我们觉得如果处于一个第三方中立的立场上能够将这类产品做得更好,所以在2021年11月份的时候斗佛创立了玖章算术,经过一年的打磨,推出了 SQL 开发、数据复制、数据备份和数据对比四款产品,推出后获得了业界的一些奖项,也是对我们在这个领域的深刻认知的肯定。
这是我们产品的一个整体概览,先来看这个图的最底层,有两个关键点,一是“多云或多基础设施支持”,不管是阿里云、华为云、AWS 还是自建 IDC,我们都可以提供支持。另一个是“多数据库类型支持”,今天企业都会使用很多种数据库来加工和处理数据。对于“多云和多源”的支持是我们的核心竞争力之一。
NineData产品能力
然后再来具体看我们的产品。
最上层是 SQL 开发,它负责的是 DataBase DevOPS,主要解决团队之间的协同开发效率与数据安全的问题。下面是数据复制和数据对比两个功能,主要是两个方面的考量,一方面是数据要流动、分发才能产生价值,另一方面是数据流动也经常引起数据不一致或数据质量相关的问题。最下面是数据备份,在数据作为企业最重要的资产之一的今天,如何做好备份以及将备份这种较冷的数据利用起来也是一个非常重要的课题。
为什么做这四个产品,一方面当然是出于我们之前的经验,另一个方面也是我们看到了有问题需要解决。云计算催生了数字化,所以每个企业都在朝科技企业转变,对云和数据的运用就显得至关重要,特别是随着多云和多数据源的采用,要使用好云和数据是一件非常有挑战的事情。
第一个是开发效率、业务稳定性与数据安全方面的挑战,有报告表明,开发效率高的企业其营收增长和创新速度均远高于业界平均水平。开发同学不操作线上数据库会导致效率问题,操作线上数据库则产生稳定性与数据安全方面的问题。
第二个是数据分发方面的挑战,既然使用了多种数据库类型来处理数据,数据就需要流动起来,但是多云和多源同时也阻碍了数据分发。
最后是数据保护和数据质量方面的挑战,如何确保数据得到了有效的保护?如何保证数据在流动后还能保持一致?
NineData应用场景
从这些问题出发,我们构建了 NineData 多云数据管理平台,整体应用场景是这样:
其中 SQL 开发模块管理的是协同流程,主要是从日常环境到线上环境的数据库变更与安全操作线上数据库。数据备份专注于保护核心的数据资产,而数据复制则用于各个环境、上下游系统、不同业务之间的数据分发与同步。数据对比则保证所有环节的数据一致性。
数据复制:技术解读
了解了场景之后,接下来深入的看一下数据复制这个产品。我们把数据复制定义为数据流动的基础设施,一般来说数据复制会有这几种场景:
一是业务之间或上下游之间的数据流动,比如 TP 到 AP、数据库到搜索引擎、消息系统等。二是不同厂商之间的数据流动,比如我们拜访过的很多客户,不管是出于议价或用云所长等原因都在逐步走向多云。
三是跨境的数据流动,这个比常见比如跨境电商、出海企业都有数据归集分析的需求。
从这三种典型的场景,我们可以总结数据复制面临的几个困难:
NineData 很好的解决了这些难点,并形成了两大基础能力与五大产品优势:
接下来我会着重讲解一下我们的多云互通架构与产品优势。
NineData 的架构充分利用了获取云资源的便利性与弹性。通过将系统中必须要预先存在的节点和可以动态拉起的节点分开,我们形成了中心控制节点与单元节点分离的架构,只预先拉起中心节点以节省资源和成本,当有用户任务过来的时候,系统会自动购买与用户数据库相同 Region 的资源并拉起服务,同时会持续关注任务量来进行自动伸缩。在网络的处理方面,NineData 支持私网连接、网关模式以及专属模式供不同的用户进行选择。通过巧妙的架构设计与精细的网络处理,我们现在已经可以联通绝大多数主流的云厂商以及自建机房。
数据复制:核心优势
接下来是我们的几个核心优势:
一是完善的预检查机制。因为多云和多源的复杂性,有非常多的因素会导致数据复制失败,我们检查影响任务的每个方面并一次性给出检查结果与处理方案,可以极大的提升后续任务成功率。
二是完备的结构同步。NineData 自研了非常完整的 SQL 解析器,比市面上开源的方案都要精细得多,比如在我们构造的400个 case 中,最好的开源 SQL 解析器也只能处理其中的350条。
三是高性能全量同步,不管是大表、小表、空洞表还是联合主键表,NineData 都可以有效地进行并发复制。
四是支持双向实时增量同步,用户通过这个功能可以构建非常灵活的业务容灾架构,在 DDL、数据策略上都有非常精细化的处理。
五是有成熟的异常处理机制,包括秒级监控、限流保护、异常数据处理等,这对于一个长期运行的链路是必不可少的。
数据复制:优势与价值
最后总结一下 NineData 数据复制的优势与价值。
我们希望无论你的数据在哪里,存放在什么样的数据库中,NineData 的数据复制都可以在任意的时间以实时的方式进行流动。
多云数据管理平台的展望
在做 NineData 多云数据复制的过程中,秉持着让每个人用好数据和云的使命,我们对多云和数据使用也有一些深入的思考。
一方面多云和多源仍将深化,每个企业都要为此做好准备。另一方面 AI 正在大规模地释放生产力,NineData (https://www.ninedata.cloud)也在这些方面做了很多探索并上线了部分 AI 的能力。最后,是数据安全与数据价值,我们也在这些方面进行持续的探索,希望能够帮助到大家。
玖章算术将通过持续的创新,以客户需求以及市场为导向,为开发者提供智能、高效、安全的数据管理体验,让每个人用好数据和云。
vueconf全球首届vue.js开发者大会资料整理
最近一直关注VueConf全球首届Vue.js开发者大会,现在将此次开发者大会资料整理如下: 一、Vue2017现状与展望 【尤雨溪】 在线视频:&nbs 查看详情
重磅邀请函来了!首届“腾讯云+社区开发者大会”免费报名!
...ditor发表于云+社区专栏2018年12月15日,首届“腾讯云+社区开发者大会”即将在北京隆重举行,腾讯云邀请广大开发者共同探讨云端新技术、新能力。届时,腾讯云将邀请超过40位行业内的技术专家,超过1000名开发者参与本次盛会... 查看详情
技术满满的开源盛宴—oceanbase开发者大会参会体验
...eanBase是国内分布式数据库的标杆,作为一名OceanBase的开发者,博主很荣幸参加了OceanBase的第一届开发者大会。早上9点,来自五湖西海的开发者们欢聚在北京望京嘉瑞文化中心,签到处的小伙伴非常热情的接待了... 查看详情
2017首届世界西商大会将于8月19日-20日在陕西宾馆开幕
2017首届世界西商大会将于8月19日-20日在陕西宾馆开幕,本次会议以“‘一带一路’:新经济、新活力、新西安”为主题,由中共西安市委、西安市人民政府主办,西安市各有关部门和开发区承办。大会期间,将举办首届世界西... 查看详情
头条首届世界家风大会开幕式在京隆重举行
2018年5月15日上午在联合国第25个“国际家庭日”之际,首届世界家风大会在北京会议中心隆重举行,第十届全国人大原副委员长、中国关心下一代工作委员会主任顾秀莲宣布大会开始,所有登台嘉宾同时按启启动屏,霎时间“首... 查看详情
打造南沙“强芯”,南沙首届icnansha大会召开
6月25日,2022中国·南沙国际集成电路产业论坛在广州南沙召开。本次峰会由广州南沙经济技术开发区管理委员会、广州市工业和信息化局主办;支持单位为广州湾区半导体产业集团有限公司、广东省集成电路行业协会、... 查看详情
2018首届传神者大会:“语言+新技术”将推动语言产业生态化发展2018首届传神者大会圆满落幕,
2018首届传神者大会:“语言+新技术”将推动语言产业生态化发展2018首届传神者大会圆满落幕,“语言+新技术”或开启全球深度互联时代智联未来,跨界赋能1211首届传神者大会圆满落幕2018年12月11日,“1211首届传神者大会”在... 查看详情
ninedata,领先的多云数据管理平台
前言:在云时代,开发者与企业需要怎样的数据管理产品,一方面提升开发者的效率加速企业发展,另一方面又需要保障数据安全。NineData(www.ninedata.cloud)则是尝试在两者之间找到平衡,让开发者能... 查看详情
2017首届中文域名大会主题“新思路·新生态·新应用”
...中文国家代码“.中国”将正式启用。 2017年3月28日,首届中文域名创新应用论坛在北京盛大召开。本次论坛由.集团/.我爱你/.广东/.佛山/.中国/.公司/.网络/.政务/.公益/.网址/.商标/.信息/.手机/.商城/ 查看详情
封仲淹:oceanbase开源技术生态全景解析
...信息:https://www.oceanbase.com/3月25日,第一届OceanBase开发者大会在北京举行,OceanBase开源生态资深研发总监封仲淹为大家带来了《OceanBase开源技术生态全景解析》的分享。以下为演讲实录:OceanBase自2021年开源后,... 查看详情
量子赋能共赢未来:首届ccf量子计算大会在郑州成功举办
量子计算被普遍认为将是引领新一代信息技术革命并引发技术产业革命性创新发展的新领域。为了顺应量子计算发展的大势,认识我国量子计算的发展优势和面临的挑战,助力十四五国家战略性科技前沿领域发展,CCF... 查看详情
开始报名|bewater全球开发者大会(bewaterdevcon2021)
经过2个月的筹备,我们兴奋的宣布:首届BeWater开发者大会(BeWaterDevCon2021)来了!本次大会将于 2021年9月4日在北京朝阳举办。大会介绍:本次大会为线下会议,面向企业技术负责人、一线工程师、个... 查看详情
首届世界watson大会第一天,都看到了什么?
650)this.width=650;"src="http://s2.51cto.com/wyfs02/M00/89/5C/wKioL1gQxOyg4JO6AALMwc-IER8248.jpg-wh_500x0-wm_3-wmp_4-s_3723606756.jpg"title="welcometoWOW.jpg"alt="wKioL1gQxOyg4JO6AALMwc-IER8248.jpg-wh 查看详情
首届世界watson大会第二日,体验数据分析的进化
650)this.width=650;"src="http://s2.51cto.com/wyfs02/M02/89/76/wKiom1gToizRy-8JAAEgskJ2TSw977.jpg-wh_500x0-wm_3-wmp_4-s_3665868405.jpg"title="封面1.jpg"alt="wKiom1gToizRy-8JAAEgskJ2TSw977.jpg-wh_50"/>如果每 查看详情
首届世界watson大会第三日,ibm释放更多重磅消息
650)this.width=650;"src="http://s1.51cto.com/wyfs02/M02/89/75/wKiom1gTl6CQra48AAGGJjaEZOk140.jpg-wh_500x0-wm_3-wmp_4-s_3483294441.jpg"title="两个女强人.jpg"alt="wKiom1gTl6CQra48AAGGJjaEZOk140.jpg-wh_50"/>( 查看详情
2023年第一场开源数据库生态技术盛宴,快来参加
...啦!2023年第一场开源数据库生态技术盛宴——OceanBase开发者大会将于3月25日在北京开启,所有对开源分布式数据库感兴趣的开发者们将汇聚一堂,共同探讨数据库前沿趋势,另外OceanBase的技术团队分享全新的产品... 查看详情
网易举办首届云创大会,优云软件助力司南战略
网易在会上首次公布近两年的发展数据:截至6月底,网易云已经服务35万企业客户,实现7亿终端用户覆盖。另外,网易云还发布“司南战略”,宣布将其云计算升级到“2.0版本”,并与浪潮、英特尔展开在云计算领域的深度合... 查看详情
f5张振伦:让应用安全快速可靠地交付到需要的地方丨2022首届全球数字生态大会
...日前,由杭州市人民政府和浙江省商务厅主办的“2022首届全球数字生态大会”在杭州国际博览中心成功举办。本次大会以“新技术、新业态、新模式”为主题,邀请到国内外20余位演讲嘉宾和超300位专业观众线下参会。... 查看详情