封仲淹:oceanbase开源技术生态全景解析

OceanBase数据库官方博客 OceanBase数据库官方博客     2023-04-08     505

关键词:

欢迎访问 OceanBase 官网获取更多信息:https://www.oceanbase.com/


3 月 25 日,第一届 OceanBase 开发者大会在北京举行,OceanBase 开源生态资深研发总监封仲淹为大家带来了《 OceanBase 开源技术生态全景解析》的分享。

以下为演讲实录:

OceanBase 自 2021 年开源后,持续吸引开发者参与共建,拉近和开发者的距离,同时,也在不断对接新的生态伙伴。今天我想和大家聊聊 OceanBase 开源生态的全景图,以及我们刚刚发布的 OceanBase 4.1 版本的新功能和产品未来规划。

开源开放,与生态伙伴共赢

任何一个系统都不是孤立存在的,而是与上下游协同发展;任何一个数据库都不能独立服务用户,而是需要为用户提供一整套解决方案,比如应用集成、数据治理、数据迁移及运维管控等,帮助用户更流畅地完成数据生命周期中的每一个阶段。

第一,应用集成就是让数据更轻松地生产出来。 今天 OceanBase 在企业版和社区版已经对接 300+ 套偏应用的系统。涵盖业务系统、基础软件、连接池、中间件、ORM、数据驱动、BI 报表、大数据平台,比如 Flink、Spark、MyCat 等。我们期待更多伙伴的加入。

第二,数据治理是帮助用户更安全地管理数据,包括基础客户端、数据加工、智能诊断、线上运维、安全管控等。 在我们对接的系统中,有 OceanBase 开发者中心(OceanBase Developer Center,ODC),有开源的 DBeaver,还有许多商业系统。

第三,数据迁移是让数据自由地流动起来。 目前对接的系统中,能够让 MySQL、Oracle、DB2、Elasticsearch、PostgreSQL、Hive、TiDB的数据流入 OceanBase,也能从 OceanBase 将数据同步到其他数据库中。在这些迁移的工具中,有 OceanBase 迁移服务(OceanBase Migration Service,OMS),也有开源的 Flink CDC、Canal、ChunJun 等,还有商业的 Data Pipeline 以及数控工厂等。

而我最想分享的一点是,如今数据迁移这个市场孕育了大量的商业机会,在 OceanBase 的整个生态中,无论是社区版、企业版还是云上,我们都愿意将商业机会分享给合作伙伴。

第四,运维管控,让用户更轻松地运维OceanBase。 我们对接的系统有 Kubernetes、Grafana、Data Foundatian 等,并期待 OceanBase 被更多的平台集成,2021 年,我们开源了 ODC,使 OceanBase 被更多大客户如携程、快手等集成,在他们的平台上运维 OceanBase,2023 年我们计划开源 OCP Express。

下图是 OceanBase 的生态全景图。目前我们已经有 400+ 生态系统(详细信息可在 GitHub 了解),包括大数据业务中台、数据管理平台、测试系统等,我们期望与更多的生态系统进行链接。并共享商业机会,实现生态共赢。

及时响应,与开发者共同成长

与生态伙伴同等重要的是用户与开发者,我们想打造一个及时响应的社区,更快速地帮助用户解决问题,并和用户一起成长。当下,我们的钉钉用户答疑群每天有 300+ 条的日消息量,社区问答论坛每月沉淀 1500+ 条帖子,用户的积极反馈帮助 OceanBase 更快地迭代,以及沉淀大量文档和解决方案。

另外,从 2022 年的云栖大会开始,我们投入了大量的资源向开发者倾斜,并安排多人进行值班。相比去年,今年我们对 Issue 的首次响应时间快了四分之一,Issue 数量也大幅增长。更为关键的是,企业版研发分支和社区版的研发分支进行了合并,因此,代码提交频率及贡献者数量也有了显著增加。

在与用户的沟通频率方面,由于一些环境原因,过去两年很多线下交流活动无法举办, 今年起,我们会加大线下交流频率,与用户零距离沟通。同时,希望与上下游伙伴联合发声,共同做一些事。

持续响应,4.1版本新功能

最近,我们发布了 OceanBase 4.1 版本。较之前版本实现了更多场景支持、稳定性强化、上手更容易、性价比提升。

▋ 更多场景支持

我们明确提出了单机形态,并增加旁路导入功能、提供 OEKV、多模(GIS/LOB)能力。

曾经有一位客户,130 TB 的数据用了七天才迁移完,在迁移过程中我们的支持团队也非常痛苦。因此,OceanBase 4.1 实现了旁路导入,绕过 SQL 引擎、事务引擎,从解析器将数据写到存储引擎的文件上,性能提升了7倍左右。

之所以提供 OBKV 的能力,是因为一些客户使用 HBase ,但不想安装 Hadoop 那套比较大的组件。一些用户是在关键场景中使用 HBase 害怕 Jave 的 JC,导致业务抖动。还有一些用户在数据库领域使用 Redis,并且将 Redis 作为一个持久化的数据库使用,这会存在很多问题。OBKV 的能力开放后,用户可以通过 OBKV 的 API 层并绕过 SQL 层直接访问事务层,性能得到大幅提升。我们也在和生态用户合作,尝试支撑 Redis 模型。

OceanBase 4.1 对 GIS/LOB 的支持,也使其不再局限于过去的 48 MB,如今这个限度提升到了 512 MB。

此外,为了提升兼容性,OceanBase 4.1 还提供了拉丁字符集的支持,强化了与MySQL 8.0 的兼容性。

▋ 稳定性增强

OceanBase 4.1 开放了基于 NFS 和 OSS 的主备库功能,便于系统做主从集群或异地多活,并且实现了 SQL 识别的隔离和租户的线程池优化。 在稳定性之下,OceanBase 的应用性也得到了大幅提升。

首先是 白屏化安装 ,降低了用户的安装难度;其次是 集成 OCP Express ,使运维更轻量化;然后是 日志优化 ,过去所有研发的日志全部混在一起,现在研发日志被拆分,提升了高可用。

我们有一位海外游戏厂商客户,过去基本上使用 16C128G 的单机数据库,以至于他的业务系统存在大量风险和扩展性问题。这位客户将系统替换为 OceanBase 4.1 后,可以将单机变成分布式,然后实现一个集群以保证系统的高可用,当他需要跨域或跨机房的时候,可以用主备库的方式实现整个集群的高可用。

▋ 上手更容易

坦白讲,安装部署是我们被吐槽得非常狠的一方面,比如集群安装失败、OCP 安装失败、监管失败等,我们在 OceanBase 4.1 中针对这些问题做了非常多的优化。

首先,简化安装流程。用户只需要敲一个 OBD Web 就可以启动白屏化安装流程,并且安装界面非常简洁明了;其次,让用户灵活选择,提供完全部署和精简部署,以供用户最大化地使用集群资源部署或用最节省资源的方式部署;最后,在整个安装的过程中,多次 check,让整个安装部署过程变得更加智能。

此外,本次发布的 OCP Express 是沉淀多年的 OCP 管控系统的轻量版,能够直接集成到系统中提供核心管控功能(不降功能只降资源,六个应用场景带你了解 OCP Express)。过去,OCP 的安装时长通常以天计,而 OCP Express 是以分钟计,这背后还有一个更大的逻辑,就是我们期望 OCP Express 能够更好地被生态伙伴集成到管控系统。

▋ 性价比提升

在 OceanBase 4.1 中,OLTP 性能较之前提升了 40%,OLAP 的性能提升了 17%。在性能提升背后,有 OBProxy 路由优化、大事务优化、算子优化、小表存储优化等等。

后续我们会持续提升 TP 和 AP 的性能。

TP 方向的目标是小规格赶超 MySQL,目前在 Sysbeach 测试中,OceanBase 的表现超过了 MySQL,但我们期望在用户的真实场景中,也能让用户感知到小规格 OceanBase 比 MySQL 更快。

在 AP 方向,我们会做大量的持续优化:比如冷热分离,将冷数据存到 OSS 上,热数据保留在本地的磁盘中;再比如只读外表,许多客户希望能够只读取外部的数据。在此可以向大家透露一点,我们会在 4.2 版本或 4.3 版本尝试实现 Auto DOP。

生态共建,社区版未来规划

关于 OceanBase 社区版的未来,我们目前有四方面的规划。

第一, 助力生态发展。 我们计划在六月份开源 MySQL Blog Service,使业界更多的系统能够直接复用,甚至可以实现一些高可用场景,比如异地多活,一边是OceanBase,一边是 MySQL,满足热备切换或实时同步等需求。

第二,开源 OCP Express。 让 OceanBase 能够被更多大客户的平台集成,甚至将OCP Express 的代码抽取后集成到客户的管控系统中,帮助生态管控工具更好地管理 OceanBase。

第三,开源 ODC 。 ODC 已经在金融、运营商、电商、政务、能源等行业的商业用户场景中使用,让用户更好地进行数据库的协同开发,提高开发效率,以及做好数据的导入、导出、诊断、安全管理等。我们计划在六月份将其开源,更好地服务社区用户。

第四,强化内核。 除了持续优化 TP 和 AP 能力外,我们计划在 4.4 版本中全面兼容 MySQL 8.0。目前我们在每三个月的发布版本中,都会做大量的 MySQL 功能兼容。我们也期望开放更多的功能,实现内核共建。

最后,希望更多伙伴加入 OceanBase 的生态共建阵营,我们将向合作伙伴分享开源及云的商业机会。同时,做好社区共建,及时响应用户,持续交流共同成长。


欢迎访问 OceanBase 官网获取更多信息:https://www.oceanbase.com/

2023年第一场开源数据库生态技术盛宴,快来参加

...议程来啦!2023年第一场开源数据库生态技术盛宴——OceanBase开发者大会将于3月25日在北京开启,所有对开源分布式数据库感兴趣的开发者们将汇聚一堂,共同探讨数据库前沿趋势,另外OceanBase的技术团队分享全新... 查看详情

tidbserverless和技术生态全景

...好用的数据库,除了产品自身的能力外,繁荣的技术生态体系也至关重要,既可以提升使用体验,又可以降低使用门槛。PingCAP在2022年11月1日正式发布了TiDBCloudServerlessTier,本次分享在介绍ServerlessTier的技术细... 查看详情

oceanbase-概述

...tidb的体系架构,了解了其运行原理;今儿了解下OceanBase;产品家族先看下官网:https://www.oceanbase.com/在OceanBase的产品分类里,一共有三大块,分布式数据库、工具体系、生态产品;(一个产品好不... 查看详情

蚂蚁金服天街:蚂蚁双11大促oceanbase核心技术全解析

...(花名:天街)现任蚂蚁金服高级技术专家,2012年加入OceanBase团队,曾五次作为OceanBase负责人承担双11大促保障工作,致力于OceanBase提供高可用/高性能/低成本的数据库服务,在数据库相关技术及业务大促保障上有多年的沉淀和... 查看详情

技术解析:一文看懂anolisos国密生态|龙蜥专场

...两位演讲者整理,他们在2021年阿里云开发者大会的「开源操作系统社区和生态分论坛」上带了分享,演讲主题为《国密技术开发与实践》,为国内的基础软件生态添砖加瓦。作者分别是阿里云技术专家张天佳与蚂蚁... 查看详情

技术满满的开源盛宴—oceanbase开发者大会参会体验

OceanBase是国内分布式数据库的标杆,作为一名OceanBase的开发者,博主很荣幸参加了OceanBase的第一届开发者大会。早上9点,来自五湖西海的开发者们欢聚在北京望京嘉瑞文化中心,签到处的小伙伴非常热情的接待了... 查看详情

云计算技术—云计算生态依靠开源社区进行构建

目录文章目录目录云计算生态依靠开源社区进行构建健全标准建立信任云计算生态依靠开源社区进行构建健全标准云原生技术自2015年由CNCF下过定义以后,短短5年间发展迅速,已经演变为一整套的技术体系和方法论。这5年间,... 查看详情

云计算技术—云计算生态依靠开源社区进行构建

目录文章目录目录云计算生态依靠开源社区进行构建健全标准建立信任云计算生态依靠开源社区进行构建健全标准云原生技术自2015年由CNCF下过定义以后,短短5年间发展迅速,已经演变为一整套的技术体系和方法论。这5年间,... 查看详情

大数据与ai生态中的开源技术总结

...据爆炸与智能革命的新时代,新的平台与应用层出不穷,开源项目推动了前沿技术和业界生态快速发展。本次分享将以技术和生态两大视角来看大数据和人工智能技术的发展,通过分析当下热门的开源产品和技术,来梳理未来的... 查看详情

解析:跨链技术及应用全景图

引言跨链技术是区块链领域的圣杯,区块链技术蓬勃发展,形成了许许多多的公链和联盟链,但是长期以来,区块链之间彼此互不连接,形成了用户、数据、资源、资产的数据孤岛。如同TCP/IP协议一样,跨... 查看详情

阿里云polardb开源数据库社区与tapdata联合共建开放数据技术生态

简介:近日,阿里云PolarDB开源数据库社区宣布将与Tapdata联合共建开放数据技术生态。近日,阿里云PolarDB开源数据库社区宣布将与Tapdata联合共建开放数据技术生态。在此之际,一直专注实时数据服务平台的Tapdata&#... 查看详情

共享开源技术,共建开放生态丨平凯星辰余梦杰出席2022世界互联网大会开源论坛圆桌对话

2022年11月9日下午,2022年世界互联网大会乌镇峰会开源技术生态创新发展论坛成功举办。论坛由中国科学院主办,中国科学院软件研究所、中国科学院计算技术研究所、浙江省互联网信息办公室等单位协办。平凯星辰余梦... 查看详情

鸿蒙系统全面解析,诞生背景、技术细节生态圈一文看懂智东西内参

...的报告《华为鸿蒙深度研究》,从鸿蒙系统的产生背景、开源技术细节和产业链生态圈全面解析鸿蒙系统。原标题:《华为鸿蒙深度研究》作者:未注明鸿蒙产生的时代背景,总体来说有六个:1、数字化的时代背景:数字化新... 查看详情

filecoin生态全景图首次大公开!

近日,协议实验室公布了Filecoin生态全景图,涵盖了“应用程序和客户端、协议实验、开发者工具、基础设施、生态资本”等领域,主网上线不到一年的Filecoin就拥有了如此庞大且优秀的生态,不由得有一种大鹏展... 查看详情

开源开放生态共建!立足国内开源社区大生态,畅聊飞桨开源社区共建理念

...平行论坛带来精彩的前沿观点分享。今天将为大家介绍【开源开放生态共建】平行论坛精彩亮点,一起来先睹为快!当前开源已经成为全球基础创新和 查看详情

源创者说|从技术开放到产业连接,开源成就广泛连接的生态

开源的种子撒落在中华大地已有30余年的时间,如今正是百花齐放、争奇斗艳的时节。当前,国内开源已实现跨越式发展,越来越多的中国企业都加入了开源的浪潮中。国家政策的引导、基础软件的崛起、企业的大力... 查看详情

访谈eotalkvol.01:eoapi,我们希望以开源的方式构建api生态系统

...Eoapi的核心开发者秦圆圆和EolinkCEO刘昊臻来聊聊,并分享开源产品Eoapi,以开源的方式构建API生态系统。以下为演讲内容 查看详情

iplook携5g/6g专网融合卫星方案精彩亮相2021开源无线生态峰会

    2021年12月12日-14日,为期三天的开源无线生态峰会在北邮科技大厦圆满落幕。此次峰会由开源无线网络(OS-RAN)社区联合OSA联盟(OpenAirInterfaceSoftwareAlliance)共同举办。爱浦路IPLOOK也在本次峰会中携自主... 查看详情