前沿分享|数澜科技联合创始人&副总裁江敏:基于云原生数据仓库analyticdbpostgresql的最佳实践

阿里云开发者 阿里云开发者     2023-02-01     543

关键词:

简介:本篇内容为2021云栖大会-云原生数据仓库AnalyticDB技术与实践峰会分论坛中,数澜科技联合创始人&副总裁江敏关于“基于云原生数据仓库AnalyticDB PostgreSQL的最佳实践”的分享。


本篇内容将通过四个部分来介绍基于云原生数据仓库AnalyticDB PG的最佳实践。

一、背景介绍

二、方案介绍

三、客户实践—某商业集团

四、公司介绍

 


一、背景介绍


当前我国数据中台行业处于从萌芽转向高速发展的过渡期,伴随着数据星的爆发式增长,数据处理技术的进步,以及企业数字化转型驱动市场需求不断增加,行业增长势头明显,市场规模快速扩张。目前,数据中台在行业头部已逐渐薄地,而对于数据中台能力要求相对简单的中小企业,为其提供标准化、轻量化的整体解决方案将是日前市场的主要诉求。



我们去构建整个数据中台的能力的时候,其实会碰到一些问题。比如,底层架构复杂。传统数据中台架构思维,导致客户在选型和部署大数据组件,开发和调度数据任务和运维和运营数据需要多方进行权衡考虑,架构复杂,使用门槛过高。其次,运维成本高。伴随着传统統数据中台底层架构的复杂性,随之而来的是复杂的IT人员体系以及高昂的运维成本。第三,响应时效挑战大。随着数据量的不断增加以及业务需求的不断迭代,如何快速响应业务人员需求、减少数据分析的等待时间、让业务人员有更好的体验将成为数据中台成功的关键指标。



二、方案介绍



我们基于ADB PG这个版本去构建整个轻量级数据中台的时候,你会发现底下就一个ADB PG。中间的话,我们是一个轻量级数据中台的套件。这样两套系统就可以去撑我们上层的业务建设。



从整个的业务架构来说,底层是我们现有的各种数据源的系统。然后我们会在数据中台会搭建一个技术体系,在技术体系里包括了ADB。之后再构建我们整个的数据体系跟服务体系。在数据中台的技术体系上,就是我们的数据流。它会经过一个数据建模的过程。对于轻量化的中小微企业来说,当需要轻量化的方案时,我们会把它放到ADB里。在这过程中,就不需要去考虑搬迁数据的问题,我所有的数据都在这个体系里面。ADB的数据量,其实能够支撑大部分企业的数据量使用。



企业只要在这里构建整个数据模型,我们会有相应的工具来支撑,包括数据同步,环境管理,模型开发,模型监测,包括数据治理的一些功能。对于数据及服务来说,我们在构建数据模型的时候,针对企业的对象,我们会去构建一些具体的指标,相应的内幕体系也会建设起来。比如,我们从客户的视角,构建客户的画像体系。从供应商的视角,构建供应商的画像体系。数据构建完之后,我们就可以去做洞察,营销,精准匹配等。所以从数据层面看,它能够支撑应用场景。



针对具体的场景来看,我们分成几大块。第一个,财务领域。财务报表有时候会跟企业的经营报表口径统一,大部分企业在面临财务审计的时候,对于企业来说是一个非常强的需求。第二个,企业的应收应付和人力资源的管理。对员工的洞察,也需要通过数字化的手段去管理员工叫数字员工。更加精细化的去对员工做一些考核,包括一些相应的指标分析。第三,我们目前在一些领域做实时数据的分析。根据轨迹去做态势的分析,包括一些碰撞的分析。第四,加密数据库的能力。这种场景可以基于ADB的底座去构建。数据的可用不可见,让我们对数据可以更加高效的管理。



三、客户实践—某商业集团


我们主要讲一个商业集团的案例。这个商业集团,主要是管理高速服务区。原先服务区,每个服务区自己建设系统。现在随着智能化服务区概念的提出,需要对进出服务区的管理进行统一。在建设之初,我们也遇到了一些问题。比如,数据收集难,50对+服务区,各自独立,只能收集部分统计数据;多种信息系统独自建设,归口各不统一;无法有效获得周边路段的数据;数据孤岛问题明显。数据管理混乱,各位数据笆理部门不一,没有形成统一的资产目录; 数据标准不一,数据质参差不齐;跨部门数据使用协调繁琐。数据使用弱,数据大部分处于沉唾状态。对于管理者的运营监控、经营决策等方面缺少必要的智能洞察。


在解决这些问题的时候,要考虑到对于各个服务区的这个站点,怎样能够降低维护成本?怎样可以开箱即用?,对于它里面建设场景刚才其实也简单介绍过。第一个,服务器里会有很多视频分析的场景。涉及到关键信息,要实时抓取,写到道数据库里。比如人流的情况,车流的情况,拥堵的这种情况,人员进来之后,对什么样的商品有需求?对于服务区总体的管控来说,我们在预测服务区的流量,一些供需关系,一些管理的时候。它需要把数据汇聚到总部来,做统一的管理,统一的分析。



从客户价值呈现的角度来说,第一,智能化。我们通过对各类数据的采集、加工、治理及应用,并结合成熟的业务模型,释放数据价值,支撑业务的智能化。第二,轻量化。我们简化传统中台架构,用ADB替代Hadoop生态,降低企业资源存储及计算的复杂度和成本;为多维分析决策提供保障。第三,场景化。我们以具体的业务场最为切入点,自下而上,围绕场景开展数据治理,构建数据资产,支撑数据应用需求,贴近价值。



四、公司介绍


数澜科技成立于2016年6月,自成立之日起,秉持”让数据用起来”的使命,帮助企业持续数据资产化,赋能业务创新。数澜科技总部位于杭州,在华北(北京)、华南(深圳)、华西(成都)、华中(武汉)设有本地化团队,核心成员均来自阿里巴巴、华为、IBM、 百度、金蝶、甲骨文等一线企业,是国内较早-批大数据服务创新实践者。截止目前,数澜科技使用旗下核心产品”数栖平台”, 已为1000+企业客户提供数据中台建设服务,帮助客窖户使用数据中台作为关键数字技术推动企业的数字化变革。

原文链接:https://developer.aliyun.com/article/802313?

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

登临科技联合创始人王平:创新+自研“双核”驱动,gpu+赋能ai落地生根|量子位·视点分享回顾...

视点发自凹非寺量子位|公众号QbitAI人工智能的蓬勃发展带来了算力需求的指数增长。摩尔定律和DennardScaling效应在CPU的性能提升上失效,针对于图形加速和高性能计算设计的GPU在AI计算领域略显乏力。百花齐放的ASICAI芯片虽... 查看详情

zstack与沃趣科技签署合作协议,聚焦云与数据库生态市场

...(简称:沃趣科技)签署合作协议。ZStack联合创始人&COO尤永康、高级解决方案架构师池家健,沃趣科技创始人&CEO陈栋、联合创始人&CTO李建辉、技术中心负责人魏兴华共同出席签约现场 查看详情

zstack与沃趣科技签署合作协议,聚焦云与数据库生态市场

...(简称:沃趣科技)签署合作协议。ZStack联合创始人&COO尤永康、高级解决方案架构师池家健,沃趣科技创始人&CEO陈栋、联合创始人&CTO李建辉、技术中心负责人魏兴华共同出席签约现场 查看详情

ai时代智慧睡眠

...慕思总裁姚吉庆,阿里巴巴集团副总裁刘松,场景实验室创始人吴声、新华社《环球》杂志执行总编辑卞卓丹。科技部中国民营科技促进会秘书长孙小林,中国睡眠研究会秘书长左和鸣在论坛发表致辞。近年来随着人们睡眠时间... 查看详情

科大讯飞2位董事同日辞职,联合创始人胡郁发力造芯

明敏发自凹非寺量子位报道|公众号QbitAI科大讯飞高层发生重大人事变动。昨晚讯飞官方披露:董事、副总裁胡郁和陈涛二人分别递交《辞职报告》,申请辞去相关职务。同时宣布拟补选副总裁、董事会秘书江涛和副总裁... 查看详情

新起点,新航线丨云掣科技,启航!

...云CEO拖雷,袋鼠云COO江枫,云掣科技CEO丁原,袋鼠云联合创始人强哥以及云掣科技核心团队成员俊达、南方、祁幽共同开启,云掣科技正式启航。云掣科技启航现场袋鼠云联合创始人徐进挺(花名:丁原)担任云掣科技CEO。徐进... 查看详情

人气爆棚!googledevfest2018广州国际嘉年华为什么这么火?

...睿智、通天地智能产品孵化基地副总经理夏少海、前瞻网创始人陈立科、联合创泰副总裁宋燕谦一起成功发布了AIOT科技节。视频地址:https://v.qq.com/x/page/c08186n0nx3.html AIOT科技节在酷炫科技的灯光和激情高昂的音乐中成功发布... 查看详情

多年亿级流量下的高并发经验总结,我毫无保留的写在了这本书中(csdn创始人总裁副总裁联合推荐)

大家好,我是冰河~~今天,给大家隆重的宣布一个好消息:继出版《海量数据处理与大数据技术实战》、《MySQL技术大全:开发、优化与运维实战》和《深入理解分布式事务:原理与实战》之后,冰河的第4... 查看详情

多年亿级流量下的高并发经验总结,我毫无保留的写在了这本书中(csdn创始人总裁副总裁联合推荐)

大家好,我是冰河~~今天,给大家隆重的宣布一个好消息:继出版《海量数据处理与大数据技术实战》、《MySQL技术大全:开发、优化与运维实战》和《深入理解分布式事务:原理与实战》之后,冰河的第4... 查看详情

即构科技联合创始人蒋宁波受邀出席2017直播行业高峰论坛暨年度盛典

1月18日,由中国演出行业协会指导、中国演出行业协会网络表演(直播)分会主办的中国网络表演(直播)行业高峰论坛暨2017网络直播年度盛典将在北京亚洲大酒店盛大召开。 本次活动将由主论坛、CEO闭门会议、直播技术... 查看详情

有容云ppt|容器落地之二三事儿

编者注:本文为10月29日有容云联合创始人兼研发副总裁江松在 DockerLive时代线下系列-广州站中演讲的PPT,本次线下沙龙为有容云倾力打造DockerLive时代系列主题线下沙龙,每月一期畅聊容器技术生态,北京,深圳&#x... 查看详情

科技巨头创始人正退出舞台,谷歌阿里字节等10大创始人退出史

创始人退出或分权,科技公司还好吗?12月3日消息,近日,社交平台Twitter和软件服务公司Salesforce的创始人都发生了职位变动,Twitter联合创始人JackDorsey卸任CEO,Salesforce创始人MarcBenioff成为联合CEO。 谷歌、... 查看详情

数据标准:数澜科技之标准管理

这篇文章主要从数据治理中的重要基础内容:数据标准入手,从以下几个角度展开具体讲解:对数据标准的认识误区数据标准的定义企业如何制定数据标准数据标准化过程中出现难题的原因以及解决方案1.大数据治理... 查看详情

元宇宙,会成为下一代互联网的主场吗?

...f;我们特邀腾讯云TVP、中赫集团副总裁、工体元宇宙GTVerse创始人CEO葛颀老师,为我们分享他作为资深人士对元宇宙发展趋势的解读。作者简介葛颀,腾讯云TVP、现任中赫集团副总裁、工体元宇宙GTVerse创始人CEO首席架构师&... 查看详情

metaverse&edgecomputing

本文来源于全球边缘计算大会·上海站,熹乐科技创始人范维肖CC演讲分享内容整理而成。CC是非常好玩有趣的创业者,大家可以好好啃一下CC团队们对于“元宇宙”的思考。大家下午好,我是熹乐科技的CC,地理分... 查看详情

瑞欧威尔联合创始人兼ceo李波博士:“工业元宇宙”是为了更好赋能实体经济

...xff01;在中国力量·20215GXR产业峰会现场,瑞欧威尔联合创始人兼CEO李波博士:以“AR技术驱动下的‘工业元宇宙’”为主题发表了演讲。 以下为演讲实录:大家早上好,非常荣幸有这个机会跟大家分享一下工业领... 查看详情

胡立军:从gartner“hypecycle”看rpa发展走向

胡立军|艺赛旗联合创始人&高级副总裁南京大学MBA,微软MCT认证讲师,曾任职大学计算机讲师,国内较早网络及云安全从业者,艺赛旗创始高管之一,现任上海艺赛旗软件股份有限公司高级副总裁,主要负责艺赛旗人工智能软... 查看详情

百度开发者大会的拟邀嘉宾

参考技术A李彦宏:百度公司创始人、董事长兼首席执行官王劲:百度技术副总裁林仕鼎:百度首席架构师(移动·云)李明远:百度移动产品部高级总监岳国峰:百度移动发展部总监黎科峰:博士,百度移动·云计算事业部技术... 查看详情