阿里云产品之数据中台架构

author author     2022-12-08     384

关键词:

1. 场景描述

客户打包买了很多阿里云的产品,但是阿里云不负责实施,基于阿里云产品与客户需求,拟采用的数据中台架构,有类似需求的,可以参考下,拿走不谢!

2. 解决方案

阿里产品大数据架构图:

技术图片

从下到上,简要介绍下各个阿里产品作用及承担的任务:

2.1 云数据库 RDS

阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。官方文档

2.2 数据传输DTS

数据传输服务(Data Transmission Service) DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解决远距离、毫秒级异步数据传输难题。 它底层的数据流基础设施为阿里双11异地多活基础架构, 为数千下游应用提供实时数据流,已在线上稳定运行6年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。官方文档

2.3 离线数据同步工具DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

开源地址https://github.com/alibaba/DataX

2.4 DataHub

阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。DataHub服务可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据比如实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等。

DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点。

2.5 ADB或ADS

云原生数据仓库AnalyticDB MySQL版(简称ADB,原分析型数据库MySQL版),是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务,使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。

2.6 什么是MaxCompute

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的EB级数据仓库解决方案。

随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(百TB、PB、EB)级别。MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。

2.7 智能数据构建与管理 Dataphin

面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,包括产品、技术和方法论等,助力打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动创新。

域的服务器组成的分布式网络。将源站资源缓存到全国各地的边缘服务器,供用户就近获取,降低源站压力。

2.8 服务器ECS

云服务器ECS(Elastic Compute Service)是一种简单高效、处理能力可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用,提升运维效率,降低IT成本,使您更专注于核心业务创新。

官方帮助文档1 官方帮助文档2

2.9 实时流处理Blink

? 一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

? 阿里云正式于2019年1月,宣布将实时计算平台Blink开源,Blink传承自Flink开源框架,后者最早适用于小流量互联网场景的数据处理。此前阿里对Flink进行改造,并推出内部版Blink,将计算延迟降低到毫秒级。


I’m 「软件老王」,如果觉得还可以的话,关注下呗,后续更新秒知!欢迎讨论区、同名公众号留言交流!

1.企业it架构转型之道:阿里巴巴中台战略思想与架构实战---阿里巴巴集团中台战略引发的思考(代码片段)

第1章阿里巴巴集团中台战略引发的思考1.1阿里巴巴共享业务事业部的发展史1.2企业信息中心发展的症结 在高层看来,IT信息部门定位成了业务支持的部门,是一个花钱的成本中心。造成这样的处境的原因是,IT信息部门的人不懂... 查看详情

阿里云重磅发布业务中台产品bizworks,中台发展进入下一个阶段

...: 业务中台产品BizWorks重磅发布,这可以看作是阿里云在“做厚中台”战略上继“云钉一体”之后的又一个新动作!10月19日,2021云栖大会正式开幕,连续举办多年的云栖大会俨然已经成为了国内科技产业展... 查看详情

阿里云重磅发布业务中台产品bizworks,中台发展进入下一个阶段

...介:业务中台产品BizWorks重磅发布,这可以看作是阿里云在“做厚中台”战略上继“云钉一体”之后的又一个新动作!10月19日,2021云栖大会正式开幕,连续举办多年的云栖大会俨然已经成为了国内科技产业展... 查看详情

网络架构设计之学习路线

...计是在云上进行业务技术架构设计的第一步,本节将结合阿里云基础网络产品介绍如何进行网络架构设计、规划和建设。3.1.1 网络产品简介进行网络架构设计时离不开网络产品的应用,所以我们先初步了解一下构建网络时需要... 查看详情

阿里云物联网产品架构

阿里云物联网产品架构一.总述设备连接物联网平台,与物联网平台进行数据通信。物联网平台可将设备数据流转到其他阿里云产品中进行存储和处理。这是构建物联网应用的基础。  二.阿里云物联网产品分析2.1 IoT... 查看详情

2021阿里云金融数据智能峰会——阿里巴巴数据中台建设经验之谈

简介:阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上,实现数据智能审批,通过可信模型构建和风险量化,让智能流程代替繁琐人工。以Dataphin为例,作为阿里巴巴集团数据治理方法论基于... 查看详情

企业it架构转型之道,阿里巴巴中台战略思想与架构实战

前言:  晚上11点多闲来无事,打开QQ技术群,发现有关‘中心化与引擎化‘的话题,本着学习的心态向大佬咨询,大佬推荐一本书,我大概看了有四分之一的样子,对于我这种对架构迷茫的人来说,如鱼得水,于是特来此推... 查看详情

数据中台架构体系理解

...缺陷问题。数据中台是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台事业部集中数据搜索,技术及产品,数据共享等多个部门的功能。其他组织或企业建... 查看详情

中台之交付

...。有了设计,可以进入到立项流程。组织能力模型中台的产品界定要求和对建模的难度比终端产品要复杂。多产品人员和技术人员的要求也更高一些。作为技术人员,编码能力,分析能力,架构设计,模块设计,性能调优的要求... 查看详情

国内最强数据中台架构,它排第一!

提起业务流量,除了全民抢票平台12306,当数阿里最有发言权。上到双十一千亿级流量洪峰,下到日均百万、千万交易量的平台,每个业务模块背后的高并发架构理念,无处不在。成熟的架构设计只是其一࿰... 查看详情

阿里中台战略思想与架构实战》读书笔记

阿里中台战略思想与架构实战》读书笔记 maquewy 关注 4.3 2018.08.0222:01 字数4114 阅读18480评论7喜欢57赞赏1背景最近公司如火如荼的进行中台建设,各种业务中台涌现,迫切想知道中台的发展规划和关键解决问题,比... 查看详情

阿里云云计算:4阿里云产品架构

阿里云云计算:4阿里云产品架构参考https://edu.aliyun.com/lesson_547_21871#_21871 查看详情

skg渠道中台借助sae+大禹打造云原生devops,提效60%

...能适配销售拓展、提高效率、加强规模化运营,SKG同阿里云达成战略合作,打造基于线上线下打通,并覆盖全渠道应用场景的渠道中台项目。本次渠道中台建设面向SKG线上、线下、礼品等渠道的营销管理,打通经... 查看详情

阿里云数据中台quickaudience智能用户增长正式发布

...用户增长。-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部和关注官方微信公总号(文末扫描二维码或点此加入)- 查看详情

阿里云架构师解读四大主流游戏架构

简介:游戏行业是阿里云最早聚焦的行业之一,近年来游戏行业的变化、云计算产品技术的变化都与日俱进。随着行业业务的变化、技术架构的演进以及阿里云产品的迭代演进,整体的产品技术选型在不同的游戏场景... 查看详情

阿里数据中台底座的12年建设实践

...台建设将走向何方?数据资产到底该如何管理?阿里巴巴的中台建设之路应该能为金融机构带来借鉴。日前,在阿里云举办的2021阿里云金融数据智能峰会上,阿里云智能计算平台事业部研究员关涛对阿里巴巴如何... 查看详情

阿里数据中台底座的12年建设实践

...台建设将走向何方?数据资产到底该如何管理?阿里巴巴的中台建设之路应该能为金融机构带来借鉴。日前,在阿里云举办的2021阿里云金融数据智能峰会上,阿里云智能计算平台事业部研究员关涛对阿里巴巴如何... 查看详情

基于云原生解决方案的技术中台

 今天谈下基于云原生的技术中台产品规划方面的思考。自己在前面也写了很多关于SOA,中台,DevOps和云原生的相关技术文章。在这些文章里面也谈了技术中台或传统我们谈的私有云PaaS技术平台,而云原生解决方案的核心是SO... 查看详情