ddd专栏9统一数据存储中台方案演示

roykingw roykingw     2023-01-11     182

关键词:

​ 上一讲分享了我关于中台的理解,最后部分也给你留了个问题,怎么设计支付风控系统的统一数据存储功能。不知道你的想法是怎样的?这一讲会分享我设计的一个方案,当然,这方案并不一定是最优的,也并不是实际项目中的方案原貌,只是和本专栏中的其他示例一样,为了加深对DDD的理解而设计出来的。你在看这一讲的过程当中,不妨和我的方案做下对比,并结合专栏前面的知识点,加深对DDD的理解。

问题分析

​ 我们先回顾下这个统一存储的问题:

​ 之前分析过,统一存储服务这一部分的难点主要有两个。一是需要与多种数据源进行对接。例如黑名单数据结构比较清晰,会存在MySQL当中。限额数据对查询效率要求比较高,会存在Redis中。而其他很多诸如"用户当月的交易次数、转账对象个数"等等这一类的风控因子相关数据,结构非常零散,数据量也会非常庞大,会放到Hbase当中。还有一些像系统行为日志等面向分析计算的数据,会存到ES中。而且这些数据会要在多个模块当中共享。例如对于黑名单数据,他的读和写之间的跨度是比较大的,但是业务上又要能比较好的对应上。所以,统一存储服务需要在多个数据源当中形成比较统一的调用模式。

​ 二是需要对接的技术环境比较多。例如实时风控与BFF会采用微服务技术。而非实时风

ddd专栏10ddd的架构变化之道

​专栏写到这里,不知道你对DDD的理解是什么样的?本专栏从一个最具体的转账功能说起,以代码推演的方式引出了DDD的三层架构,相信由此延伸出来的DDD的概念都能够帮你对于DDD有个比较清晰的概念。DDD并不是凭空产生的,他... 查看详情

爱奇艺数据中台建设方案

...、大数据平台、数据平台架构数据中台的应用场景:统一化、个性化、定制化一、数据中台的产生1、数据工作的痛点使用门槛高:数据 查看详情

数据中台应用实战50篇-中台解决方案本质在解决什么问题?

...信息化再次迭代的过程。以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟!MATLAB-30天带你从入门到精通MATLAB深入理解高级教程(附源码)tableau可视化数据分析高级教程那么要... 查看详情

ddd专栏5:深入ddd的核心:领域与限界上下文

05、深入DDD的核心:领域与限界上下文​上一章节中,我们主要讨论了DDD如何通过仓库、工厂、聚合这些工具,来保护以实体、值对象和领域服务为主体的领域模型的。通过仓库和工厂隔离了底层数据存储模型对领域模型的影响... 查看详情

数据中台中事实表设计概述

事实表是统一数仓层建设的主要产出物,统一数仓层绝大部分表都是事实表。一般来说事实表由两部分组成:一部分是由主键和外键组成的键值部分,另一部分是用来描述业务过程的事实度量。事实表的键值部分确定了事实表的... 查看详情

数据中台02:数据中台架构

...中,难以利用,很难产生业务价值,所以需要统一汇聚。2、数据开发数据开发是一整套数据加工以及处理的工具,因为通过数据汇聚模块汇聚到中台的数据没有经过处理,基本是按照数据的原始状态堆砌在一... 查看详情

搞了三年,再看数据中台的价值与解决方案

一、数字化转型面临的痛点问题1.指标口径不统一产品部门和财务部门一起开会给老板汇报,APP下单用户数产品1021W,财务1000W,产品说我的数据是数据团队出的,财务说我的也是,那数据为什么不一致呢?原因... 查看详情

ddd专栏12专栏总结走出自己的ddd

​本专栏到这里,也就进入了尾声。实际上,DDD从2004年就被提出,多年来经过很多大神的研究与分享,DDD已经从高高在上的理论空间慢慢沉淀到了我们身边。业界对于DDD的难点,也从学习理解,下沉到了落地实践。就像专栏开... 查看详情

马蜂窝数据仓库架构实践

...积累之后,借助平台化的思路,将数据更好地进行整合与统一,以组件化的方式实现灵活Part.1马蜂窝数据仓库与数据中台 最近几年,数据中台概念的热度一直不减。2018年起,马蜂窝也开始了自己的数据中台探索之路。数据... 查看详情

Dapper 的 DDD 原则和存储库

...您无法在无效状态下创建域实体。存储库包含域实体上的数据操作,这些操作从/映射到数据库。我一直在尝试以下两种方法:以纯粹方式的域实体:没有 查看详情

数据中台建设的9大误区,你中了几条?

...同企业的发展程度存在差异,因此会导致不同企业的数据中台的建设起点不同。虽然起点存在差异,但是数据中台的建设应该是一个不断迭代和优化的过程,没有终点。另外,不是每个企业都需要建设一个大而全... 查看详情

构建数据中台——数据只有被使用起来,才能创造价值

...中台数据中台是什么?首先是一种IT系统,是把数据进行统一管理的平台,包括业务运行产生的数据、用户的行为数据、以及外部第三方的数据,进行统一的、规范的、完整的、准确的采集、存储、加工、管理,并且为前台业务... 查看详情

中台vs平台区别与联系

  我们都知道中台和平台都是企业通用能力的抽取与沉淀这是毋庸置疑的,那两者之间的区别又是什么呐?为何在平台之上又提出中台概念呐?笔者最近在拜读欧创新大神大作《中台架构与实现---基于DDD和微服务》偶有感悟暂... 查看详情

智慧校园智慧教育大数据平台

...G教育大数据平台,建设目标:5G教育大数据平台教育智脑统一身份认证一站式服务门户建设5G全连接智慧校园,开发N个智慧校园应用;构建综合型教育大数据平台教育大数据平台,以中国联通“教育智脑”为底座,打造 “5G+... 查看详情

数据中台与数据治理方案

当前很多传统企业的数据中台还处于初步建设阶段,但伴随着移动互联网的逐步发展、线上和线下的融合,数据服务的形式、场景越来越多,业务维度会变得更加复杂,数据中台的建设也会面临更多的挑战,... 查看详情

(一文带你领略ddd微服务和中台设计)

    在讲DDD之前,我对领域驱动曾经有过一段时间的了解,其实这个概念当我第一次听的时候发现很泛化,而且很抽象甚至难以理解,后来我发现这个玩意得需要很多时间、很多框架、技术的演进、软件迭代到... 查看详情

集成底座poc演示流程说明

集成底座方案主要是基于IDM统一身份管理平台、MDM基础数据管理平台和ESB企业服务总线平台三款产品组合形成的解决方案,主要是从企业信息化建设的角度出发,搭建基础的信息化平台,构建统一、标准、柔性、可复... 查看详情

杉岩数据企业内容管理解决方案

...解决方案,帮助企业客户实现跨业务系统的非结构化数据统一存储、统一管理和价值挖掘,提升企业业务管理水平。客户需求数据增长快导致管理复杂化文件数量快速增长达到数亿级别,存储的访问性能下降,需要划分更多文件... 查看详情