微服务架构数据治理

时间的朋友 时间的朋友     2022-11-12     381

关键词:

随着微服务架构的落地,人们发现微服务架构虽然改进了开发模式,但同时也引入了一些问题,在这所有的问题中,最重要的也是马上要面临的一个问题就是数据的问题。在微服务架构中我们强调彻底的组件化和服务化,每个微服务都可以独立的部署和投产,其实也就意味着很多的微服务有自己独立的数据库。

 

整个业务数据被分散在各个子服务之后会带来两个最明显的问题:1、业务管理系统对数据完整的查询,比如分页查询、多条件查询等,数据被割裂后如何来整合?2、如何对数据进一步的分析挖掘?这些需求可能需要分析全量的数据,并且在分析时不能影响到当前业务。

 

从技术方案来讲,我们一般有两种选择来处理这些问题,第一种是在线处理数据,第二种是离线处理数据。

 

在线处理数据的方案就是按照微服务的标准接口来进行,后端需要哪个系统的数据就去调用某个微服务提供的接口来获取。后端管理平台根据前端的需求去不同的微服务系统去获取数据,然后将返回的数据进行处理后将数据返回。这种方案有两个弊端:1)一方面微服务数据方需要提供数据接口,一方面数据的使用者需要去写调用方法,并且调用者需要编写大量的代码进行数据处理;2)在对各个微服务进行调取数据时会影响微服务的正常业务处理性能。

 

离线处理数据方案,就是将业务数据准实时的同步到另外一个数据库中,在同步的过程中进行数据整合处理,以满足业务方对数据的需求,数据同步过来后,再提供另外一个服务接口专业负责对外输出数据信息。这种方案有两个特点:1)数据同步方案是关键,技术选型有很多,如何选择切合公司业务的技术方案;2)离线数据处理对微服务正常业务处理没有影响。

在条件允许数据实时性要求不高的情况下多用方案二,方案一是最容易想到的常规方法。

很多事情就像生孩子,听别人说的痛和不易跟自己亲身经历过的感觉完全不同,后者让你印象更深,成长更大。

一文读懂springboot微服务架构和大数据治理之间的故事

微服务架构微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。互联网时代的产品通常有两类特点:需求变化快和用户群体庞大,在这种情况下... 查看详情

服务治理与微服务

...了web应用,web应用的特点是界面部分是显示在浏览器中,服务处理是在服务容器中的,页面显示一般用css+js+html技术来处理,而后端可以用java、ph 查看详情

云平台的微服务架构实践

...平台构建过程中的一些经验总结,主要说明了PaaS层的微服务架构设计和落地。目标降低系统的复杂度,减少系统的不确定性。方法量化,标准化,自动化。架构设计标准化业务层次梳理业务体系和服务能力,将PaaS平台分层。聚... 查看详情

云原生微服务治理技术朝无代理架构的演进之路

摘要:本文基于对微服务治理技术从SOA,微服务框架,到云原生架构的历史发展总结,提出了一种新的基于Javaagent技术的新一代无代理架构的服务治理技术,并介绍了其相关的代表性开源项目Sermant。本文分享自华... 查看详情

架构微服务实战:从发布到架构——下篇

 MaxLeap 2016-03-2513:53上篇文章介绍了微服务和单体架构的区别、微服务的设计、消息、服务间通信、数据去中心化,本篇会继续深入微服务,介绍其它特性。 治理去中心化通常“治理”的意思是构建方案,并且迫... 查看详情

应用量化时代|微服务架构的服务治理之路

...展,在众多企业的数字化转型之路上,云原生、DevOps、微服务、服务治理等成为行业内不断被探讨的新话题。人们在理解和接受这些新型概念的同时,也不断地思考其可能的落地形态。需求是创造发生的原动力,于是一批代表性... 查看详情

使用istio治理微服务入门(代码片段)

 近两年微服务架构流行,主流互联网厂商内部都已经微服务化,初创企业虽然技术积淀不行,但也通过各种开源工具拥抱微服务。再加上容器技术赋能,Kubernetes又添了一把火,微服务架构已然成为当前软件架构设计的首选... 查看详情

服务治理平台-注册中心

...多,持续部署困难,启动时间变慢等问题慢慢凸显时,微服务架构应运而生。微服务架构可以解决单体架构各种局限性问题。微服务架构:开发高可用企业应用,后端需要支持多种客户端形式,比如桌面端,移动端及其他微服务... 查看详情

介绍一下springcloud微服务架构的核心特性

SpringCloud作为一套微服务治理的框架,几乎考虑到了微服务治理的方方面面,之前也写过一些关于SpringCloud文章,主要偏重各组件的使用,本次分享主要解答这两个问题:SpringCloud在微服务的架构中都做了哪些事情?SpringCloud提供... 查看详情

微服务架构下的服务治理:如何在springcloud框架中实现服务的注册与发现

服务治理RPC远程过程调用协议的核心设计思想:在于注册中心,因为注册中心:管理每个服务与服务之间的一个依赖关系服务治理:在传统的RPC远程过程调用协议中,管理每个服务与服务之间的依赖关系非常复杂.可以使用服务治理技术... 查看详情

微服务:整合springcloudeureka-服务治理机制

...体验了SpringCloudEureka通过简单的注解配置就能实现强大的服务治理功能之后,我们可以进一步了解一些Eureka基础架构中各个元素之间的通信行为,以此来更加深入的理解Eureka服务治理体系是如何运转起来的。二、微服务基础架构... 查看详情

从天气项目看springcloud微服务治理

Java视频教程详情描述: 《从天气项目看SpringCloud微服务治理》从SpringBoot入手,从0到1快速搭建具备高并发能力、界面友好,业务便于理解的天气预报系统,而后剖析单块架构的利弊,从而引入微服务架构的概念,并从1到0实... 查看详情

介绍springcloud微服务架构

SpringCloud作为一套微服务治理的框架,几乎考虑到了微服务治理的方方面面,之前也写过一些关于SpringCloud文章,主要偏重各组件的使用,本次分享主要解答这两个问题:SpringCloud在微服务的架构中都做了哪些事情?SpringCloud提供... 查看详情

看完阿里最新产500页微服务架构笔记,感觉我格局太小

...证,使企业在市场竞争中获得优势。近几年,微服务的热度居高不下,企业纷纷向微服务架构转型。但是大部分企业缺乏服务治理意识,以为所谓的微服务化就是简单地引入一套微服务框架,对微服务架构给... 查看详情

springcloud构建微服务架构:服务消费(基础)

使用LoadBalancerClient在SpringCloudCommons中提供了大量的与服务治理相关的抽象接口,包括DiscoveryClient、这里我们即将介绍的LoadBalancerClient等。对于这些接口的定义我们在上一篇介绍服务注册与发现时已经说过,SpringCloud做这一层抽象... 查看详情

构建微服务架构springcloud:服务消费(基础)

使用LoadBalancerClient在SpringCloudCommons中提供了大量的与服务治理相关的抽象接口,包括DiscoveryClient、这里我们即将介绍的LoadBalancerClient等。对于这些接口的定义我们在上一篇介绍服务注册与发现时已经说过,SpringCloud做这一层抽象... 查看详情

构建微服务架构springcloud:服务消费(基础)

使用LoadBalancerClient在SpringCloudCommons中提供了大量的与服务治理相关的抽象接口,包括DiscoveryClient、这里我们即将介绍的LoadBalancerClient等。对于这些接口的定义我们在上一篇介绍服务注册与发现时已经说过,SpringCloud做这一层抽象... 查看详情

浅谈服务治理与微服务

近期都在谈微服务,本人也正在做相关的工作,应领导要求做了一个微服务的分享,本篇文章主要来源于分享的PPT,所以有些简单,有问题可以在下面留言,大家一起讨论。本篇文章先简单介绍了互联网架... 查看详情