微服务治理热门技术揭秘:动态读写分离

阿里云云栖号 阿里云云栖号     2022-12-08     347

关键词:

我们从应用的视角出发整理抽象了我们在访问、使用数据库时场景的一些稳定性治理、性能优化、提效等方面的实战经验,对于每一个后端应用来说,数据库无疑是重中之重,我们希望通过我们的数据库治理能力,可以帮助到大家更好地使用数据库服务。

MSE 数据库治理完整解决方案

本文将详细介绍 MSE 数据库治理的热点功能,动态读写分离的设计与实现。

读写分离的概述

数据库动态读写分离的常见场景:

  • 一个大客户的请求过来,查询数据库返回上万条几百 M 的数据,数据库的 CPU 直接打满。
  • 微服务应用的某些业务并不是那么重要,却存在大量查询数据库的逻辑,影响数据库实例稳定性,从而导致整体服务质量的下降。
  • 在业务处理过程中,如果对数据库的读操作远多于写操作,那么在做系统性能优化时就可以考虑引入读写分离的方案,一方面只读库可以承担主库的压力,另一方面能够有效的避免由数据更新导致的锁等待,提升微服务应用的性能。
  • 随着业务的增长,我们在一定时机下需要对数据库实例进行扩容。根据经验大多数应用的读写比都在 5:1 以上,有些场景甚至大量的高于 10:1,在对数据库有少量写请求,但有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至对业务产生影响。

可以了解到的是数据库读写分离方案可以满足阿里云上大多数公司的稳定性治理、性能提升以及数据库扩容的需求。

如果了解读写分离实现的同学一定会关注以下这些问题:

  • MSE 是如何解决读写分离对业务的侵入性?如何做到业务无需改动一行代码,即可具备读写分离能力。
  • MSE 如何做到精细化动态的读写分离控制?即使我们不知道这个业务接口真实的 SQL 是什么,但我们已经可以控制这个接口的读 SQL 访问只读实例。
  • MSE 是如何解决读写分离带来的一致性问题?对于一致性敏感的业务,如何实现一致性的保障,满足业务在不同场景下对一致性级别的要求。

MSE 读写分离技术揭秘

读写分离也就是将数据库拆分为主库和从库,即主库负责处理事务性的增删改操作,从库负责处理查询操作的数据库架构。单单看读写分离的概念,第一感觉就是对业务的侵入性一定不小,那么 MSE 是如何做到无侵入的呢?

无侵入性:无需修改一行代码

MSE 数据库治理能力通过 JavaAgent 技术,动态增加用户的数据源,注入动态读写分离能力,支持运行时动态将弱读请求路由至只读实例。

MSE 在数据源层面实现了抽象,其中 DynamicConnection、DynamicStatement 会根据具体规则从而实现 Master/Slaver 的切换,做到根据 SQL 的读写类型、事务的状态以及用户的业务规则来做 SQL 的路由,将符合条件的读 SQL 请求转发至 RDS 只读实例中。

精细化路由:按照请求条件、接口、SQL 多层次多条件

很多时候我们通过编写 DAO 访问数据库,那么在一些复杂应用的场景下,我们很可能只知道 DAO 接口,在一些复杂场景下我们只知道微服务的接口,内部甚至搞不清楚到底调用的哪个 DAO 接口、SQL 语句,甚至如果是运维角色参与设计,我们很可能不知道哪个微服务接口导致的读请求导致数据库抖动,我们只知道入口应用的某个 uid。那么我们如何做到对业务接口内的读请求路由至只读实例呢?

MSE 数据库治理提供了应用层面完整的 callStack 信息,可以让我们站在应用的视角上清晰地看到哪些接口内部执行了哪些 SQL。

MSE 通过链路传递技术,支持在入口微服务、微服务接口、DAO 层面标记弱读请求的标记,支持标记的当前线程内的 SQL 调用、当前微服务内的 SQL 调用、符合流量条件的请求链路级别的所有 SQL 调用等多个层面的弱读标记传递,最终传递给读写分离组件的路由引擎进行 SQL 的路由依据的判断。

强一致性模式:指定接口、事务

当数据库负载很高时,例如对大表执行 DDL(如加字段)操作或大批量插入数据的时候,延迟会非常严重,从而导致无法从只读实例中读取最新数据。MSE 提供了一些策略解决如上问题,某些接口或者某些业务对一致性比较非常高,我们可以通过规则配置告诉 MSE 在特定场景下,某些读接口标记为强读请求。MSE 内部会通过一些机制保证读写分离的强一致性效果。

白屏化能力:通过 AccessLog 实时感知读写分离情况

有读写分离能力,那么我们如何知道读写分离的执行情况,到底哪些应用,哪些请求被分离至了只读实例?MSE 白屏化能力提供了一套完整的 AccessLog。

  • 读请求路由至只读实例

  • 读请求路由至主实例

总结

MSE 从应用的视角出发,结合微服务治理通用的技术,MSE 推出的是完整的数据库治理解决方案,从 SQL 洞察、SQL 流控降级与容错、连接池治理到数据库灰度、动态读写分离。我们希望通过数据库治理能力可以帮助用户的微服务可以更好地使用数据库,降低数据库使用的成本,提升数据库访问的稳定性。

MSE 的数据库治理能力也需要更多更加深入的客户场景与落地实践,如果您对 MSE 的数据库治理能力感兴趣,欢迎联系我们,只有经过客户打磨的产品才会愈发历久弥新。

在建设数据库治理能力的同时,我们也通过 OpenSergo 在与社区共同建设数据库治理的标准。

作者:十眠

原文链接

本文为阿里云原创内容,未经允许不得转载

数据库治理利器:动态读写分离(代码片段)

...会经过很多层处理,比如从入口网关再到WebServer再到服务之间的调用,再到服务访问缓存或DB等存储。对于我们的系统来说,数据库是非常重要的一块。因此无论是在稳定性的治理上,还是在开发提效等场景下ÿ... 查看详情

用友云服务治理平台助力企业微服务架构落地

本文主要阐述使用微服务架构时,治理框架或者平台需要解决的主要问题,微服务落地实施过程中所遇到的关键问题和对应解决方案。同时,文章也介绍用友云旗下的微服务治理平台的核心功能和技术架构,以及微服务治理平台... 查看详情

云原生微服务治理技术朝无代理架构的演进之路

摘要:本文基于对微服务治理技术从SOA,微服务框架,到云原生架构的历史发展总结,提出了一种新的基于Javaagent技术的新一代无代理架构的服务治理技术,并介绍了其相关的代表性开源项目Sermant。本文分享自华... 查看详情

微服务化的数据库设计与读写分离

此文已由作者刘超授权网易云社区发布。欢迎访问网易云社区,了解更多网易技术产品运营经验。数据库永远是应用最关键的一环,同时越到高并发阶段,数据库往往成为瓶颈,如果数据库表和索引不在一开始就进行良好的设计... 查看详情

使用istio治理微服务入门(代码片段)

 近两年微服务架构流行,主流互联网厂商内部都已经微服务化,初创企业虽然技术积淀不行,但也通过各种开源工具拥抱微服务。再加上容器技术赋能,Kubernetes又添了一把火,微服务架构已然成为当前软件架构设计的首选... 查看详情

浅谈服务治理与微服务

近期都在谈微服务,本人也正在做相关的工作,应领导要求做了一个微服务的分享,本篇文章主要来源于分享的PPT,所以有些简单,有问题可以在下面留言,大家一起讨论。本篇文章先简单介绍了互联网架... 查看详情

应用量化时代|微服务架构的服务治理之路

...展,在众多企业的数字化转型之路上,云原生、DevOps、微服务、服务治理等成为行业内不断被探讨的新话题。人们在理解和接受这些新型概念的同时,也不断地思考其可能的落地形态。需求是创造发生的原动力,于是一批代表性... 查看详情

微服务治理框架springcloud与istio对比

目前主流的微服务治理框架主要是SpringCloud。而Istio作为新一代微服务框架,越来越受到关注。Istio被引入的主要原因是传统微服务存在以下问题。多语言技术栈不统一:C++、Java、PHP、Go。SpringCloud无法提出非Java语言的微服务治理... 查看详情

不改一行代码,轻松拥有企业级微服务治理|mse微服务治理专业版发布

简介:随着业务的发展,微服务拆分越来越复杂,微服务的治理也成了一个比较令人头疼的问题。有没有更加简单且高效的方法来解决微服务治理的难题?作者:十眠随着业务的发展,微服务拆分越来越复... 查看详情

从天气项目看springcloud微服务治理

Java视频教程详情描述: 《从天气项目看SpringCloud微服务治理》从SpringBoot入手,从0到1快速搭建具备高并发能力、界面友好,业务便于理解的天气预报系统,而后剖析单块架构的利弊,从而引入微服务架构的概念,并从1到0实... 查看详情

不改一行代码,轻松拥有企业级微服务治理|mse微服务治理专业版重磅发布

简介:随着业务的发展,微服务拆分越来越复杂,微服务的治理也成了一个比较令人头疼的问题。有没有更加简单且高效的方法来解决微服务治理的难题?作者:十眠随着业务的发展,微服务拆分越来越复... 查看详情

ddd+soa的事件驱动微服务读写分离架构,读后随笔

参考链接:https://www.jdon.com/ddd.html原先的业务对象类只有key value,属于贫血模型,而DDD领域驱动设计的理念下,业务对象类同时有了原先service里的行为和方法。 原先的model包含service dao valueObject,view是jsp或json,C... 查看详情

springboot-服务治理

参考技术A由于微服务数量太多导致维护成本巨大,服务治理就是来解决这个问题。服务治理就是让服务子维护,微服务做为服务提供方主动向服务治理中心注册,服务的消费者通过服务治理中心查询需要的服务并调用,如下图... 查看详情

spring配置动态数据源-读写分离和多数据源

...决用户量增长带来的压力,在数据库层面会采用读写分离技术和数据库拆分等技术。读写分离就是就是一个Master数据库,多个Slave数据库,Master数据库负责数据的写操作,slave库负责数据读操作,通过slave库来降低Master库的负载。... 查看详情

微服务化的数据库设计与读写分离

数据库永远是应用最关键的一环,同时越到高并发阶段,数据库往往成为瓶颈,如果数据库表和索引不在一开始就进行良好的设计,则后期数据库横向扩展,分库分表都会遇到困难。对于互联网公司来讲,一般都会使用Mysql数据... 查看详情

微服务治理平台的rpc方案实现

导读:本文主要探讨了rpc框架在微服务化中所处的位置,需要解决的问题。同时介绍了用友云微服务治理平台的rpc解决方案,为什么选择该方案、该方案提供的好处是什么。同时也会介绍用友RPC框架的基本结构以及在实现时所用... 查看详情

微服务治理平台的rpc方案实现

导读:本文主要探讨了rpc框架在微服务化中所处的位置,需要解决的问题。同时介绍了用友云微服务治理平台的rpc解决方案,为什么选择该方案、该方案提供的好处是什么。同时也会介绍用友RPC框架的基本结构以及在实现时所用... 查看详情

springcloudvsistio微服务治理框架对比

目前主流的微服务治理框架主要是SpringCloud。而Istio作为新一代微服务框架,越来越受到关注。Istio被引入的主要原因是传统微服务存在以下问题。多语言技术栈不统一:C++、Java、PHP、Go。SpringCloud无法提出非Java语言的微服务治理... 查看详情