微服务链路之测试环境快速部署

sea520 sea520     2023-04-24     119

关键词:

一般公司都会有开发环境、测试环境、线上环境,测试环境主要用于给测试人员测试每次新功能开发后提交的代码。随着公司业务的增长,这时候同时测试的新功能会越来越多,之前搭建的测试环境,一般是一到三个,这时候同时测试的功能数量远远大于测试环境的个数,就会导致测试人员会等待,有点像一个双核cpu要执行4个任务,并且每个任务不能切换执行,所以只能一个一个执行完,这样的执行过程就会导致测试的效率低下。对于这个问题,通常我们有几种解决方式。其中最简单的就是再多增加几套测试环境,这个方式也是业界用的最多的,它的优势在于新的环境是一套完整的隔离的环境,对其他环境没有影响,劣势在于每次搭建这样一套完整的测试环境需要所有的应用都部署一次,这个过程需要很多硬件资源,同时需要所有应用都在代码里面增加一个环境的配置文件然后再发布一次,整个过程下来是很耗费时间的。这时候就有了第二种方式,那就是只部署需要测试的几个应用,通过传递请求头参数,同时改造底层的服务调用框架,这时候部署的几个应用的调用链路还是是完整的,同时对于测试的功能也是完全隔离的,这样的方式能显著提高应用部署到新的测试环境,提供测试的测试效率。本文就基于后面的方式给出一些技术方案和一些遇到的问题。

由于我们后端应用的微服务的构建基于dubbo和rocketmq,所以我们对这两个框架进行改造来适应我们的测试环境快速搭建。

下面是我们要实现的一个链路调用图:

技术图片

下文描述的主环境或者主测试环境就是qa-test,测试环境就是qa-test1。

从图中可以看出,我们要保证主环境是一直可用的,对于测试环境,我们需要确保测试环境里面部署了就调用测试环境的应用,测试环境没有对应的应用的部署就调用主环境的应用。有了这个目标后,我们就知道改造的技术点。由于我们的改造链路调用流程只在测试环境生效,同时为了对开发透明,开发不需要修改任何代码,所以我们选择使用javaagent的方式。在字节码增强这个技术领域,有asm和javassist两个框架可以使用,但都是比较偏底层的api,使用起来难免有些难度,所以我们使用了bytebuddy,bytebuddy基于asm进行封装,对上层提供了更简易的api,这样让我们实现字节码增强的开发工作量大大降低。有了buteddy这个框架以后,我们只需要关注具体需要增强的代码块。

对于dubbo,我们在provider注册的时候带上环境参数,然后在consumer端提取请求参数选择对应的invoker进行调用。对于rocketmq,我们修改broker的分发逻辑,通过消息的环境属性来选择分发给对应环境的consumer group,在客服端,通过agent来加上环境参数到消息里面然后进行消息发送。

面临的问题:

跨线程调用的参数传递,比如应用在线程1里面消费了数据后,在另一个线程2里面调用rpc或者发送mq,这时候需要线程1的参数传递给线程2。

对于这个问题,我们使用transmittable-thread-local这个框架来解决跨线程的参数传递。

对于主环境消费的批量消息,这些消息包含了多个环境,然后这些消息会进行远程调用,这时候没有办法让每个消息都能发送到正确的环境。

对于这个问题,暂时没有更好的解决办法,如果真遇到了这个场景就把这个功能的测试放到主测试环境。

数据库结构变更,通常产生了增加字段,删除字段等。这时候要求主环境和测试环境都兼容新的表结构,否则需要在测试环境单独建一个数据库,这样的话会增加部署的成本。

对于这个问题,通常结构变更都是向前兼容的,并且我们的每个主环境的结构都是一致的,所以这个问题的出现概率比较小,同时一旦出现了可以使用主环境或者单独部署一个数据库来解决。

总结

在实现上面的技术点的时候遇到了一些坑,但是最后都顺利解决了,其中最值得一提的是加载bytebuddy的默认classloader是AppClassLoader,但是使用springboot的项目里面通过Java -jar的方式启动的话,加载项目的class是LaunchedURLClassLoader,这会导致bytebuddy的字节码增强失败,所以在bytebuddy里增强字节码的地方不要使用具体的类型,使用Object替代,然后在字节码里面转为具体的类型,运行时class的classloader时正确对应的。还有一个问题时发布系统需要支持测试环境的发布,为了快速搭建和销毁资源,我们使用docker来支持。我们的项目目前还处在试用的初期,还有很多问题需要在使用以后待改进,所以整个技术方案还有很多待完善补充的地方。

一起玩转微服务——如何实施微服务

一、如何实施微服务微服务是一种架构的理念,提出了微服务的设计原则,从理论为具体的技术落地提供了指导思想。实施微服务需要具备以下条件:计算和存储资源能否快速的分配是否具备快速部署的能力,因为微服务每个服... 查看详情

微服务架构-离线部署k8s平台并部署测试实例(代码片段)

一般在公司部署或者真实环境部署k8s平台,很有可能是内网环境,也即意味着是无法连接互联网的环境,这时就需要离线部署k8s平台。在此整理离线部署k8s的步骤,分享给大家,有什么不足之处,欢迎指正。1、准备环境这次离... 查看详情

kubnernetes集群部署zipkin+kafka+elasticsearch实现链路追踪(代码片段)

...录方案设计环境准备部署ZipkinServer部署Zipkin-Dependencies微服务应用配置测试查看链路信息方案设计SpringCloud微服务使用Sleuth+Zipkin的应用架构实现链路追踪的逻辑图如下:从架构图中可以看到:我们构建了一个服务网关&#x... 查看详情

kubnernetes集群部署zipkin+kafka+elasticsearch实现链路追踪(代码片段)

...录方案设计环境准备部署ZipkinServer部署Zipkin-Dependencies微服务应用配置测试查看链路信息方案设计SpringCloud微服务使用Sleuth+Zipkin的应用架构实现链路追踪的逻辑图如下:从架构图中可以看到:我们构建了一个服务网关&#x... 查看详情

微服务链路追踪skywalking(代码片段)

微服务链路追踪SkyWalking链路追踪介绍skywalking是什么SkyWalking环境搭建部署SkyWalking跨多个微服务跟踪SkyWalkingUI介绍SkyWalking接入微服务SkyWalking持久化跟踪数据自定义SkyWalking链路追踪性能分析SkyWalking集成日志框架SkyWalking告警功能链... 查看详情

微服务链路追踪skywalking(代码片段)

微服务链路追踪SkyWalking链路追踪介绍skywalking是什么SkyWalking环境搭建部署SkyWalking跨多个微服务跟踪SkyWalkingUI介绍SkyWalking接入微服务SkyWalking持久化跟踪数据自定义SkyWalking链路追踪性能分析SkyWalking集成日志框架SkyWalking告警功能链... 查看详情

java之springcloud微服务的链路追踪sleuth和zipkin(第三个阶段)springboot项目实现商品服务器端是调用(代码片段)

Java之SpringCloud微服务的链路追踪Sleuth和Zipkin(第三个阶段)【三】【SpringBoot项目实现商品服务器端是调用】一、微服务的链路追踪概述1、微服务架构下的问题2、Sleuth概述(1)简介(2)相关概念3、链路追... 查看详情

广告业务系统之敏捷交付——“基于docker容器同机部署”(代码片段)

...广告业务系统之敏捷交付——“基于Docker容器同机部署”服务Docker构建及部署代码支持服务打包&构建服务部署广告业务系统之敏捷交付——“基于Docker容器同机部署”服务Docker构建及部署在ADX系统中,全链路涉及大大小小的... 查看详情

kubnernetes集群部署zipkin+kafka+elasticsearch实现链路追踪(代码片段)

...录方案设计环境准备部署ZipkinServer部署Zipkin-Dependencies微服务应用配置测试查看链路信息方案设计SpringCloud微服务使用Sleuth+Zipkin的应用架构实现链路追踪的逻辑图如下:从架构图中可以看到:我们构建了一个服务网关&#x... 查看详情

广告业务系统之敏捷交付——“基于docker容器同机部署”(代码片段)

...广告业务系统之敏捷交付——“基于Docker容器同机部署”服务Docker构建及部署代码支持服务打包&构建服务部署广告业务系统之敏捷交付——“基于Docker容器同机部署”服务Docker构建及部署在ADX系统中,全链路涉及大大小... 查看详情

springcloud系列之sleuth链路追踪

随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了... 查看详情

sleuth+zipkin实现springcloud链路追踪(代码片段)

...备工作1、搭建Zipkin单机环境2、搭建naocos单机环境五、微服务整合Sleuth1、创建SpringBoot工程2、配置文件3、实现核心代码六、集成Zipkin1、引入客户端2、配置文件3、运行效果七、小结一、前言在全链路监控:方案概述与比较一... 查看详情

云原生之使用docker部署centos系统测试环境(代码片段)

云原生之使用docker部署centos系统测试环境一、检查本地服务器系统版本二、检查docker版本三、检查docker状态四、下载centos镜像五、创建centos容器1.运行cnentos容器2.进入容器内六、centos容器内部测试1.安装ifconfig命令的软件包2.查看... 查看详情

微服务全链路灰度新能力(代码片段)

背景微服务体系架构中,服务之间的依赖关系错综复杂,有时某个功能发版依赖多个服务同时升级上线。我们希望可以对这些服务的新版本同时进行小流量灰度验证,这就是微服务架构中特有的全链路灰度场景,... 查看详情

docker微服务部署之:rancher管理部署微服务(代码片段)

docker微服务部署之:五、利用DockerMaven插件自动构建镜像一、什么是RancherRancher是一个开源的企业级容器管理平台。通过Rancher,企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了生产环境中使用的管... 查看详情

微服务|微服务网站性能测试

...瘫痪。那么有什么办法才能解决这种问题呢?云上有一种服务——微服务,可以对业务流程进行独立开发和部署,满足新业务快速创新和敏捷交付的需求。基于Devops的微服务架构是云时代部署应用的一项热门技术,它把庞大的单... 查看详情

微服务拆分策略

1微服务迁移准备1、需对业务充分了解,这是服务拆分,通信设计,资源整合的必要前提。2、适应微服务架构设计原则:小版本,高速迭代。3、快速的环境提供能力:依赖于云计算、容器技术,快速交... 查看详情

微服务测试的思考与实践

微服务架构是一种架构模式,它提倡将单一应用程序划分成一组小的服务,每个服务运行在其独立的进程中,服务间采用轻量级通信机制互相沟通(通常是基于HTTP协议的RESTfulAPI)。每个服务都围绕着具体的业务进行构建,并且... 查看详情