精准测试的软件产品质量效率变化分析

davidtest davidtest     2022-12-21     272

关键词:

精准测试的软件产品质量效率变化分析

 

伴随着软件规模的扩大和软件快速迭代的双重业务加速要求,软件质量控制的压力也越来越明显。但黑盒测试的无力感和白盒测试的高复杂度,让软件测试工程师和管理者都非常郁闷,多样化的自动化测试工具也解决不了根本性的问题。

目前正在业内流行的精准测试技术,从企业级应用的反馈来看,它最为主要的三个技术特性,使企业在软件质量改进方面,突破了原有的天花板。

1、 测试用例与代码的双向追溯技术:使开发和测试过程可视化,达到软件与团队管理的数据化交流,不再流于形式和口头交流;灰盒的透明运行模式,不改变传统企业流程,却能够将功能测试的数据映射到代码层面进行精准分析。

2、 延展测试数据的应用价值:精准测试在运行中会产生大量的数据,基于这些数据可以让测试过程的价值拓展到整个研发体系,例如通过深度测试数据直接进行智能缺陷定位,通过逆向追溯帮助开发分析进行代码一致性修改等。

3、 通过智能算法全面支持敏捷:全自动的智能回归用例选取、用例聚类分析、测试漏洞分析,累计覆盖率等技术全面支持敏捷场景下的质量保证。

 

本文将重点分析精准测试在研发体系中应用后的整体运行效率和质量改进分析。另本文分析数据对应的标的产品是星云测试的ThreadingTest产品,目前也是精准功能最全面、商用化程度最高的精准测试产品(读者可提前阅读精准测试框架白皮书以及到体验精准测试产品,熟悉精准测试的整体功能)。

精准测试运行效率很高。它采用的技术路线为系统级灰盒技术范畴,因此精准测试的运行过程依然是黑盒,不直接改变用例的运行方法及团队成员构成,上手比较快。它的数据采集是基于软件测试示波器全自动采集,用于标记采集数据和用例的映射关系,对原有测试的运行效率干扰极小,实际运行分析额外附加工作量在2%以下。精准测试必要的插装过程无需人工干预,实施成本也是一次性的。

 

下图是精准测试的运行效率图:

 技术分享图片

   1.传统意义上的黑盒测试方法一般在覆盖率进入到40-50区间以后,会逐步开始产生较大运行瓶颈,测试专业上形象的称之为杀虫剂效应。而黑盒的瓶颈点又恰恰是精准测试的发力点。精准测试可以关联到代码看到语句块,分支,条件等的覆盖率,也可以根据精准测试提供的各种彩色分析视图确定漏测点。因此不管被测系统有多复杂,精准测试的运行效率均呈线性45度角稳步上升。

从上图可以看出,越过瓶颈点后的中等覆盖率水平,精准测试所使用的时间仅仅是传统黑盒测试的一半,因此成本投入也将是普通黑盒测试的一半。这一点对于企业来讲不仅仅是大幅度提升了测试的工作效率、加快了产品发布时间,同时节约了大量的人力成本投入。

 

   2.精准测试的核心技术要点是测试用例与代码的追溯技术。这项技术简单来说就是当功能执行完成以后对应的整体代码执行情况就会立即产生,可以理解为一种强大的全景调试器,即当点击一个测试用例,就立即追踪到对应的代码和模块。如果你有一个足够大的屏幕,可以想象场景是多么的震撼…

 

   3.精准测试测试漏洞分析功能,适用于敏捷测试。它可以基于程序静态数据和动态运行数据,自动分析软件缺陷最高风险的位置,引导首先对于高风险的模块完成覆盖,在有限时间内完成最具有风险的模块的覆盖测试。基于智能缺陷定位技术,精准测试结果可以直接定位到缺陷的位置,因此精准测试让开发人员定位缺陷的效率可以至少提升2-3倍。

 

   4.企业最为头痛的回归测试维护,精准测试也给予了很好的方案。根据国际权威统计,平均每6行代码的修改,就会引入一个未知的难以直接预测的缺陷。从另一个角度来看,回归测试会随着项目人员记忆模糊以及团队调整,使不可预知的缺陷比例逐步上升。而精准测试由于其内置算法的原因,各种信息都极其完整的保存在了计算机里。我们实际对比了5个用例集在1000个左右的系统的测试,其计算用例集可控制在20%左右。另外在从回归测试的风险角度上看,传统通过经验判断型方法,由于周期拉长后人员变动以及记忆模糊。导致发现迭代引起的未知关联的概率越来越低,上线后引入风险。而采用精准测试,由于每轮测试记录的数据越来越多,基础代码覆盖辐射面越来越广,其计算准确性亦在持续上升。经过一定量的版本迭代后,其发现关联缺陷的概率可以达到80%以上。

 技术分享图片

   5.精准测试的测试用例聚类分析功能,可以有效地发现“测试的错误”。比如一个用例执行步骤错误,它的聚类结果必然会发生变化,管理者通过系统分析的结果就可以发现并纠正这一类的错误,而之前可能需要在现场反复的确认。

   6.从管理角度看,传统架构下平均4-5个测试执行人员就需要一个管理者,管理成本极高。精准测试体系下,由于过程管理均由计算机自动记录,管理者只需看报表就能清楚获知项目进度情况及每位项目参与者的工作效率。通过日报、周报、月报等,轻松了解各项目状况。后续团队无论如何变更,都可以在被授权的情况下,通过平台清楚地了解到整体框架结构与细致追溯关系,达到快速接手、大量节省开发与维护成本的目的。

根据上述分析,精准测试适合应用于研发、测试的成熟体系中,特点是引入成本低,提高企业研发、测试效率显著,软件风控成果卓越。正如网络上所说,精准测试正在快速成为主流技术。

精准测试白皮书-2019最新版

精准测试白皮书精准测试诞生的背景 现代社会是建立在各种以计算机为基石的软件技术基础之上的。随着日新月异的需求变化,软件系统越来越复杂。很多人觉得软件开发才是重要环节,但实际上,无法对大型软件进行有效的... 查看详情

海云安源代码审计服务有啥优势吗

...在大量的漏洞错报和误报的情况。后期的测试手段也无法精准地测试出代码漏洞的具体位置。当通过后期测试发现问题后,人工进行代码审查去查找漏洞所在代码位置时,我们经常会发现过程中存在效率低、准确率低、无法定位... 查看详情

基于金融行业的软件测试分析

...重要。如何保证金融行业软件的质量,对金融行业软件的测试人员来说,也提出了更高的要求。以下针对金融行业软件的测试做出了具体的分析:  1金融行业软件特征分析  金融行业软件系统具有集中度高、规模庞大、数... 查看详情

性能测试包括哪些方面?

...基建”迅速发展,我国软件产业规模不断扩大,对于软件产品质量把控也提出了更高的要求,软件产品质量和工作效率直接影响人们的日常生活,因此软件系统性能测试、软件压力测试等也逐渐受到行业重视。软件性能测试直接... 查看详情

星云精准测试有力提升金融复杂系统的测试能效

...统错综交互,软件质量控制难度异常复杂。通过技术手段精准地追溯每一个数据路线,有效实现信息系统的高可靠性和易维护性,是金融业界共同的目标。一、传统测试的局限??目前,在大部分金融机构中,主流的功能测试方法... 查看详情

软件产品质量六属性

功能性:适合性、准确性、互操作性、安全性、功能顺从性可靠性:成熟性、容错性、可恢复性、可靠性顺从性易用性:易理解性、易学性、易操作性、吸引性、易用性的依从性效率:时间特性、资源利用率、效率依从性可维护... 查看详情

星云精准测试有力提升金融复杂系统的测试能效

...统错综交互,软件质量控制难度异常复杂。通过技术手段精准地追溯每一个数据路线,有效实现信息系统的高可靠性和易维护性,是金融业界共同的目标。一、传统测试的局限  目前,在大部分金融机构中,主流的功能测... 查看详情

由浅入深分析精准测试之覆盖

作者:京东工业 宛煜昕测试的覆盖通常是指需求范围的执行程度,如需求、测试用例、缺陷的正向与逆向的双向追溯。便于对其相关属性的度量,即使用了覆盖率。一、覆盖率与测试策略覆盖率是度量测试完整性的一个手段... 查看详情

压测中的精准测试探讨(代码片段)

...少了?漏测导致线上问题怎么办?此外,说到精准测试,我想部分人也并不陌生,精准测试的核心目标,就是通过技术的手段让测试的范围变得精准,提升测试质量与效率。本文想要探讨的就是在压测... 查看详情

软件研发部管理制度

...3、软件工程涉及需求分析、系统设计、软件实现、系统测试、用户测试、试运行、系统验收、系统上线和数据迁移、产品维护。第二章、阶段成果根据软件工程的过程理论并结合公司目前的实际情况,制定以下工作流程,并规... 查看详情

温故知新常见的开发和测试模型

...;详细设计(开发人员)--->>编码(开发人员)--->>软件测试(测试)--->>软件维护(运维)特点:1.1属于线性模型1.2每个阶段分工明确1.3有对应的文档产出2.优缺点:2.1优点:2.1.1阶段界定清晰,分工明确2.1.2提高大型软件项目的开发... 查看详情

刷题面筋-测开-软件测试概述/对测试的理解/对测试岗位的认识

...行,开发写代码,测试测代码。软件测试的作用确保软件产品质量:软件测试是软件产品质量保证的重要措施之一术业有专攻:软件测试人员比其他人做软件测试测试工作,效率更高,效果更好;软件测试的关键点尽早发现缺陷... 查看详情

性能测试指标都有哪些?

...基建”迅速发展,我国软件产业规模不断扩大,对于软件产品质量把控也提出了更高的要求,软件产品质量和工作效率直接影响人们的日常生活,因此软件系统性能测试、软件压力测试等也逐渐受到行业重视。软件性能测试直接... 查看详情

如何摆脱点点点和背锅,早日走上高薪之路

...,测试效率还能提高吗?借着《不测的秘密:精准测试之路》这本书名,来回答这个问题,想提高测试效率只能走精准测试之路。有个Global的效能和质量分析图,图上分别介绍了软件开发的5个阶段:Cod... 查看详情

敏捷开发之scrum方法运用

目前软件开发除了强调产品质量,同时对产品能够快速发布并且迅速适应市场变化的要求也日益强烈。为适应这种开发环境和市场需求,传统的软件开发模式已被敏捷开发模式所替代。本文介绍敏捷软件开发中的Scrum方法,并结合实... 查看详情

如何对质量数据进行分析?

...清除率或逃逸率缺陷密度与圈复杂度密度之间的关系单元测试每个季度、年度的缺陷密度的变化趋势,画折线图或箱线图改进前后的缺陷密度对比ÿ 查看详情

偶发异常bug,如何高效精准分析排查定位?

偶发异常BUG,如何高效精准分析排查定位?作为测试,经常会收到领导、同事、用户反馈过来各种各样BUG,令人措手不及首选需要判断确认是不是BUG,不要急于给予回复,需有充分的条件给予说明回复 很多测试人员收到问题... 查看详情

敏捷开发实践之scrum方法运用

摘要:目前软件开发除了强调产品质量,同时对产品能够快速发布并且迅速适应市场变化的要求也日益强烈。为适应这种开发环境和市场需求,传统的软件开发模式已被敏捷开发模式所替代。本文介绍敏捷软件开发中的Scrum方法,并结... 查看详情