一文带你了解单元测试和基准测试干货(代码片段)

测试员小静 测试员小静     2022-12-06     141

关键词:

 在平时,通过代码实战部分你可以看到,在写每个功能的时候,都会编写测试代码。那是因为 TDD(Test-Driven Development,测试驱动开发)中提倡先编写测试代码,然后再编写功能代码,每做一个修改后,都要执行一次单元测试和基准测试,以此来验证功能和性能是否有问题。

特别是业务系统代码经常变更,单元测试和基准测试也就显得非常重要。而每种语言都有自己的测试框架,比如 Go 语言,它是门注重工程效率的语言,有着非常强大的工具链,它自带的测试框架,能满足我们大部分测试要求。

所以,这里介绍如何使用Go测试框架做性能测试中的单元测试和基准测试(文末有学习笔记分享)

单元测试

Go 测试框架中支持白盒测试和黑盒测试。现在我就以 xx.go 这个文件为例,给你详细介绍下如何做单元测试。

总体步骤

总的来说,用 Go 测试框架做单元测试主要有这几个步骤。

  • 第一,Go 测试框架要求测试代码文件名以 _test.go 结尾。为了测试 cache.go,我们需要在 infrastructure/stores 目录下创建一个 cache_test.go 文件。

  • 第二,cache_test.go 中第一行如果是 package stores,则表示该测试是白盒测试,这意味着除了这个包的全局函数外,你还可以测试它的私有函数;如果是 package stores_test,则表示黑盒测试,你只可以测试全局函数,里面的具体实现对于你来说是个黑盒子。

  • 第三,Go 测试框架要求单元测试函数需要以 Test 开头。为了测试 IntCache 和 ObjCache,我们需要实现 TestIntCache 和 TestObjCache 这两个函数,它们的参数类型都是 testing.T 指针。

  • 第四,在测试过程中,如果发现错误,可以通过测试框架的 Error 方法或者 Fatal 方法输出错误。不同的是,Error 方法仅仅输出错误,而 Fatal 方法却会结束当前测试。

  • 第五,在终端进入项目根目录下,执行 go test ./infrastructure/stores 命令,将会执行 infrastructure/stores 目录下的所有单元测试。

结果通常会有三列:

  1. 第一列是测试结果,ok 表示成功,FAIL 表示失败;

  2. 第二列是被测试包的完整路径;

  3. 第三列是执行测试耗费的时间。

当测试失败时,输出结果还会告诉你在哪一行报错了,格式通常是:第一行是测试函数,第二行是文件名和该文件的第几行,后面再跟上具体错误日志。比如,TestIntCache 这个测试函数在 cache_test.go 文件第 19 行报错。

覆盖率

在单元测试中,除了测试功能是否正常外,还有个很重要的指标:覆盖率。覆盖率用来衡量单元测试覆盖了多少代码,它是由覆盖测试统计出来的。覆盖率越高,说明单元测试越完备,对代码质量更有保障。

Go 的覆盖测试使用很简单,在 go test 命令后加上 -cover 参数即可。如执行 go test -cover ./infrastructure/stores 将会在之前的输出结果后面加上 coverage 开头的日志。比如 coverage: 61.0% of statements 。

虽然覆盖测试工具用起来很简单,但要想将覆盖率提升到 100% 则是非常困难。

第一,你需要找出来哪些地方没有覆盖到。

这里我们需要用到 -coverprofile 参数,将详细的结果输出到文件中。比如 go test -coverprofile cover.out 便是将覆盖测试的结果输出到 cover.out 中。然后我们用命令 go tool cover -html=cover.out -o cover.html 将测试结果输出为 html 文件,再用浏览器打开便可以看到哪些代码被单元测试覆盖到了,哪些没有被覆盖到。其中绿色部分表示已覆盖到的代码,红色部分表示没有覆盖到。效果如下:

我们可以看到,Add 方法有大片代码没被测试覆盖到,我们可以通过修改测试代码来覆盖这部分代码的测试。

第二,你需要对代码逻辑非常熟悉,特别是熟悉代码中的各种边界条件,并在测试代码中构造出这些边界条件来测试。

假如代码里有三个条件分支 A、B、C,你需要将这三个条件都构造出来,才能覆盖到它们各自分支下面的代码。这意味着,你在编写测试代码的时候,需要编写大量的测试用例,也就是构造大量的能触发边界条件的参数。如果没有好的代码功底,你的测试代码容易因为大量参数而变得混乱、臃肿。

有时候,一个功能可能会有多个参数,每个参数又有多个边界值。当我们采用控制变量法来测试的时候,所有参数的边界值又会产生多种组合,这个数量通常是每个参数边界值数量的乘积。比如 A 参数有 2 个边界值,B 参数有 3 个边界值,那么将会存在 6 种组合 。为了便于管理,我们需要将这些参数提取到核心测试代码之外,用数组和循环来管理测试用例。

比如我们在测试 IntCache 的 Add 方法时,按照 key、delta 这两个参数的边界情况,就有 key 存在、不存在两种情况与 delta 为 -1、0、1 这三种情况的组合。我们将 Add 方法的 key、delta 参数以及期望返回值的配置,用一个结构体数组来管理,并用循环遍历数组,根据数组中每个元素的值调用 Add 方法并判断返回值与期望值是否相等。如果不相等则报错,输出有问题的测试用例,并终止测试。我们可以得到如下代码:

func TestIntCache_Add(t *testing.T) 

   cache := NewIntCache()

   cases := []struct 

      key    string

      delta  int64

      expect int64

   

      "test1", 0, 0,

      "test1", 1, 1,

      "test1", -1, 0,

      "test1", 0, 0,

      "test2", 1, 1,

      "test3", -1, -1,

   

   for _, c := range cases 

      if cache.Add(c.key, c.delta) != c.expect 

         t.Fatal(c)

      

   


复制代码

再次执行覆盖测试,你将看到代码覆盖率从 61.0% 提升到了 76.3%,Add 方法只剩下一行代码没覆盖到,而这行代码需要通过构造并发条件才能覆盖到。效果如下:

图片.png

基准测试

基准测试属于性能测试,通常用于对具体的功能函数做性能分析,比如加密算法函数。基准测试需要有对比测试,以便衡量不同代码实现之间的性能差异,从中选取性能最好的实现方式。

在 Go 测试框架中,基准测试函数需要以 Benchmark 开头。比如 BenchmarkIntCache_Set 表示对 IntCache 的 Set 方法进行基准测试。为了与 sync.Map 和 ObjCache 对比,我们还需要实现 BenchmarkObjCache_Set 和 BenchmarkSyncMap_Set 这两个函数。

不过,当我们要测试对象的方法比较多时,为每个对象的每个方法都实现一个独立的测试函数并不是很方便。对此,我们通常我们采用分组测试的方式。Go 测试框架提供了一个 Run 方法可用于执行分组中的子测试,它有两个参数,第一个是子测试的名称,第二个是测试函数。

这里,我们可以实现一个 BenchmarkCache_Set 函数来作为 Set 方法的测试组入口,里面包含 intCache、objCache、syncMap 这三个子测试。这样我们可以为每个子测试统一初始化公共资源,并复用核心代码逻辑。

为了复用代码,我实现了一个 benchmarkCacheSet 函数。它有三个参数:

  • 测试框架生成的 testing.B 对象指针;

  • setter 函数,它有 key 和 val 这两个参数,帮助设置被测对象中的 KV 值;

  • 字符串数组 keys,表示用于测试的 key 集合。

在函数中,我们调用框架的 ReportAllocs 方法,用于输出内存分配信息。在循环开始前,调用框架的 StartTimer 开始计时,循环结束后调用 StopTimer 结束计时。

在 BenchmarkCache_Set 中先初始化 keys,然后在三个子测试中分别初始化 IntCache、ObjCache、sync.Map,生成各自的 setter,并调用 benchmarkCacheSet 函数。

最终,我们的测试代码如下:

func benchmarkCacheSet(b *testing.B, setter func(key string, val int64), keys []string) 

   b.ReportAllocs()

   b.StartTimer()

   l := len(keys)

   for i := 0; i < b.N; i++ 

      setter(keys[i%l], int64(i))

   

   b.StopTimer()



func BenchmarkCache_Set(b *testing.B) 

   keys := make([]string, b.N, b.N)

   for i := 0; i < b.N; i++ 

      keys[i] = strconv.Itoa(i)

   

   b.ResetTimer()

   b.Run("intCache", func(b *testing.B) 

      c := NewIntCache()

      setter := func(key string, val int64) 

         c.Set(key, val)

      

      benchmarkCacheSet(b, setter, keys)

   )

   b.Run("objCache", func(b *testing.B) 

      c := NewObjCache()

      setter := func(key string, val int64) 

         c.Set(key, val)

      

      benchmarkCacheSet(b, setter, keys)

   )

   b.Run("syncMap", func(b *testing.B) 

      c := sync.Map

      setter := func(key string, val int64) 

         c.Store(key, val)

      

      benchmarkCacheSet(b, setter, keys)

   )


复制代码

我们可以在终端执行命令 go test -bench=BenchmarkCache_Set ./infrastructure/stores 来运行上面实现的测试代码,你可以看到以 BenchmarkCache_Set 开头的三个子测试的结果。

需要注意的是,每个子测试后面都有一个 -8,表示使用了 8 个 CPU 核。

另外,Go 测试框架默认会使用所有的 CPU 核,但由于电脑上通常会运行其他的程序,使用所有的核可能会导致不同程序之间抢夺资源,影响测试结果。基于这一点,我们可以在参数中指定 CPU 核数来测试。

具体来说,我们可以通过 -cpu 参数指定多种 CPU 核数来测试性能。比如,执行命令 go test -bench=BenchmarkCache_Set -cpu 1,2,3 ./infrastructure/stores 后,我们将看到每个子测试都用了不同 CPU 核数来测试。不过,由于我们的测试代码并没有用到并发,因此测试结果不受 CPU 核数的影响。

最后,为方便大家自学软件测试,特意给大家准备了一份13G的超实用干货学习资源,涉及的内容非常全面。

包括软件学习路线图,50多天的上课视频、16个突击实战项目,80余个软件测试用软件,37份测试文档,70个软件测试相关问题,40篇测试经验级文章,上千份测试真题分享,还有2021软件测试面试宝典,还有软件测试求职的各类精选简历,希望对大家有所帮助…..

关注我的微信公众号:【程序员小濠】就可以免费获取了~

我的软件测试交流群:175317069 欢迎大家一起讨论交流,里面也有各种软件测试资料和技术交流

如果对你有帮助的话,点个赞收个藏,给作者一个鼓励。也方便你下次能够快速查找。
 

一文带你了解anr(测试人员)(代码片段)

一、首先,了解一下什么是ANRANR,是“Application?Not?Responding”的缩写,即“应用程序无响应”。系统会向用户显示一个对话框,用户可以选择“等待”而让程序继续运行,也可以选择“强制关闭”。在Android中,应用程序的响应是... 查看详情

一文带你进行go语言工程实践(代码片段)

文章目录并发和Goroutine并发和并行的区别线程与协程的区别Goroutine用法并发的通信Channel并发安全依赖管理GOPATHGOPATH弊端GoVendorGoVendor弊端GoModule(最终解决方案依赖管理三要素配置文件版本规则杂项中心仓库管理依赖库依赖的... 查看详情

一文带你了解如何编写测试用例?0基础也能看懂(代码片段)

📢我是小濠,一个快要秃头的测试人📢欢迎点赞👍收藏⭐留言📝如有错误敬请指正!📢我收集了一些软件测试资料,关注我公众号:程序员小濠,免费领取!📢送给大家一句话&#x... 查看详情

一文带你彻底了解软件测试几大常见问题(代码片段)

本文就开发单位普遍关注的几个软件测试问题,汇总解答如下:1、什么是软件测试?2、为什么需要软件测试?3、软件测试的基本流程是什么?4、软件测试的方法有哪些?1什么是软件测试?软件测试是在规定的... 查看详情

3大场景带你了解单元测试

介绍怎么做单元测试的书很多,这里主要解答:为什么单元测试。客观来说,单元测试和使用版本控制系统(GIT,SVN)是一样重要的。为什么单元测试如此重要,但你却感受不到。首先要知道,代码的终... 查看详情

工作2年,还不会单元测试和基准测试,get新技能!(代码片段)

大家好,我是小濠,今天整理了一份单元测试手册,希望能对你有帮助!这里赠送一套软件测试相关资源:软件测试相关工具软件测试练习集深入自动化测试Python学习手册Python编码规范大厂面试题和简历模板... 查看详情

一文带你了解自动化测试是什么?

📌博客主页:程序员二黑📌专注于软件测试领域相关技术实践和思考,持续分享自动化软件测试开发干货知识!📌如果你也想学习软件测试,文末卡片有我的交流群,加入我们,一起交流和学... 查看详情

一文带你全面了解什么是自动化测试?

目录简介自动化测试概述自动化测试目标自动化测试流程1.测试计划和设计2.测试脚本开发3.测试执行和管理4.测试维护和优化自动化测试最佳实践自动化测试工具和框架结论简介软件测试是软件开发过程中一个必不可少的环节。... 查看详情

java优化实战「微基准系列」带你脚踏实地的进行开发和使用jmh测试和提升应用程序和服务指南(代码片段)

什么是JMH(微基准测试)JMH,全称JavaMicrobenchmarkHarness(微基准测试框架),是专门用于Java代码微基准测试的一套测试工具API,是由Java虚拟机团队开发的的,一般用于代码的性能调优。基准测试BenchMarkBen... 查看详情

一文让你快速上手mockito单元测试框架(代码片段)

前言在计算机编程中,单元测试是一种软件测试方法,通过该方法可以测试源代码的各个单元功能是否适合使用。为代码编写单元测试有很多好处,包括可以及早的发现代码错误,促进更改,简化集成,方便代码重构以及许多其... 查看详情

4go语言单元测试性能测试与监控(代码片段)

4、Go语言单元测试、性能测试与监控1、单元测试1.1单元测试简介1.2testing的使用1.3案例1.4测试中一些函数的区别2、代码覆盖率3、断言库4、BDD测试框架5、基准测试5.1基准测试简介5.2基准测试案例6、性能监控7、常见的调优参数1、... 查看详情

4go语言单元测试性能测试与监控(代码片段)

4、Go语言单元测试、性能测试与监控1、单元测试1.1单元测试简介1.2testing的使用1.3案例1.4测试中一些函数的区别2、代码覆盖率3、断言库4、BDD测试框架5、基准测试5.1基准测试简介5.2基准测试案例6、性能监控7、常见的调优参数1、... 查看详情

一文让你掌握单元测试的mockstub和fake(代码片段)

单元测试中有几个神秘的概念,它们就是Mock,模拟对象;Stub,存根;Fake,伪对象,它们听起来很类似,也很容易混淆,让我们通过这篇文章揭开它们神秘的面纱,探索其幽深的小径。1.什... 查看详情

一文掌握谷歌c++单元测试框架googletest(代码片段)

文章目录什么是GoogleTest?简介单元测试优势环境搭建安装GoogleTestBazelCmake安装示例项目GoogleTest实战断言断言的概念EXPECT与ASSERT自定义失败信息功能测试TESTTEST_F运行测试调用测试编写main函数什么是GoogleTest?简介GoogleTestGoo... 查看详情

一文掌握谷歌c++单元测试框架googletest(代码片段)

文章目录什么是GoogleTest?简介单元测试优势环境搭建安装GoogleTestBazelCmake安装示例项目GoogleTest实战断言断言的概念EXPECT与ASSERT自定义失败信息功能测试TESTTEST_F运行测试调用测试编写main函数什么是GoogleTest?简介GoogleTestGoo... 查看详情

一文掌握谷歌c++单元测试框架googletest(代码片段)

文章目录什么是GoogleTest?简介单元测试优势环境搭建安装GoogleTestBazelCmake安装示例项目GoogleTest实战断言断言的概念EXPECT与ASSERT自定义失败信息功能测试TESTTEST_F运行测试调用测试编写main函数什么是GoogleTest?简介GoogleTestGoo... 查看详情

干货|一文搞定pytest自动化测试实战

每天进步一点点,关注我们哦,每天分享测试技术文章本文章出自【码同学软件测试】码同学公众号:自动化软件测试,领取资料可加:magetest码同学抖音号:小码哥聊软件测试pytest是目前企业里面使用最多、最流行的Python的单... 查看详情

软件测试都需要哪些工具呢?一文带你看清

先说软件测试行业的划分,一是黑盒测试或者叫功能测试、手动测试。二是白盒测试或者测试开发等。黑盒测试,含金量低,测试人员学的测试工具较少。白盒测试,现在软件行业越来越重视白盒测试,白盒测试要... 查看详情