如果你想写自己的benchmark框架(代码片段)

flydean flydean     2022-12-04     638

关键词:

简介

使用过JMH的同学一定会惊叹它的神奇。JMH作为一个优秀的Benchmark框架带给了我们无数的欢乐。作为一个有极客精神的程序员,那么有没有想过去自己实现一个Benchmark框架呢?

在实现Benchmark框架的时候有需要注意些什么问题呢?快来一起看看吧。

八条军规

这里叫军规实际上不合适,只是借用一下军规的来彰显一下气势!大家不要太介意。

第一条军规

工欲善其事,必先利其器。想写好一个JMH当然需要深入了解JVM的运行原理,包括JIT,C1,C2编译器和他们的分层编译原理,JIT运行时的编译优化,包括Loop unrolling, Inlining, Dead Code Elimination,
Escape analysis, Intrinsics, Branch prediction等等。

当然,最好是参考一下大牛们写过的JMH框架,找点灵感。

最后大家要了解,Benchmark框架不是万能的。它只是在特定的环境中JVM的表现。

因为在Benchmark中我们肯定是要做循环的,一般来说就是某某方法运行多少次,这种比较简单的循环。实际上,JVM运行的代码是非常复杂的。Benchmark远远不能代表JVM的全部。

但是,见微知著,使用Benchmark还是可以一窥JVM的秘密的。

第二条军规

在JMH中,我们一般需要设置warmup和measurement的次数:

@Warmup(iterations = 10, time = 1, timeUnit = TimeUnit.SECONDS)
@Measurement(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)

这是为什么呢?我们知道JIT中的代码是动态编译成为机器码的,并且是需要一定的时间的。

只有JIT检测到你这是热点代码,才会对其进行优化。

我们检测代码的性能,一般是指代码在稳定运行的环境中的情形。而不是指第一次或者前几次运行的时候,因为这个时候,这些代码可能并没有被编译成机器码。这样的出来的结果往往是和实际不相符的。

第三条军规

在编写Benchmark的同时,一定要开启JVM的日志。例如: -XX:+PrintCompilation, -verbose:gc等。

为什么呢?

大家想想benchmark是做什么的呢?就是统计时间的。

我们希望在运行benchmark的时候,JVM不要做任何不属于运行代码的任何事情,否则就可能会影响到benchmark的准确性。

所以开启JVM的日志就是为了做校验。不要在做benchmark的时候有其他操作。

第四条军规

注意JIT的分层编译。

因为Client VM和Server VM的出现,所以在JIT中出现了两种不同的编译器,C1 for Client VM, C2 for Server VM。

因为javac的编译只能做少量的优化,其实大量的动态优化是在JIT中做的。C2相对于C1,其优化的程度更深,更加激进。

为了更好的提升编译效率,JVM在JDK7中引入了分层编译Tiered compilation的概念。

对于JIT本身来说,动态编译是需要占用用户内存空间的,有可能会造成较高的延迟。

对于Server服务器来说,因为代码要服务很多个client,所以磨刀不误砍柴工,短暂的延迟带来永久的收益,听起来是可以接受的。

Server端的JIT编译也不是立马进行的,它可能需要收集到足够多的信息之后,才进行编译。

而对于Client来说,延迟带来的性能影响就需要进行考虑了。和Server相比,它只进行了简单的机器码的编译。

为了满足不同层次的编译需求,于是引入了分层编译的概念。

大概来说分层编译可以分为三层:

  1. 第一层就是禁用C1和C2编译器,这个时候没有JIT进行。
  2. 第二层就是只开启C1编译器,因为C1编译器只会进行一些简单的JIT优化,所以这个可以应对常规情况。
  3. 第三层就是同时开启C1和C2编译器。

在JDK7中,你可以使用下面的命令来开启分层编译:

-XX:+TieredCompilation

而在JDK8之后,恭喜你,分层编译已经是默认的选项了,不用再手动开启。

Client编译和Server编译,甚至是OSR都是不同的。大家在写Benchmark的时候一定要注意。

第五条军规

注意初始化对性能的影响。

如果需要加载类,一定要在warmup的阶段进行加载,除非你是想去测试加载的时间。否则会对测试结果有影响。

同时也不要计算第一次print的时间,因为print也会加载和初始化一些类。

第六条军规

要注意反优化和重编译的影响。

JIT在下面的几个特殊的情况下,需要对代码进行返优化:

有些特殊的情况下面,确实是需要进行反优化的。

下面是比较常见的情况:

  1. 需要调试的情况

如果代码正在进行单个步骤的调试,那么之前被编译成为机器码的代码需要反优化回来,从而能够调试。

  1. 代码废弃的情况

当一个被编译过的方法,因为种种原因不可用了,这个时候就需要将其反优化。

  1. 优化之前编译的代码

有可能出现之前优化过的代码可能不够完美,需要重新优化的情况,这种情况下同样也需要进行反优化。

重编译是指JIT可能会重新优化代码,导致重新编译。

所以这条规则要求我们warmup的时间要尽可能的长。以便让JIT充分优化。

第七条军规

在使用benchMark得出结论之前,一定要去认真的理解JVM的底层代码(Assembly code),找到其现象的本质。

千万不要冲动的下结论。最好是使用可视化的工具来分析。比如说jitwatch。

最后一条军规

在测试的时候一定要避免其他程序的影响 。

比如说两次测试,第一次测试是单机运行,第二次测试是在有其他服务正在运行的情况下进行的。

很显然这两次的结果是不能做比较的。我们需要多运行,剔除噪音结果。

总结

掌握上面几条规则,相信大家也能够写出属于自己的Benchmarks。

本文链接:http://www.flydean.com/how-to-write-benchmarks/

最通俗的解读,最深刻的干货,最简洁的教程,众多你不知道的小技巧等你来发现!

欢迎关注我的公众号:「程序那些事」,懂技术,更懂你!

技术图片


nvidiajetson之benchmark测试(代码片段)

...:jetsonnano1环境安装gitclonehttps://github.com/NVIDIA-AI-IOT/jetson_benchmarks.gitcdjetson_benchm 查看详情

手痒想写项目?我挑了9个开源项目送你(代码片段)

...。但:不知道能写什么知道写什么,但无从下手如果刚学完语法想写个项目,可 查看详情

关于java18你想知道的一切(代码片段)

...公约:本人声明创作的所有文章皆为自己原创,如果有参考任何文章的地方,会标注出来,如果有疏漏,欢迎大家批判。如果大家发现网上有抄袭本文章的,欢迎举报,并且积极向这个github仓库提交issu... 查看详情

关于java18你想知道的一切(代码片段)

...公约:本人声明创作的所有文章皆为自己原创,如果有参考任何文章的地方,会标注出来,如果有疏漏,欢迎大家批判。如果大家发现网上有抄袭本文章的,欢迎举报,并且积极向这个github仓库提交issu... 查看详情

如果你也想写个完整的vue组件项目(代码片段)

1.一个完整的组件项目需要什么?必要的:组件构建方式(webpack/rollup之类),并提供至少一个主流的输出格式(ESModule)Demo及Demo源码文档,可以是docsify之类的生成的页面,懒点就内嵌在README里了其实上面的除了文档都比较容易做到... 查看详情

文字特效代码大全

...,说明.1.删除线:<FONTstyle="TEXT-DECORATION:line-through">写上你想写的字</FONT>效果如下写上你想写的字2.文字顶部加横线:<fontstyle="text-decoration:overline">写上你想写的字</font>效果如下写上你想写的 查看详情

使用jmh做benchmark基准测试(代码片段)

目录BenchMark介绍开始前的步骤例子代码报告注解介绍@BenchmarkMode@OutputTimeUnit@Iteration@WarmUp@State@Fork@Meansurement@Setup@TearDown@Benchmark@ParamBenchMark介绍BenchMark又叫做基准测试,主要用来测试一些方法的性能,可以根据不同的参数以不同的... 查看详情

自己写一个java的mvc框架吧(代码片段)

...写一个mvc框架吧(二)自己写代码的习惯写一个框架吧,如果这个框架会用到一些配置上的东西,我自己习惯是先不用考虑这个配置文件应该是怎样的,什么形式的,先用一个java对象(比如叫Config.java)都给放进去。等到功能写... 查看详情

机器学习笔记时间序列预测(最基本的方法benchmark)(代码片段)

1最基本的方法这些方法将作为这个系列的benchmark有时,这些简单方法中的一种将是可用的最佳预测方法;但在许多情况下,这些方法将作为基准而不是选择方法。也就是说,我们开发的任何预测方法都将与这些简... 查看详情

django框架入门(代码片段)

1.创建虚拟环境。(如果你想在你的服务器中运行多个项目,那么装虚拟环境是最好的选择)pipinstallvirtualenvpipinstallvirtualenvwrapper安装好后,创建一个虚拟环境,mkvirtualenv-ppython3py3_django报错,mkvirtualenv不是command,我们添加环境变... 查看详情

自己实现一个rpc框架(代码片段)

...态代理来代理一个接口的方法(基于JDK的动态代理,当然如果使用CGLib可以直接使用无接口类的方法),通过加入网络传输编程,传输调用接口方法名称,方法参数来给提供者获取,再通过反射,来执行该接口的方法,再将反射执... 查看详情

从 C# 代码生成汇编代码?

...教育目的。马上上汇编课。【参考方案1】:您可以使用Benchmark 查看详情

如果你想开发一个应用(1-21)(代码片段)

提交-Vue现在CreateOrShowDiaryItem附属的功能均已完成,对于基础功能来说,就差了最后一步。就是数据的提交。有了前边的铺垫,这里就比较简单了。首先是Vue部分,需要根据后台的模型来创建前端所需提交的模型,因为之前的数... 查看详情

如果你想在java代码中写一个http客户端,你会选择哪一种方式?okhttpvsapachevsjdk(代码片段)

除了本文推荐的几种方式,强烈推荐OkHttp目前JAVA实现HTTP请求的方法用的最多的有两种:一种是通过HTTPClient这种第三方的开源框架去实现。HTTPClient对HTTP的封装性比较不错,通过它基本上能够满足我们大部分的需求。H... 查看详情

碧蓝航线-传颂之物脚本(部分)(代码片段)

...面一段时间因为自己的原因有事情而未全部完成希望下次如果有这种比较简单的机制的活动时 你也能解放自己双手该代码需要adb(百度一下 很简单的 查看详情

springmvc原理剖析(代码片段)

...C结尾概述笔者这段时间在学习SpringMVC,于是突发奇想想写一篇博客来记录学习的过程,希望自己巩固知识的同时,也能帮助到别人。SpringMVC原理剖析SpringMVC是基于Java实现MVC的轻量级Web框架。原来的MVC框架是 查看详情

03代码格式化+高亮

【03】格式化代码如果你想写一个codeblock,你可以在开始处写三个反引号,然后GitHub会试图猜出你在写什么语言。但是如果你发布如Vue、Typescript、JSX这样的语言,你可以明确写出来,以获取正确的高亮。下图第一行使用了```jsx:... 查看详情

如果你想开发一个应用(1-22)(代码片段)

日历页接下来把目光转向日历页,这个日历页的功能很单一,点击按钮后,显示当天记录日记项,为了方便起见,仍然不考虑分页问题。思考一下这个列表和首页的列表有什么区别,首先,每个todos是一模一样的,然后,没有了... 查看详情