如何用Java编写(并运行)正确的微基准测试?

我正在寻找一些代码示例和注释,以说明需要考虑的各种事情。

示例:基准测试应该测量时间/迭代还是迭代/时间,为什么?

相关:秒表基准测试是可接受的?


当前回答

确保以某种方式使用在基准代码中计算的结果。否则你的代码会被优化掉。

其他回答

我知道这个问题已经被标记为已回答,但我想提到两个帮助我们编写微基准的库

来自谷歌的卡尺

入门教程

http://codingjunkie.net/micro-benchmarking-with-caliper/ http://vertexlabs.co.uk/blog/caliper

来自OpenJDK的JMH

入门教程

避免JVM上的基准测试陷阱 使用JMH进行Java微基准测试 JMH简介

jmh是最近添加到OpenJDK的,是由Oracle的一些性能工程师编写的。当然值得一看。

jmh是一个Java工具,用于构建、运行和分析用Java和其他针对JVM的语言编写的纳米/微/宏基准测试。

样本测试注释中隐藏着非常有趣的信息。

参见:

避免JVM上的基准测试陷阱 讨论jmh的主要优势。

确保以某种方式使用在基准代码中计算的结果。否则你的代码会被优化掉。

如果您正在尝试比较两种算法,那么每种算法至少要进行两次基准测试,交替使用顺序。例如:

for(i=1..n)
  alg1();
for(i=1..n)
  alg2();
for(i=1..n)
  alg2();
for(i=1..n)
  alg1();

我发现了一些明显的差异(有时5-10%)在运行时相同的算法在不同的通行证。

此外,还要确保n非常大,以便每个循环的运行时间至少为10秒左右。迭代次数越多,基准测试时间中的数字就越重要,数据就越可靠。

基准应该测量时间/迭代还是迭代/时间,为什么?

这取决于你要测试什么。

如果您对延迟感兴趣,则使用时间/迭代,如果您对吞吐量感兴趣,则使用迭代/时间。