如何用Java编写(并运行)正确的微基准测试?
我正在寻找一些代码示例和注释,以说明需要考虑的各种事情。
示例:基准测试应该测量时间/迭代还是迭代/时间,为什么?
相关:秒表基准测试是可接受的?
如何用Java编写(并运行)正确的微基准测试?
我正在寻找一些代码示例和注释,以说明需要考虑的各种事情。
示例:基准测试应该测量时间/迭代还是迭代/时间,为什么?
相关:秒表基准测试是可接受的?
当前回答
jmh是最近添加到OpenJDK的,是由Oracle的一些性能工程师编写的。当然值得一看。
jmh是一个Java工具,用于构建、运行和分析用Java和其他针对JVM的语言编写的纳米/微/宏基准测试。
样本测试注释中隐藏着非常有趣的信息。
参见:
避免JVM上的基准测试陷阱 讨论jmh的主要优势。
其他回答
如果您正在尝试比较两种算法,那么每种算法至少要进行两次基准测试,交替使用顺序。例如:
for(i=1..n)
alg1();
for(i=1..n)
alg2();
for(i=1..n)
alg2();
for(i=1..n)
alg1();
我发现了一些明显的差异(有时5-10%)在运行时相同的算法在不同的通行证。
此外,还要确保n非常大,以便每个循环的运行时间至少为10秒左右。迭代次数越多,基准测试时间中的数字就越重要,数据就越可靠。
确保以某种方式使用在基准代码中计算的结果。否则你的代码会被优化掉。
http://opt.sourceforge.net/ Java Micro Benchmark -确定不同平台上计算机系统的比较性能特征所需的控制任务。可用于指导优化决策和比较不同的Java实现。
jmh是最近添加到OpenJDK的,是由Oracle的一些性能工程师编写的。当然值得一看。
jmh是一个Java工具,用于构建、运行和分析用Java和其他针对JVM的语言编写的纳米/微/宏基准测试。
样本测试注释中隐藏着非常有趣的信息。
参见:
避免JVM上的基准测试陷阱 讨论jmh的主要优势。
还应该注意的是,在比较不同的实现时,分析微基准测试的结果可能也很重要。因此,应进行显著性检验。
这是因为在基准测试的大多数运行过程中,实现A可能比实现B更快,但A也可能有更高的差异,因此与B相比,A的测量性能收益将没有任何意义。
因此正确编写和运行微基准测试也很重要,但正确分析它也很重要。