还应该注意的是，在比较不同的实现时，分析微基准测试的结果可能也很重要。因此，应进行显著性检验。

这是因为在基准测试的大多数运行过程中，实现A可能比实现B更快，但A也可能有更高的差异，因此与B相比，A的测量性能收益将没有任何意义。

因此正确编写和运行微基准测试也很重要，但正确分析它也很重要。

确保以某种方式使用在基准代码中计算的结果。否则你的代码会被优化掉。

在Java中编写微基准测试有许多可能的陷阱。

首先:你必须计算各种随机占用时间的事件:垃圾收集、缓存效果(OS对文件的缓存效果和CPU对内存的缓存效果)、IO等。

第二:对于非常短的时间间隔，您不能相信测量时间的准确性。

第三:JVM在执行时优化代码。因此，在同一个jvm实例中不同的运行将变得越来越快。

My recommendations: Make your benchmark run some seconds, that is more reliable than a runtime over milliseconds. Warm up the JVM (means running the benchmark at least once without measuring, that the JVM can run optimizations). And run your benchmark multiple times (maybe 5 times) and take the median-value. Run every micro-benchmark in a new JVM-instance (call for every benchmark new Java) otherwise optimization effects of the JVM can influence later running tests. Don't execute things, that aren't executed in the warmup-phase (as this could trigger class-load and recompilation).

http://opt.sourceforge.net/ Java Micro Benchmark -确定不同平台上计算机系统的比较性能特征所需的控制任务。可用于指导优化决策和比较不同的Java实现。

Java HotSpot创建者提供的编写微基准测试的技巧:

规则0:阅读一篇关于jvm和微基准测试的著名论文。一个很好的例子是Brian Goetz, 2005年。不要对微基准测试期望过高;它们只测量JVM性能特征的有限范围。

规则1:始终包含一个运行测试内核的预热阶段，足以在计时阶段之前触发所有初始化和编译。(在预热阶段较少的迭代是可以的。经验法则是数万次内循环迭代。)

规则2:始终使用-XX:+PrintCompilation， -verbose:gc等运行，这样您就可以验证编译器和JVM的其他部分在计时阶段没有执行意外的工作。

规则2.1:在计时和预热阶段的开始和结束打印消息，这样您就可以验证在计时阶段没有来自规则2的输出。

规则3:注意-client和-server，以及OSR和常规编译之间的区别。-XX:+PrintCompilation标志报告OSR编译，使用一个at符号表示非初始入口点，例如:Trouble$1::run @ 2(41字节)。如果你追求最好的性能，更倾向于服务器而不是客户端，常规而不是OSR。

规则4:注意初始化效果。不要在计时阶段第一次打印，因为打印会加载和初始化类。不要在预热阶段(或最终报告阶段)之外加载新类，除非您专门测试类加载(在这种情况下只加载测试类)。规则2是你对抗这些影响的第一道防线。

规则5:注意反优化和重新编译的影响。不要在计时阶段第一次使用任何代码路径，因为编译器可能会丢弃并重新编译代码，这是基于先前的乐观假设，即该路径根本不会被使用。规则2是你对抗这些影响的第一道防线。

规则6:使用适当的工具来读取编译器的思想，并期待它生成的代码会让你大吃一惊。在形成是什么使代码更快或更慢的理论之前，自己检查代码。

规则7:减少测量中的噪声。在安静的机器上运行基准测试，并多次运行，丢弃异常值。使用-Xbatch将编译器与应用程序序列化，并考虑设置-XX:CICompilerCount=1以防止编译器与自身并行运行。尽量减少GC开销，设置Xmx(足够大)等于Xms，并在可用的情况下使用UseEpsilonGC。

规则8:使用一个库来进行基准测试，因为它可能更有效，并且已经为此目的进行了调试。例如JMH, Caliper或Bill和Paul的优秀UCSD Java基准。

jmh是最近添加到OpenJDK的，是由Oracle的一些性能工程师编写的。当然值得一看。

jmh是一个Java工具，用于构建、运行和分析用Java和其他针对JVM的语言编写的纳米/微/宏基准测试。

样本测试注释中隐藏着非常有趣的信息。

参见:

避免JVM上的基准测试陷阱 讨论jmh的主要优势。