性能比较 - gcc和llvm-gcc

Question

我比较了gcc和llvm-gcc与-O3选项在hmmer和mcf中的spec cpu2006基准。令人惊讶的是，我发现gcc击败了两种情况下的llvm-gcc。是否因为-O3有不同的含义？我应该如何建立实验以获得公平的比较？

顺便说一句，我只是通过更改生成文件中的cc做了实验。

感谢， 博

Answer 1

你似乎感到惊讶的是在你的基准GCC拍LLVM。 Phoronix在这方面有一些有趣的基准。例如，看看：

• Benchmarking LLVM & Clang Against GCC 4.5。
• Compiler Benchmarks Of GCC, LLVM-GCC, DragonEgg, Clang
• ：

（很多luvverly颜色）

至于我应该如何建立实验得到一个公平的比较？，大概你应该比较最快的运行时间，最快的编译时间，最小的内存占用量，大多数每瓦操作数和可扩展性，比CPU数量多（你付钱买你选择），以最快的速度配置每个编译器其他配置。

首先，您至少需要确定每个程序的可变性—对于您平台上的单个程序的每次运行，变量的可重复性如何。 （是的，可信的基准测试需要您的全面性。）