分裂测试的意义测试，分裂测试多于2次

Question

您应该使用多于两个实验的百分比测量来使用何种显着性测试？

例如，

Version | Clicks | Impressions 
A  | 5  | 1,763 
B  | 4  | 1,672 
C  | 2  | 1,689 

如何确定的，我们是verison一个真正优于其他两个？

Answer 1

在过去，我个人做过顶部和底部之间的成对G检验，乘以n的模糊因子的置信度选择2，以说明有n个选择可能具有的可能配对的事实是最极端的。理论上这是过于保守的，但它为我工作。

请参阅http://elem.com/~btilly/effective-ab-testing/了解更多信息。