可以延长非显着的A/B测试吗？

我们从this article知道，由于“显着”结果提早结束A/B测试是一个错误。可以延长非显着的A/B测试吗？

但当测试所需的时间段运行，显示效果不显着什么 - 是罚款延长呢？有什么风险？

这将是一个简单的数学例子的任何风险，类似于该链接文章中的例子。

我只有概率论和数学的基本知识，所以我会很感激的答案，我可以用这些知识理解。

我的直觉是，这可能是有问题的，因为你有与计算的可靠性实验（将显示X％的假阳性和假阴性在此类实验中的Y％），但现在你有效地等待无限期地为第一个真正的正面或的假阳性意义。

因此，我认为在设置原始实验时，您会得到比您更多的误报。但大概假阳性的可能性也随着我们获得更多数据而减少。如果真的如此，我希望能够得到具体的数字。

2017-04-03 Henrik N

（从http://stats.stackexchange.com/questions/269557/is-it-ok-to-prolong-a-non-significant-ab-test交叉贴由于缺乏活动的有快乐如果有人认为这是不可接受的，则删除该问题） –

交叉帖子被标记为以下内容的副本：https：//stats.stackexchange.com/questions/310119/why-does-collecting-data-until - 获得-A-显著对结果的增加，该型 –

这是当前研究领域。我们已经做了一些模型，并建议我们的客户遵循这样的原则：

•如果实验达到统计显着性，即当CI 色带完全升至0以上或完全在它下面下降，仍然显著比它多出50％的观测走上去意义0.10水平测试（65％以上的观察比它采取去意义为0.05级测试），该实验是通过接受替代假说称为，或在换句话说，治疗获胜。

•如果实验没有达到统计显着性，而 CI色带已经缩小到它的宽度代表了治疗，这是不是间接的应用语义控制之间的差异，实验被称为拒绝研究假设，或换句话说，治疗未能赢得，我们坚持控制。

欲了解更多，这里是White Paper。

来源

2017-11-14 01:35:21

可以延长非显着的A/B测试吗？

回答

相关问题