Optimizely可靠性

我们开始使用Optimizely，我们对结果感到满意，所以我们开始创建积极的活动。但是后来我们意识到有什么不对，我希望得到任何帮助。Optimizely可靠性

我们在主页上测试（例如）而不是蓝色CTA，我们使用绿色CTA创建了一个变体，我们发现变体的转换增加了35％。因此，我们切换了东西，并将绿色CTA设置为控件，将蓝色CTA设置为变体。如果确实绿色CTA更好，我们现在应该看到蓝色CTA变化带来的转换率下降35％。取而代之的是，这种变化带来了更高的转化率。

我不能确定我们做错了什么，但总的来说，所有变化的成功率都高于控制，但如果我们改变这些变化并将变化设置为控制，结果不会不能切换。

来源

2016-12-08 Haim

听起来像什么东西了。如果一切都被控制，那不应该发生。你在看多少访客/点击（可能太小）？你的结果是否意义重大？有没有任何交通模式的变化（也许不同的传入流量喜欢不同的治疗 - 例如，FB喜欢蓝色的CTA，但谷歌喜欢绿色）？ – TomFuertes

@TomFuertes这正是我的问题，流量来源是相同的，样本量是相同的，但由于某些原因，我们设置为变量赢得 – Haim

你如何测量转换？通过多种方式衡量衡量效果通常是一种很好的做法 - 例如，对于CTA实验，我会衡量点击次数，登录链接重定向的页面，有效的表单提交等。扩展您对数据的看法并查看变化会影响用户体验的其他部分始终是一个好主意。

来源

2016-12-09 17:45:33 Zsolt

尝试：结果页上应用不同的细分，以确定每个变化我建议设置一个90％的统计显着性如果你在2个独立的检验，也许你没有让它在合适的时候我通常喜欢以改善让他们在一周内避免季节性，

来源

2016-12-09 17:57:43

您是否对已经运行的实验进行了这些调整？你应该记住，一旦你开始了一个实验，用户就会被分开，所以在实验运行之后或之后进行调整，比如切换谁是控制者，不会让你开始新鲜。如果您正在进行调整，那么您需要创建一个新的实验。

来源

2016-12-12 14:59:51 user6810289

不，我创建了一个新的实验 – Haim

Optimizely可靠性

回答

相关问题