A / B实验:执行无法忽略的测试

测试和优化

经过:

如果你想说服人们改变他们做某事的方式,你最好做出一个坚实的论点,为什么。这是我从A / B测试我们的电子邮件中学习的课程营销活动在市场上的着陆页。如果您无法捍卫您的测试的有效性,请针对您的变量进行查明,并在统计分析中备份结果,任何人都不会通过您提出的更改。

那么说服人们最好的方法是什么?像这样的实验一样对待您的A / B测试。概述您的实验,编译数据,并让数字为自己说话。需要一种统计意义的进修课程?看看我们的测试统计数据的终极指南,这将有助于您清楚地解释您的结果并充满信心 - 即使您的团队成员对数学过敏。

如果您的公司已响起您的结果作为巧合或不适用,那么如何帧和呈现您的电子邮件和登陆Page A / B测试:

1)孤立A.单身的变量作为测试变量,并识别您的控制

您的控件是您的电子邮件或登陆页面的未改变版本 - 您已经使用的版本。您希望将一个控制的一个变量隔离以隔离和改变;这应该是您认为影响结果的可变变量。何时介绍您的发现,您将所有其他变量保持不变,这将是至关重要的。通过仅根据A / B测试更改和测试一个变量,您可以更精确地将结果中的任何差异归因于。

我最近进行了一个简单的电子邮件营销A / B测试,其中我改变了“来自”地址的单个方面。在此测试中,我使用通常的“来自”地址(“Marketo Premium内容”)作为我的控制,并尝试了我的一半电子邮件的个人“来自”地址:

控制:

来自地址而不是个人

测试:

来自地址个人

随着大约1000个开放和500次点击,个人地址更成功。我们的信心水平为99%,这意味着我们的结果是99%,而不是由于机会。对于这样的测试,95%以上的置信水平通常被认为是“统计上显着的”。而且因为我只被隔离一个因素,我能够轻松地识别较高次数的原因。市场现在在我们的电子邮件邮件中使用个人名称。

2)制定一个假设

在测试之前,预测您认为可能受到测试可能影响的性能结果,如何受到影响,以及为什么。对任何结果开放是很重要的 - 这将有助于您说服您的团队,您的结果是科学的,而不是基于您的直觉。例如,我最近在两个版本的后续电子邮件 - 一个带有横幅图像的版本中运行A / B测试,一个没有。

跟进电子邮件竞选A B测试

我的假设是,带有横幅图像的电子邮件(在右侧)将具有更高的点击开放速率。横幅使电子邮件更加动态和令人兴奋,为读者提供第二个“立即下载”按钮。事实上,电子邮件没有横幅显示点击开放率增加12%(置信99%)。结果令人惊讶,但引人注目。

3)使用足够大的样本大小

样本大小越大,结果越强。已经说,你显然希望尽快使用获胜版本,如果你开始太大,你将有一半的巨大群体收到较少的电子邮件。最好的做法是在较小的一面开始,记住,如果您的公司需要额外的令人信服,您可以随时重复电子邮件测试。或者您可以将登录页面测试留出一段时间延长以构建样本大小。

不确定您应该运行多少测试?了解您应该运行多少版本,或者您应该运行每个版本的天数着陆页分割计算器

4)消除混淆变量的可能性

务必控制任何可能影响结果的无关因素。这将步骤1(将单个变量隔离)进入更多深度。为了减少这些因素,您不需要将控制保持不变 - 您还需要同时发送测试电子邮件,同时运行两个版本的登录页面,并确保测试是随机的。例如,如果你是使用Marketo.,您可以将两个版本的电子邮件发送到50%指定的电子邮件列表的随机样本。您也可以将流量与登陆页面URL同样分成到着陆页的两个不同版本。

5)得出适当的结论

现在是时候看看结果,看看你能学到什么。首先,在两个版本之间确定是否存在统计上显着的差异。您可以简单地在线搜索“A / B测试意义计算器或”电子邮件测试意义计算器“中的搜索。使用两个不同的在线计算器仔细检查结果是从来没有一个坏主意。

例如,最近我运行了一个测试来确定电子邮件中最好的CTA放置。在这种微妙但有效的测试中,我发现左对齐的CTA按钮版本比中心对齐的CTA按钮更多点击。我使用了一个计算器来确定这些结果具有95%的置信度分数,使左对齐的CTA按钮是一个清晰的赢家。

呼叫动作中心与左边

95%或更高的置信水平是挑选胜利者的巨大门槛。如果您的结果并不重要,请考虑再次尝试使用更大的示例大小。如果你的结果重要的是,您应该仔细识别他们将来适用的内容。例如,跟踪后续电子邮件的测试结果可能不适用于网络研讨会的电子邮件邀请。

总结:

您的目标是确保您的测试努力不徒劳,并提高团队电子邮件和登陆页面的表现。当您消除了所有混淆变量时,可以使用一个重要的游泳池备份数据,并考虑了适当的回复,您将能够充满信心地展示您的发现。

如果你能说,“我们的网络研讨会登记登陆的测试版本明显更高的转换率而不是控制,置信水平99%,”人们将注意您的建议。谈到A / B测试时,很难用科学的方法争论。