A/ B测试——你做的是错的

如何有效地进行A / B测试，以达到持久的效果。

很多公司希望通过对一些营销网站进行调整来增加收入和使之更容易被用户接受。这意味着需要更多的转化次数，更多的点击次数，更多的分享和更多的用户。他们告诉你先做什么呢？首先，进行A / B测试吧！比较页面的两个版本，确定一个关键指标（例如点击次数），并查看是否获得更多点击次数。但是，这是真实有效的吗？这真的是你应该采取的方法吗？我们来看看具体数据。

在本质上，A / B测试是一个实验，以相对于定义的度量来评估多个(通常是2)版本的特性或页面。

这篇文章注重的是浅谈A / B测试——测试那些团队给用户交付有效价值的轻微改变。

A / B测试----治标不治本的创口贴

对于拥有数百万用户的应用程序，你的应用程序的轻微改变（如颜色，布局和语言）可能会使你的关键指标有着显着的增加，例如，更多点击次数和用户参与度。但是，真正的问题来了：对于拥有较小用户群的公司，你应该尝试专注于不同的“注册”按钮颜色还是专注于切实使你的产品更好的元素？

对许多公司来说，A / B测试成为了许多公司价值贫瘠的创口贴。如果你的内容没有被分享，也许你的内容实际上不值得分享，不管你将“分享按钮”做的有多棒，结果都是一样的!

此外，也许你的目标不应该是获得预期的按钮点击次数。也许你的主要目标应该是与用户之间建立信任，提供沙盘演示，或让潜在客户做出决定。

调查数据

AppSumo评估，实际上只有25％的A / B测试产生了有意义的结果。 为什么是这样的呢？那么，我们首先来定义什么是有意义的结果。对于许多这样的测试，主要指标是试图改变会话率。所以，如果会话率没有增加，那么说明测试失败了。

不到25％的A / B测试产生了有意义的正面结果 - AppSumo

但是，我们可以用不同的方式来看待它。如果更改你的销售口号标题，banner图或CTA没有提高指标，那么，这也许表明更大的问题。失败的测试也应该是一个指标，说明：

1.你的网站访客还没有准备购买

2.除了注册，你的网站访客还在寻找其他的东西

3.你的核心产品根本没有吸引力

4.需要为产品进行更多合格的深度测试

下一个数据集来自于2016年5月1日至5月30日进行的一项定性和定量的a/b测试(西北部，IDS - 贾斯汀·贝克，2016年)。尽管这并不是所有调查的最终结果，但它仍能给我们一些有意义的见解。

关键点

●45%的受访者表示，他们的公司每3个月就开始一次新的AB测试，另外，40%的人每周或每月进行一次;

●60%的受访者说他们的AB测试持续时间是在1周到1个月之间;

●38%的受访者说他们的AB测试实验中只有不到10%真正转化为实际行动;

●45%的受访者表示，自AB测试后，应用程序的改变会持续1到6个月。

只有10％的A / B测试实验产生了可操作的变化 ——正式发布新版本的页面或功能。

访谈数据

为了补充定量研究，A / B测试人员（2至6年的A / B测试经验）被问及关于A / B测试功效的开放性问题。以下是访谈获取的关键数据：

50％的团队由于不确定或测量不佳的数据，无法从A / B测试实验中做出决定。

●12位受访者中有10人指出，A / B测试的主要缺点是90％或更高比例的测试实验是“失败”的。

●12名受访者中有6人指出，根据A / B测试结果进行产品决策是非常困难的，因为大多数结果是不确定的或明显是失败的。这意味着大约90％的时间是保持现状的。

●12名受访者中有10人指出，A / B测试的主要好处是“增加收入”。

使A / B测试变得有用

总的来说，这些结果告诉我们什么呢？

公司可能会频繁地进行A/B测试，因时间过短，导致高失败率，使得A / B测试结果变得不那么有价值和有意义。

这里有一些技巧可以帮助你的应用程序进行有用的A/B测试。

1. 不要分心——更改颜色、号召性文本和布局可能会对你的关键性能指标产生微小的影响。然而，这些结果似乎是非常短暂的。可持续的增长并不是由一个按钮从红色变成蓝色就可以，而是来自设计人们想要使用的产品。

2. 不要把口红涂在猪身上——更好的一头猪仍然是猪。如果你是想卖猪，那你就做得很好。如果不是，那就专注于创造更好的用户体验和更好的价值定位。

3. 使用实际的统计数据——不要依赖于简单的1对1的比较指标来决定什么是有效的，哪些是无效的。“版本A的转化率是20%，而B版本的转化率是22%，因此我们应该转换为版本B！”“请不要这样做。”你要做的是使用实际的置信区间、z分数和统计上的重要数据。

4. 测试时间越长越好——你运行测试的时间越长，你的数据就会越好地解释数据波动和无关的变量。不要在阵亡纪念日的周末用红/白/蓝的主题进行测试，然后在接下来的一年里切换到这个主题进行测试。

5. 失败没什么的，但是失败的代价是很昂贵的——如果你继续发布人们讨厌的应用程序版本，那么它对你的度量标准有什么影响呢? 如果大多数测试实验都失败了，那么你看起来更像是做对了，还是做错了呢？ 你花了多少时间来设计和实施A / B测试? 失败和试验是建立公司的自然产物。如果有些东西没有作用，也许不是因为你的按钮需要变得更醒目，也许是因为你需要让你的功能变得更好。

文章太长，这里做下总结：

有效的A / B测试是给你的客户带来持久，积极的价值。如果你陷入微乎其微的版本改变循环，那么你基本上是给自己刨坑而不是推动你的产品发展。

测试有意义的功能，使用真实的统计信息，获得真实的反馈，并进行更长的测试时间。为你的用户提供真正的价值，而不是玩色彩和耍聪明。我不是贬低你的布局被优化的重要性，你的副本是强大的，并且你的信息层次结构是流畅的。我想让团队通过增加价值和解决问题来思考改善用户体验，而不是通过在猪上涂口红或尝试用新的标题来舞文弄墨。

原文作者：Justin Baker

原文地址：https://hackernoon.com/a-b-testing-youre-doing-it-wrong-77d628ac9518