“不测量，无市场”：A/B测试怎么做？

编者按：本文作者为Dan Taylor，从事数字媒体，致力于帮助品牌通过各媒体渠道，扩大品牌在网络上的影响力。

“不测量，无市场”，这是我一直信奉的信条。公司的存亡依靠的是公司的灵活性和他们多大程度满足顾客的需求。但首先有个经久不衰的问题需要解答：“我怎么知道顾客想要什么？”如果你是乔布斯，或许可以放心大胆地说“顾客想要什么并不是顾客的工作”，但我们不是乔，所以我们需要A/B测试。

什么是A/B测试？
A/B，又叫分离测试，类似于顾客焦点团体（consumer focus group，形式是小组座谈，商业中常用的调研方法），将一系列内容变化在一定基准（控制组）内进行比较。A/B测试来自于邮件宣传，发信者（商家）将同一目的内容的不同版本邮寄到目标群体中，测量回应率。根据这些数据，商家可以对以后的直邮的内容做相应修改，往更多回应率的版本走。可以说，这个过程需要花费相当的时间，要获得数据结果并进行微调需要几个季度才能完成。

不过现在在几乎能实现即时反馈的互联网上，广告商和市场人可以在数分钟内进行调整，A/B测试变得清楚易见。下面，我们将介绍如何在线上广告、电子邮件以及网站上做A/B测试。

在开始之前，有一个有关A/B测试的规则必须记得：不要一次测试多个变量。这会影响测试中的基准控制。

线上广告的A/B测试
只要是在线上打广告，不管是在什么时候或什么网站，通常都不会是单个广告。你需要持续跟踪、测量和调整的通常应该是一系列广告。线上广告形式多样，在这里看文字为主的广告，这是在Google和Facebook上都能适应的广告形式。Facebook还提供一个图片展示的位置。

如何开始

在A/B 测试开始之前，你必须首先要了解你广告的重点在哪里，什么是你做广告的主要目的？你是想要点击量，想让用户加入你的邮箱列表，还是想让他们走进店里消费优惠券？如果没有清楚定义好的目标，A/B测试结果不会起太大作用，日后的改进也会变得更加困难。

现在，假设你是一个开摄影工作室的，想做一个返校优惠，在Facebook上打广告，为家庭提供20%的服务优惠。这个广告的标题应该为“Back-to-School优惠”，这可以作为广告A。而广告B的标题可以是“十一之前打八折！”

在这个案例中，你可以测试哪一个广告得分高（如，获得更高的点击量），并开始测试针对这个广告的改进版本。如果广告A得分高，你可以开始对这个广告进行提炼，让广告A不再变化，成为你广告的控制组，即之后广告改进的基准。我常常会做两组以上的测试，将广告B换一下，以确保测试的正确性。

在你确定好了广告的控制组后，A/B测试才真正开始。广告的标题会是你想一遍遍测试的要素，而“免费！”的效果其实不一定有你想象得这么好。

同样地，除了标题，你还会不断地想更新迭代你的广告文案，但你需要始终牢记你的最终目的。如果广告C表现得比B好，但又没有A这么好，你需要知道B和C之间改变的要素是什么。如果可以剖析比较广告A和C，那么就可以将两个广告中好的成分组合成为一个广告D。而一旦D出现并试运行，也是创造广告E和F的时候了，你可以进一步完善你的广告消息。

而Facebook广告还提供一个有趣的第三个要素，也就是图片。我们都知道一张好图可以带来的力量，特别是在Facebook里的时候。和之前的两个要素——标题，文案一样，你需要用不同的图片做实验，去看哪张图能和你的目标群体产生共鸣。

我的建议是至少用5张不同的图进行测试，如果你够上心，你还可以用20张图试试看。或许一张有笑脸的一家子会是这个例子中最好的图片。当然，也有可能是你的商标，或者一个打八折的字样。直觉是很棒的，不应该被忽视。但这都没有一个A/B测试来得实事求是。

测试多少个样本？

A/B测试者通常会问：一共需要多少个样本？越多越好。你跑的样本量越大，结果就会越精确。但为了计算容易，至少要保证每一个测试组拥有100次点击。在这之后，你就会有反映这个广告比其他广告更好的清晰数据，然后可以暂停表现不佳的广告并开始下一组的A/B测试。

Google Adwords和Facebook都提供A/B测试服务，而提供这一服务的其他广告服务上应该不在少数。

在A/B测试当中还要谨记的是，你会获得各种不同的见解和洞察，最好将这些洞察在心中铭记一年。广告就像头从不被喂饱的野兽。一旦你已经将广告改好并呈现了最好的状态，你就该创造新的广告了，因为你的目标群体已经看过原版广告的多个版本，而顾客可是很善变的。

但当你开始创造下一系列广告时，你并不需要重头开始，你可以通过之前的A/B测试中获得的经验进行比较。如果一张“打八折”字样的图对于你的目标群体来说很有效，那么你可以在下个广告中对图片颜色、字型、字体大小等进行修改，然后再重新开始测量和改进过程。在有效的图片上对顾客做进一步的刺激。

电子邮件营销的A/B测试
在电子邮件营销活动中，A/B测试也揭示了有关用户的大量有价值的数据。你可以测试邮件主题，邮件频率，是HTML还是普通文本格式等等。而反馈中你还能知道自己的用户对怎样的题目有反应，他们更喜欢哪种推销形式。

如果你使用MailChimp或者Aweber这样的电子邮件营销工具，建立一些A/B测试相当容易。这些工具可以让你将不同版本的邮件寄往你所设好的组群当中。

而在电子邮件营销当中，一般需要测试的内容包括：

邮件标题；

发送地址；

一天当中的具体时间；

一周当中的具体某天；

邮件内容文案；

排版和设计；

行为召唤等。

是否需要跟踪查看所有的这些变量？和线上广告相似，答案取决于你的目标是什么。你是想让收信者点击链接还是查看优惠，还是让他们在Facebook上加你？在测试之前，请确保你已经有一定的目标。而不管你的目标是什么，以下的三个方面你必须在跟踪当中需要确定的：

打开邮件的概率；

点击的概率；

要求不再发送邮件的概率。

网站上的A/B测试
A/B测试并不止是蜗居在广告和电子邮件营销当中。Netflix，Amazon和Google也同样是A/B测试的信徒。可以说你现在看到的Google其实是Google服务核心下的其中的一个变化版本，带着一个正被测试的元素。

现在你大概已经知道，线上广告或电子邮件营销需要顾客的反馈去修改“源代码”。但如果是要为网站做A/B测试网站内的元素呢？如果你能回想起Google在06年推出的网站优化工具，那就是网站做A/B测试的方向。不过，这个工具要求用户写两组代码，对于非开发者（比如营销人员）来说，他们需要额外地找开发团队帮他们调整其中的一两个元素，这并不够理想。而现在已经有一些服务可以为网站提供包括A/B测试、热图、评价表、基准研究等一系列服务。

在哪里使用A/B测试

用户体验上的A/B测试机会是无止境的。考虑“立即购买！（Buy Now！）”按钮在主页上效果不佳的情况，可以尝试改变按钮的形状、大小、颜色或者位置，作为变量B进行A/B测量。看看这些按钮对于用户来说是推销的辞令还是欢迎的信号。

如果你的网站还在早期的发展阶段，尝试做一些大的改变，并查看你入站流量的反应。

去年在我做的一个项目中，就发生过奇怪的事。我们改变了一个非常小的要素，将“联系我们”的标签从左边移到了右边，结果带来了点击量、兴趣和最终销售额的显著增长。为什么会这样？我也不知道，但我知道数据不说谎。绝对不要低估用户的力量，并且要懂得，一个小小的改变也可能带来很大的不同。

如果不相信我说的，可以想想Google，他们当初可是连工具栏上的颜色选择也要A/B测试。

怎样使用A/B测试

如果回到几年前，要对网站做A/B测试就意味着需要不同的代码集。但现在做A/B测试已经很方便。

其中一个我最喜欢的做A/B测试的工具就是Optimizely。这家公司由Googler Dan Siroker和Pete Koomen。Optimizely只需要鼠标操作就可以在实际上插入或编辑了一行Javascript代码。所以营销人员也可以做到进行A/B测试。

“局部最大”问题
尽管我一直将A/B测试的好处，但在最后我要说的是，在A/B测试中，我们可以很容易地专注于微观细节，但有时候问题在宏观问题上。

来自HubSpot的Steve Hass曾经告诉我有关Josh Porter提出的“局部最大”概念。“局部最大”指的是你在现有设计中所能改善的最大值。改善的有效性只能建立在目前版本之上。所以即使你做了100个调整，也只能提高这么多。就好像你可以一改再改，但发出的箭只能抵御这么大的风，而你能做的就是改变箭发出的方向。

所以如果你已经做了你能做的改进，并已经达到了“局部最大”，那你应该做什么呢？Porter指出，到了这个阶段，就可以“停止优化，并回到其他方面的分析，看看下一步能做些什么。主持面谈，做用户测试，问卷调查，问问题。”这些工具都是传统上帮助考虑“顾客想要什么”这一策略的。这个阶段应该考虑的是这些，而不是再做A/B测试。

这里讲到的仅仅是A/B测试的皮毛，实际上A/B测试还可以用在产品设计、电商销售以及价格策略的规划等等。A/B测试的美好在于，你的顾客正一直为你提供关于他们的最好信息，为何不尽情地将这些信息为自己所用呢？这是A/B测试所带来的好心态。

Via
TNW