云眼AB测试帮助我买网优化消息推送 消息推送的文案选择

消息推送的文案选择

中粮我买网是由世界500强企业中粮集团有限公司于2009年投资创办的食品类B2C电子商务网站。商品包括：食品、粮油、酒水、茶叶等百种品类。是办公室白领、居家生活和年轻一族的首选食品网络购物网站。我买网手机客户端有时会在通知栏中推送一些商品促销、购物指南的消息，以此来吸引用户点击，从而提高用户粘性并带来业务上的提升。当运营团队在设计推送消息的文案时，总是会有很多不一样的想法，内部有时就会提出好几个版本。为此，我买网的运营团队决定使用AB测试来选出一个最优的文案。

参数化方法进行AB测试

这次的AB测试采用了全栈API的方案，通过参数化的方式把推送消息的文案变成一个变量，最后在云眼控制台中为各个版本设置对应的变量值。在试验刚刚开始的时候，选择了1%的全网流量进行试验，各版本均分流量。当测试进行了一段时间后，运营团队决定把实验流量增加到5%。由于消息推送的特殊性，试验只进行了一天的时间（活动只持续了一周，活动结束后再拿到结果就没有意义了）。

结果表明，最好文案比最差文案的点击率要高出42%。统计显著性指标的结果也超过了95%，试验可以认定为有效。所以，在活动开始后的第二天，我买网使用最优版本的文案在全网推送了消息。