A/B测试

常见问题

• A/B测试软件如何帮助企业提升转化率

  1、确立优化目标
  建议设立“可量化的、可以落实到某一个具体功能点的、可实施的小目标”。举例来说，如果一个目标不好直接量化，例如“将用户满意度提升15%”，那么就不好形成一个具体的A/B测试方案。同理，如果这个目标太大太宽泛，也不好落地。一个可行的目标可以是“通过优化注册流程，将注册转化率提升20%”，这个目标可以量化，而且足够具体，可以在后续流程中形成一系列相关的A/B测试实验方案。
  2、分析数据
  通过数据分析，可以找到现有产品中可能存在的问题，只有先发现了某一个产品环节可能存在的问题，才好在后续流程中提出相应的优化方案，以优化这个环节的转化率。
  3、提出想法
  可以针对数据分析发现的问题，针对性的提出产品优化方案，例如优化流程以提高转化率，优化设计和文案等等。一般来说，A/B测试的想法会以“假设”的方式提出。例如，“假设把注册流程中的图片校验码方式，改成短信校验码的方式，我们的注册转化率可能提升10%”。基于这个假设，我们会设计对应的A/B测试，并通过实验的数据验证这个假设是否成立。
  4、重要性排序
  在开发资源、版本排期、优先级等因素的制约下，很可能不能对所有想法进行实验。所以这一步最重要的目的就是根据重要性、潜在收益、开发成本等因素对所有想法进行优先级的排序，并选择最重要的几个想法进行A/B测试。
  5、实施A/B测试并分析实验结果
  A/B测试结果分成两种：有效和无效。无效的A/B测试实验是非常宝贵的经验，可以把无效实验转化成团队经验，避免以后再犯同样的错误。有效A/B测试成功提升产品转化率，此时可以把优胜版本正式推送给全部用户，以实现产品用户的有效增长。
  6、迭代整个流程，进行下一轮A/B测试
  在刚开始推行A/B测试时，很容易遇到“团队成员经验尚浅，不确定哪些产品功能点做A/B测试效果会比较明显”的问题。这个时候有两种方法：一、针对转化率低、可能通过改版获得提升的产品功能点，精心设计A/B测试；二、快速进行一批简单的A/B测试，只要其中一部分实验取得成功，就能够在团队内部很好的推进A/B测试实施。

• 游戏企业如何做产品 A/B 测试？

  商店 A/B 测试：通过 A/B 测试挑选最合适的游戏图标、商店图、商店视频和商店文案；
  广告投放 A/B 测试：通过 A/B 测试发现哪一个受众群体可以创造更高广告价值；进行广告投放的优化，确认哪一种投放方式/投放素材可获得最佳成果；
  广告变现 A/B 测试：在变现聚合平台调试广告变现时，通过 A/B 测试寻找更合适的 Waterfall 配置等，寻找最佳的广告触发时机、广告观看奖励、广告播放形式等；
  产品 A/B 测试：在游戏产品研发与运营过程中，测试美术设计，如按钮用什么颜色、什么形状，NPC 用什么造型、技能特效、抽卡表现等；测试新手引导，调整新手阶段的节奏、难度和特定的关卡设计；测试界面布局，如商城界面布局，包括顺序、大小、颜色和边框等；测试产品定价，确定哪些定价的硬通货或者礼包对玩家更有吸引力；测试变现入口，确定合适的变现入口，使得既可以获得可观的收益又不影响玩家体验；测试玩法机制，找到更吸引玩家的玩法，如调整 PVE 通关奖励领取方式能否提升玩家体验深度，副本增加随机隐藏 BOSS 能否吸引玩家再次挑战，PVP 不同匹配策略对玩家参与积极性有什么影响。

• A/B测试的定义、操作方法是什么

  「AB测试」是许多网站、尤其是电商网站用来快速测试改版、微调商业决策的方法之一。简单来说，就是将欲测试的变因分别制作成A版和B版，利用工具将网站流量均分至两个版本，最后选择效果较好的版本。
   
  操作方法：
  Step 1: 制定测试目标
  清楚定义测试想要达成的目标（如提升转化率、浏览时间等）。制定目标的目的是为了使测试关注优化的焦点，数据化指标便于检视结果是否能达到效果。
  Step 2: 建立目标假设，专项测试
  尽可能在单个数值变量间比较。对于多数值变量不同差异大的，较难进行最大化判断A/B测试。
  Step 3: 测试并收集资料
  制作不同版本后，将A、B版本上传至网站，进行数据收集。
  Step 4: 将表现较好的版本上线
  通过反复此流程不断优化网站。测试上线后等待约1个月（或正常状态的UV或PV量后）结束测试。网站流量越小，观察时间越长。
   

• 如何用A/B测试做科学决策？

  1、单变量测试
  多个设计稿可能会存在明显差异，一般不适合做A/B测试。因为变量过多，变量之间会存在较多干扰，很难通过 A/B测试来找出各变量对结果的影响程度。
   
  2、用户分组的随机与固定
  为用户在每一个实验中，随机分配一个实验分组，且用户每次访问时，都应该进入相同的实验分组随机性保证了每个实验分组的用户成分相似，分组固定保证了用户体验前后一致。
   
  3、结合公司实际情况
  A/B测试需要花费大量人力、物力，大公司用户基础庞大，进行A/B测试可以持续投入，投入的提升增长价值也很大。但很多中小型公司不一定具备执行和分析能力，因此根据实际情况开展A/B测试尤为重要。
   
  4、认知能力的提高
  在互联网环境下，除了工具、理论外，认知能力的提高会大大促进工作的顺利开展。例如如果知道用户行为是建立在感性的基础上的，那么就能够提出一种A/B测试，两者的内容都是基于用户的情感设计的，看哪一种最能够打动用户。如果没有这个认知，可能就会设计出另一种不同的A/B方案，两者的内容是侧重于不同的产品功能，看用户更看重哪一种功能。

• A/B测试的三要素是什么

  A/B测试三要素：变量、样本、时间。
  一、变量来自于假设，以及衡量试验效果的指标
  在“变量”这个维度下，主要关注：效果评价指标、试验操作变量、控制(匹配)变量、场景筛选变量、分组随机变量。
  效果评价指标：用来衡量在产品或者运营上做出改动后的效果的变量，可以是单个变量，也可以多个。例：转化率、点击率、交易额等。这个评价指标要在AB测试开始前想好。
  试验操作变量：即组间差异的变量。例：A组用户不发红包，B组发放5元红包，C组发放10元红包，那么试验变量就是红包金额；一般情况下，试验中的ABC组中有一组是作为参考基线，通常“基线组”是“不做操作”的，因为要区分“自然变化量”和“人为改变量”，基线组试验前后发生的变化可以理解为“自然变化量”，而真正进行了干预的其他组别发生的变化量，要减去这个“自然变化量”后才能得到“人为改变量”。
  控制(匹配)变量：会影响效果评价指标的其他变量，这类变量需要在基线组和操作组中进行匹配，否则试验出的差异可能是由这些变量引起。例：是否新老客、会员等级、优惠偏好等；
  场景筛选变量：做A/B测试一般不是面向所有用户，而是针对于特定的业务场景。例：优化新客在android系统上的某注册环节以提升注册成功率，那么这个假设对应的业务场景就有两个筛选条件：用户状态= '新客' & app操作系统= 'android'，这些用来圈定业务场景的变量也可以称为“场景定位变量”。
  分组随机变量：这类变量通常是具有随机性的独立变量，比如cookie_id、设备ID，或者其他具备随机性和独立性的数字串(例：试验期间首次访问应用的时间转码)，通过判断奇偶数来划分试验组。分组也可能是3组以上的，比如可以计算数字ID求3的余数。实际操作中，上面提到的控制(匹配)变量和分组随机变量会一同参与到“随机分组”的过程。
  二、在“样本维度”上通常关注业务筛选条件以及样本量
  通常业务场景可以从“人货场”3个维度去限定：
  人(用户) ：具有什么属性的用户才是本次试验关注的目标? 例：属性特征、行为特征、交易特征等；
  货(商品) ：这里是指广义上的商品，可以是实物，也可以是服务或者内容(例：视频、文章等)，对“货”的圈定，可以是通过用户行为来筛选，例：用户在商详页停留了10秒以上但未购买的SKU，也可以是商品自身的属性，例：所属品类(栏目)、品牌等级、价格、差评率、优惠度等；
  场(渠道) ：可以是业务的入口终端，例：PC\app\小程序、android\ios等，也可以是业务环节等，e.g.注册环节、支付页面等；
  样本量上首先是要保证能达到统计效力，以确保组间差异在统计意义上是显著的(而不是随机误差造成)。
  要计算样本量大小，可以借助样本量计算在线工具，根据统计公式来反推也可以。
  此外，还要注意转化率，用户从进入产品一路到达试验关注的环节可能要经过层层“转化”，试验配置的时候入口的用户量一般和试验所需的样本量是不一样的。
  三、时间主要关注“开始时间”和“结束时间”
  开始时间：一般情况下，要避免重大产品运营事件，例：节假日、大促活动、产品发版日等。
  持续时间：主要考虑在一定时间内收集足够的样本、用户行为的稳定性、不同用户回流周期不一样等。

• A/B的使用误区有哪些？

  一、在仅当一部分人受到影响时，观察所有人
  示例：在测试搜索引擎相关性，进行 A/B 测试结果分析时，不是查看使用搜索引擎的用户，而是查看整个总体。此时，达到统计显著性需要更长时间。
  二、在没有任何业务直觉的情况下进行测试
  不可以使用太多变量进行测试。例如，如果使用 α=5% 显著性阈值并决定测试 20 个不同场景，则其中每个场景是正样本的机会是偶然的。因此，业务直觉对于决定启动哪个 A/B 测试至关重要。
  三、对人口进行分段以达到统计显著性
  比较的片段越多，结果中出现错误的几率就越大，因此在进行数据分割时需要非常小心。
  四、查看几个指标以达到统计显著性
  观察足够多的指标，最终会发现其中一个指标碰巧显示了一个重要结果。所以，需要坚持测试设计的标准。
  五、达到统计显著性时停止测试
  在停止测试之前，需要等待以达到计算出的样本大小。使用 A/B 测试计算器计算测试所需的样本大小。
  六、在达到统计显著性之前不要停止测试
  从统计显著性中不能得知什么时候停止测试，或者继续测试。所以，不应该等待一个测试变得有意义，因为它可能永远不会发生。如果你已经达到了在测试前计算出的样本量，这意味着本测试有足够的统计能力得出结论。
  七、将（1-p 值）当做 B 优于 A 的概率
  p 值为 2% 并不意味着 B 有 98% 的机会比 A 好。这个假设在数学上是错误的，因为它还取决于基准率。
  八、认为观察到的增量是特征带来的增量
  测试所观察到的增量可以用来计算统计显著性，但将观察到的增量视为特征带来的实际增量是错误的，这通常需要更多的用户或会话。
  九、当 A/B 测试结果违背你的直觉时，忽略它们
  如果还没有准备好用新的版本更新产品，那么启动 A/B 测试是没有意义的。直觉在选择测试内容时至关重要，但它不应与 A/B 测试的结果相抵触。
  十、忘记检查 A/B 测试系统是否可靠
  A/B 测试系统必须经过校准并正常工作。确保这种可靠性的一种方法是持续进行 A/A 测试，并检查这两种人群之间没有显著差异。