A/B测试三要素：变量、样本、时间。

一、变量来自于假设，以及衡量试验效果的指标

在“变量”这个维度下，主要关注：效果评价指标、试验操作变量、控制(匹配)变量、场景筛选变量、分组随机变量。

效果评价指标：用来衡量在产品或者运营上做出改动后的效果的变量，可以是单个变量，也可以多个。例：转化率、点击率、交易额等。这个评价指标要在AB测试开始前想好。

试验操作变量：即组间差异的变量。例：A组用户不发红包，B组发放5元红包，C组发放10元红包，那么试验变量就是红包金额；一般情况下，试验中的ABC组中有一组是作为参考基线，通常“基线组”是“不做操作”的，因为要区分“自然变化量”和“人为改变量”，基线组试验前后发生的变化可以理解为“自然变化量”，而真正进行了干预的其他组别发生的变化量，要减去这个“自然变化量”后才能得到“人为改变量”。

控制(匹配)变量：会影响效果评价指标的其他变量，这类变量需要在基线组和操作组中进行匹配，否则试验出的差异可能是由这些变量引起。例：是否新老客、会员等级、优惠偏好等；

场景筛选变量：做A/B测试一般不是面向所有用户，而是针对于特定的业务场景。例：优化新客在android系统上的某注册环节以提升注册成功率，那么这个假设对应的业务场景就有两个筛选条件：用户状态= '新客' & app操作系统= 'android'，这些用来圈定业务场景的变量也可以称为“场景定位变量”。

分组随机变量：这类变量通常是具有随机性的独立变量，比如cookie_id、设备ID，或者其他具备随机性和独立性的数字串(例：试验期间首次访问应用的时间转码)，通过判断奇偶数来划分试验组。分组也可能是3组以上的，比如可以计算数字ID求3的余数。实际操作中，上面提到的控制(匹配)变量和分组随机变量会一同参与到“随机分组”的过程。

二、在“样本维度”上通常关注业务筛选条件以及样本量

通常业务场景可以从“人货场”3个维度去限定：

人(用户) ：具有什么属性的用户才是本次试验关注的目标? 例：属性特征、行为特征、交易特征等；

货(商品) ：这里是指广义上的商品，可以是实物，也可以是服务或者内容(例：视频、文章等)，对“货”的圈定，可以是通过用户行为来筛选，例：用户在商详页停留了10秒以上但未购买的SKU，也可以是商品自身的属性，例：所属品类(栏目)、品牌等级、价格、差评率、优惠度等；

场(渠道) ：可以是业务的入口终端，例：PC\app\小程序、android\ios等，也可以是业务环节等，e.g.注册环节、支付页面等；

样本量上首先是要保证能达到统计效力，以确保组间差异在统计意义上是显著的(而不是随机误差造成)。

要计算样本量大小，可以借助样本量计算在线工具，根据统计公式来反推也可以。

此外，还要注意转化率，用户从进入产品一路到达试验关注的环节可能要经过层层“转化”，试验配置的时候入口的用户量一般和试验所需的样本量是不一样的。

三、时间主要关注“开始时间”和“结束时间”

开始时间：一般情况下，要避免重大产品运营事件，例：节假日、大促活动、产品发版日等。

持续时间：主要考虑在一定时间内收集足够的样本、用户行为的稳定性、不同用户回流周期不一样等。