教育从业者必须要懂的「渠道效果评估」
渠道分析应从企业长期发展的角度出发，以 ROI 为重点。
流量增长是维系企业长期发展的基石。随着竞争加剧，行业的获客成本也水涨船高，合理实现渠道效果评估及策略优化是每个企业亟待解决的核心问题。渠道效果评估可以帮助我们控制渠道投放成本，完善和优化渠道投放策略。
1、渠道效果评估是什么
渠道效果评估主要是在企业进行渠道广告投放之后进行效果评估，通过数据衡量各渠道投放效果，分析营销策略和产品流程中存在的问题，输出策略建议，为企业投放策略及运营手段的迭代优化提供决策支持。
2、为什么需要渠道效果评估
企业使用渠道效果评估的原因主要在于：
（1） 基于数据的渠道侧评估，可以帮助企业合理分配预算，优化投放 ROI；
（2） 基于数据的产品侧评估，洞察用户行为，优化产品设计，提高用户体验。
3、渠道效果评估的难点痛点
现阶段，不少企业在进行渠道效果评估的过程中仍面临如下挑战：
（1） 渠道数据难以收集和归因；
（2） 没有一套完整的指标体系去评判投放效果的好坏；
（3） 不知道如何定位转化效果不好的原因；
（4） 难以将数据分析结论落实到业务策略上。
1、渠道效果评估框架及内容总览
如上图所示，渠道效果评估可以分为两大部分：
第一，从哪些维度评估渠道侧的效果，分析投放渠道对业务目标达成的影响，通过构建合理的指标体系，对各渠道带来的用户数量、用户质量、用户收益综合比较分析，筛选出有利于业务目标达成的渠道，改善渠道 ROI。
第二，完成渠道效果评估之后，我们发现渠道投放效果不好，但是又难以定位是渠道问题、产品问题还是营销策略问题，此时就需要先发掘问题点，提出假设验证，然后再着手解决问题。
2、渠道效果评估的先决条件
（1）渠道内外数据的打通
在做数据分析之前，我们需要将广告平台的数据和用户在产品内产生的数据做打通，也就是常说的数据通路。
（2）渠道数据的采集和归因
我们可以采用动态归因模型，基于 IDFA、IDFV、IMIE 等进行整合，生成 CLICK ID，对渠道进行精确归因。另外，一些无法实现精确归因的场景，也可以使用 IP、UA、OS Version 等进行分层模糊归因。
（3）异常流量的识别
在评估之前，需要保证数据是真实可用的，因此需要做异常流量的识别。一般来说，真实的流量更加自然一些，虚假流量常常表现出一定的目的性和规律性，通常可以通过用户行为数据对比、分地域查看、分访问终端查看等方法进行异常流量的甄别，同时也可以采用算法判断流量真实与否。
通常情况下，我们会通过渠道的评估、渠道的价值、其他因素的影响三个维度来评估渠道投放效果，如下图所示：
接下来将详细介绍：
（1）渠道的评估
- 定义渠道拉新的目标
在进行渠道评估之前，我们需要先明确渠道拉新的目标是什么。所有的业务动作都是围绕业务目标展开的，只有当目标清晰了，接下来的分析才会有方向。当然，强烈建议在没有正式开始投放之前就想清楚，以终为始开展业务，这样在投放-效果回收过程中方向感会更强，因为目标会直接决定我们如何选择渠道、如何圈选人群、如何制作物料，而这一系列过程，恰好是渠道投放中的关键环节，与最后业务目标的完成也有着密不可分的关系。教育行业常见的目标有：激活 App、付费低价体验课、添加老师微信、留资、注册成功等，不同的业务发展阶段存在不同的目标，需要根据业务实际情况，科学合理地制定。
- 判断渠道拉新目标的合理性
有了目标之后，我们还应判断这个目标是否合理，不合理的目标会将我们的分析引至错误的方向。
- 构建渠道评估指标体系
基于业务目标，选择较为关键的指标做渠道数据对比，综合评价各个渠道的效果。
接下来我们通过两个例子，从用户数量、用户质量、用户收益三方面考虑，详细说明如何构建渠道指标体系。
案例一：甲企业在朋友圈投放视频广告，希望新用户点击视频后可以在 H5 落地页完成体验课付费。那么甲企业该阶段的拉新目标为“新客首单体验课付费”，核心衡量整体效果好不好的指标为“体验课付费用户数”。
从用户数量的角度来说，除了付费用户数，用户导入量也是需要关注的，即这个渠道为你带来了多少用户；从用户质量的角度来说，我们可以看体验课的付费转化率，以及长远来说我们希望用户购买正式课程，因此正价课的付费转化率也可以作为评估指标；从用户收益的角度来说，即这个用户为我们带来了多少价值，常规的有 ARPPU（每付费用户平均收益），一般情况下建议结合 ROI 进行用户收益的综合评估，关于 ROI 会在后面的文章中详细讲述。
案例二：乙企业是一家做内容资讯教育产品的企业，他们投放广告宣传 App，希望让更多的用户在 App 上完成注册。因此，该企业设定的用户数量方面的指标为注册用户数、用户导入量；用户质量相关的指标为新客会员付费率、注册转化率、7 日留存率；用户收益相关的指标为 ARPPU。
图 神策数据渠道拉新-效果评估面板（模拟数据）
- 使用渠道 ROI 衡量渠道效果
在衡量渠道投放效果时，最不可忽视的一个因素就是渠道 ROI，即投资回报率。ROI 是一个公认的、可以比较直接反映某个渠道效果的指标，它可以同时衡量渠道用户流量规模、用户质量和用户收益这三个因素，常用计算公式为：ROI（投资回报率）= 回报收入/前期投入。前期投入：前期在获取用户的时候，一共投入了多少钱，在渠道方面大多单指渠道投放的花费，通常将这个投入称为 CAC，即获客成本。
回报收入：做完拉新之后，这些用户给企业带来了多少价值，常用衡量指标为新用户的购买金额。但是某些业务模式下，这部分价值不可在短期内被迅速量化，所以算法也因各产品形态的不同而不同。同样，在刚才所讲述的甲企业的场景中，企业在朋友圈投放广告之后，希望用户在 H5 落地页完成付费转化，它的 ROI 可以这样计算：
ROI = 体验课成单总金额/渠道总花费
=（用户导入量 * 体验课付费转化率 * 体验课客单价）/渠道总花费
用户导入量可以代表渠道用户流量规模，体验课付费转化率可以代表用户质量，而体验课客单价则可以衡量用户给企业带来的收益。需要注意的是，根据各企业/团队业务形态和发展阶段的不同，对 ROI 的计算方式也有所不同。
因此，我们建议根据最终业务目标，做合理的测算和评估。比如，有的企业关注新用户的有效增量，即报名体验课的用户数，则计算 ROI=30 天体验课总付费金额/渠道投入总花费；而有的企业更关注用户最后到正价课的转化，则计算 ROI 时他们会着重考量 30 天正价课付费总金额/渠道投入总花费
- 渠道打分
ROI 的好处是清晰、直观、易懂。但渠道效果这样一个复杂的命题仅用 ROI 这一个指标来衡量可能不那么准确，具有一定的局限性，且 ROI 的计算需要一定的时间周期，而有些产品的效益回收比较漫长，比如有些教育产品用户从体验课转到正价课的时间周期很长，但企业又不可能等到很长时间以后再去做渠道效果的评估，这样就失去了分析的时效性，此时 ROI 评估就不是很适用。
因此，我们可以引入一种“渠道打分法”结合 ROI 进行渠道效果评估，这类方法主要是通过一系列用户行为指标，评估用户参与度，计算各个渠道的综合得分，通过得分排序筛选优质渠道。
举个例子：某内容运营人员需要对用户喜爱的书籍进行排序，通常情况下，我们会从点赞数、评论数、搜索热度、转化率等多方面综合考虑。按照打分的方法，对各个方面的指标设定权重，然后用权重计算后的结果来判断到底哪本书更受用户喜爱，如各书籍总得分 = 点赞数 * 15% + 评论数 * 15% + 搜索热度 * 40% + 购买转化率 * 30%。
以下是渠道打分的示例（百分比和指标此处仅为示例，需结合业务实际情况制定）：
那渠道打分的权重应当如何设定呢？
权重是指某一因素或指标相对于某一事物的重要程度，强调的是因素或指标的相对重要程度，倾向于贡献度或重要性。通常来说有两种设置方法：
第一，凭借主观业务经验设定，直接给各个指标赋予权重，优势是可以比较完整地考虑业务实际情况，劣势是不够科学客观。常用的方法有层次分析法、权值因子判断表法。
第二，凭借历史数据进行客观权重赋值，依据历史数据研究指标之间的相关关系或者指标与业务结果的影响关系来综合测算权重；此类方法有客观优势，符合统计学逻辑，但是无法反映出一些不能被量化因素的影响，对业务情况的考虑不够完善，甚至可能会有一些权重和实际指标相反的情况。常用的方法有因子分析、回归分析等，到底应该选择哪一种，可结合实际业务情况斟酌。
- 综合效果评估
前文计算了 ROI 和渠道得分，但当业务发展到某一个阶段时，我们往往需要考虑多重因素对渠道投放的影响，需要做到成本和收益的平衡。此时建议综合 ROI 和渠道得分进行渠道选择，在 Excel 上根据 ROI 和渠道得分的数值，作四象限图，分象限进行渠道决策。如果某渠道 ROI 和得分都较高，说明这个渠道用户质量高，长期来说对产品是有利的，且投资回报率也还不错，因此这个渠道值得我们重点运营并持续投入。
（2）渠道的价值
- 渠道用户画像
渠道用户画像的数据来源一般分为「渠道平台提供的用户画像」「产品内业务 + 行为用户画像」「定性或定量得出的用户画像」3 个部分。有些渠道会向广告主提供投放分析服务，通常包含一些简单的用户属性数据分析；当用户来到产品之后，会在产品内产生行为，或者完成与业务收益相关的购买动作，此时我们也可以将这些数据收集起来，比如用户浏览了哪些模块，购买的产品是什么类别，购买的产品单价大约为多少，然后描绘用户画像，辅助进一步的精细化运营。用户画像可以让我们更好地了解渠道过来的用户长什么样，可能会做什么，可以帮助我们做好渠道投放策略的优化，同时也能给未来有意愿做精细化运营的企业奠定数据基础。
图 神策数据用户标签面板示例（模拟数据）
- 业务数据回传
部分渠道支持业务数据回传，加速渠道分析闭环。
（3）其他因素的影响
- 外部因素
结合实际业务，需要考虑对业务目标有影响的因素。比如政策、市场规模、竞品、品牌口碑、社会舆论等。
- 内部因素
从业务方面来说，需要考虑其他业务的拓展对当前业务的影响，或者产品/服务的品类是否发生了变化，这些都可能会影响新用户转化；产品方面，比如部分产品流程修改、系统兼容等；其他例如节假日影响、用户需求等，这些点与最终业务目标是否达成可能都存在关系。因此我们需要结合实际业务情况，综合这些内外部影响，科学评估渠道拉新效果。
任何主题的数据分析均需重视“逻辑”和“层次”，但是大部分教育企业很多时候只重视逻辑，极容易忽视层次性。无论渠道投放的目的是整个公司品牌推广，还是围绕某个产品的推广，均包含了分属不同层级的多个子任务，比如：
- 指标层：投放效果如何
- 执行层：影响投放效果的因素
- 策略层：定位投放迭代的策略调整方向，沉淀优秀成功的策略方法等
只有通过层次分级，才更容易了解问题出在哪个层级、此层级是否可以独立把控分析、是否需要其他角色的协助等。
围绕问题界定，从指标、执行层综合评估渠道投放效果时，如何定义效果“好”还是“不好”？当前数据展现究竟是否可以定义为“问题”？具体是哪些环节导致了结果问题？分析角度归属于指标层还是执行层……
举个例子：某教育公司想要提高低价体验课程的拉新数量，选择了多个渠道进行该课程的广告投放，两周后发现拉新效果低于预期。针对此，业务同学需要定位原因并加以分析验证，具体的问题定位和分析思路如下：
1、定义渠道核心目标，以终为始开展业务
不同的业务发展阶段存在不同的目标，需要根据业务实际情况，明晰获客定义，教育机构常见的获客核心指标包括：下载量、注册量、App 激活量、留资量、低价体验课报名量、微信添加量、获客成本、ROI、付费转化率等，对比上述案例，可以明确其核心结果指标为低价体验课报名数量。
2、界定“问题”真伪，从源头把控分析方向
大家或多或少都了解辛普森悖论的魅力，不同维度的核心结果数据会呈现不一样的“景色”。数据指标对齐统计口径是一切正确分析的基础。如下图所示，3% 的结果数据是否会被定义为真正的问题，需要综合时间、渠道、定义等维度，配合科学合理的对比方法判断其真实身份；然后，综合目标设置逻辑判断预测标准的合理性。只有确保源头没有问题，才可以真正界定“问题”的真伪。
3、多层级视角出发，归纳因素假设
单一核心指标评估法也叫一维评估方法，指的是仅通过核心结果指标评估渠道效果。
评估渠道质量的指标选择是有要求、有技巧的，这个指标一定要能够全面衡量渠道的价值，比如 ROI。但实际操作中一维评估方法有很大的局限性，比如全面成本数据获取延迟、指标角度单一等等……因此，为了更全面地衡量渠道价值，渠道效果评估指标体系应兼顾“量”“质”和“收益”。
界定核心指标表现具备问题的特征后，围绕核心目标，定位各层级可能产生异常的方向，以 4P 理论法做内外部因素拆解，如下：
围绕拆解出的 4P 核心方向，结合具体业务场景、不同层级枚举的影响因素，包括策略层的渠道定向人群包、投放策略、定价策略、产品页面交互设计等；执行层的人工执行策略流程、技术交互错误等（上述场景中假设此执行层不存在问题），从内部影响因素业务流程及产品页面交互角度出发，围绕低价课报名数量指标，可以拆解关键业务流程，进行落地页转化流程漏斗分析，计算出每个环节的转化率、跳出率、停留时长、页面交互情况等，从而判断用户在哪个环节流失，定位可能影响用户页面操作、流失的原因。
明晰核心目标 → 界定问题“真伪” → 归纳多层级影响因素，以终为始，发现渠道是否真正存在问题，结合逻辑和层次分析视角，归纳影响渠道效果的因素。
以上三个步骤是实现渠道投放优质效果的第一步。
1、基于假设因素，合理验证分析
基于 4P 理论拆解影响因素为渠道分析提供了普适性的思考方向，但不同形式的渠道投放评估，在因素衡量的选择和验证深度上会存在稍许差异。不可否认的是，在确定渠道投放有问题或存在优化空间后，最关键的步骤是定位影响因素并进行归因。
如何围绕渠道定向人群匹配、投放物料选择、产品页面设计、渠道竞价等方向做异常分析，具体方法与数据异常定位分析基本一致，包括分组分析法、对比分析法、象限分析法、矩阵关联分析法、MECE 等。
结合上述案例场景，可以梳理渠道投放的核心业务流程为：展示广告 → 点击广告进入落地页 → 访问报名页面 → 提交订单。其中，选取浏览量、转化率作为核心指标进行象限分析如下图所示：
结合四象限结果，提出可能的发展方向和因素假设如下：
高浏览量：
- 投放物料包装命中用户偏好，引起点击兴趣
- 渠道用户调性与物料内容匹配性较高
高转化率：
- 渠道定向人群包筛选精准
- 产品设计符合用户 get 价值路径
基于上述假设采取控制变量法，对不同投放策略组合进行单变量比较，并进行合理假设验证。进一步来看，可以将上述案例场景赋予数值进行对比说明：假设 4 个渠道的用户调性基本一致，数据统计周期为 2 周，控制的变量为渠道中投放时间策略和渠道竞价。
由上述数据对比可知：
（1）同定向人群包下，A 渠道浏览量低于 B 渠道，C 渠道浏览量低于 D 渠道，可以猜测物料 ②（A/C 渠道）更能吸引用户点击广告；
（2）同物料下，A 渠道转化率高于 C 渠道，B 渠道转化率高于 D 渠道，可以猜测上述渠道中人群包 I 筛选更精准，与渠道调性更匹配。
基于上述核心指标对比，验证正负向的相关影响因素，可以做初步策略迭代，具体跟进下一步效果验证该策略是否值得大范围、长期推广。
2、策略迭代及效果验证
渠道引流物料质量的好坏会直接影响过程转化率、目标及获客成本，合理科学的评估方式是通过 A/B 测试，结合自身业务特点，实现物料、策略的快速迭代和优化。
投放物料的内容直接决定用户对产品的第一印象，所以投放物料是否符合目标用户需求，是否能够吸引用户的注意力，对用户发生第一步行为（点击广告）至关重要。
定向人群包作为渠道投放实施前期的关键一环，在此过程中承担协同关系，人群包精准画像可以提升广告物料的命中率，实现精细化效果投放。
在上述变量不变的前提下，围绕投放物料及人群包匹配的相关猜测，可通过 A/B 测试做进一步策略调整和效果验证，其中涉及页面的 A/B 测试中，页面必须在同一个主题下产生微调，通过测试的结果可以知道是哪些变化导致了转化率不同，而不只是单纯为了了解哪一版页面能带来多少业绩、多少提升等。
结合上述案例中的正向影响因素提炼，对物料及人群包迭代做示例对比，根据数据结论，对投放物料和人群包组合分别进行调整，并观察调整后 1 周（其他变量保持不变，如投放时间策略、渠道竞价等）的数据反馈。具体如下：
调整方案 1：
A/C 渠道：将物料 ① 调整为物料 ②
B/D 渠道：将物料 ② 调整为物料 ①
△ 方案 1 调整后数据
调整方案 2：
A/B 渠道：将人群包 Ⅰ 调整为人群包 Ⅱ
C/D 渠道：将人群包 Ⅱ 调整为人群包 Ⅰ
△ 方案 2 调整后数据
将 2 种方案调整后数据与对照组（方案调整前）进行数据对比，发现调整方案 1 的物料 ② 所在渠道的浏览量仍高于物料 ① 所在渠道；调整方案 2 中的人群包 Ⅰ 所在渠道的转化率高于人群包 Ⅱ 所在渠道。
可以得出以下结论：
- 物料 ② 较物料 ① 更有吸引力，能够高效吸引更多用户点击广告进入落地页
- 人群包 Ⅰ 较人群包 Ⅱ 对产品价值认可度更高，人群包画像更匹配投放产品
接下来，根据验证后的迭代结果可制定相应的优化策略并进行效果追踪。
第一，将投放物料调整为物料 ②，人群包调整为人群包 Ⅰ，进行重点投放并对其他因素进行假设验证和策略迭代。
第二，制定并落地渠道长期投放策略。投放环节效率较优时，结合渠道竞价以及拉新课用户后续的付费留存等指标进行综合对比，找到综合留存效率高，且成本更加可控的投放组合。
