大数据技术在预测性营销上的实践9个问题

编者按：董飞，本科毕业于南开大学，硕士杜克大学毕业，现为Datatist首席架构师&COO。先后在创业公司酷迅、百度基础架构组和Amazon云计算部门，LinkedIn担任高级工程师，Coursera从事数据工程师，负责过垂直搜索，百度云计算平台研发和广告系统的架构。为多位企业客户解决营销难题，具备丰富实践经验。

1、什么是精准营销，预测营销？

说到精准营销，不得不先提个性化的用户画像，我们针对每一类数据实体，进一步分解可落地的数据维度，刻画他／她的每一个特征，在聚集起来形成人群画像。比如下面就是两种典型年轻消费人群。

具体又包括：

用户固定特征：性别，年龄，地域，教育水平，生辰八字，职业，星座 

用户兴趣特征：兴趣爱好，使用APP，网站，浏览／收藏／评论内容，品牌偏好，产品偏好 

用户社会特征：生活习惯，婚恋，社交/信息渠道偏好，宗教信仰，家庭成分 

用户消费特征：收入状况，购买力水平，商品种类，购买渠道喜好，购买频次 

用户动态特征：当下时间，需求，正在前往的地方，周边的商户，周围人群，新闻事件

当我们采集和分析这些用户画像，可以实现精准营销。这是最直接和最有价值的应用，广告主可以通过用户标签来发布广告给所要触达的用户，这里面又可以通过上图提到的搜索广告，展示社交广告，移动广告等多渠道的营销策略，营销分析，营销优化以及后端CRM／供应链系统打通的一站式营销优化，全面提升ROI。

我们再说一说营销时代的变迁，传统的企业大多还停留在“营销1.0”时代，以产品为中心，满足传统的消费者需求，而进入“营销2.0”，以社会价值与品牌为使命，也不能完全精准对接个性化需求。进入营销3.0的数据时代，我们要对每个消费者进行个性化匹配，一对一营销，甚至精确算清楚成交转化率，提高投资回报比。

大数据下的营销颠覆经典的营销4P理论，Product，Price，Place，Promotion，取而代之的是新的4P，People，Performance，Process，Prediction。在大数据时代，线下地理的竞争边界早就不存在，比的是早一步的先知能力，利用大数据，从顾客真实交易数据中，计算下一次的购买时间。 营销3.0时代关键词就是“预测”。 

预测营销能够让你专注于一小群客户，而这群客户却能代表特定产品的大多数潜在买家。以上图为例，你可以将营销活动的目标受众锁定为 20 万潜在客户或现有客户，其中包括特定产品的大多数买家（4 万人）。你还可以拨出部分预算用于吸引更小的客户群（比如 20% 的客户），而不是整个客户群，进而优化你的支出。

过去我们看数据可能是被动的方式，但预测营销强调是决策价值，比如购买时间，你该看的不是她最后的购买日期，而是下次购买的时间，看未来的存活概率，最后生成客户终身价值（CLV）。预测营销催生了一种新的数据驱动营销方式，就是以客户为中心，核心在于帮助公司完成从以产品或渠道为中心到以客户为中心的转变。

2、在现代商业中大数据的价值体现在哪？

大数据最大的价值不是事后分析，而是预测和推荐，我就拿电商举例，"精准推荐"成为大数据改变零售业的核心功能。譬如服装网站Stitch fix例子，在个性化推荐机制方面，大多数服装订购网站采用的都是用户提交身形、风格数据+编辑人工推荐的模式，Stitch Fix不一样的地方在于它还结合了机器算法推荐。这些顾客提供的身材比例，主观数据，加上销售记录的交叉核对，挖掘每个人专属的服装推荐模型。 这种一对一营销是最好的服务。

数据整合改变了企业的营销方式，现在经验已经不是累积在人的身上，而是完全依赖消费者的行为数据去做推荐。未来，销售人员不再只是销售人员，而能以专业的数据预测，搭配人性的亲切互动推荐商品，升级成为顾问型销售。

3、一个例子说明精准营销的好处

“颠覆营销”书中提到一个例子，可以引述一下，大家思考一个问题：如果你打算搜集200份有效问卷，依照以往的经验，你需要发多少份问卷，才能达到这个目标？预计用多少预算和时间来执行？ 

以往的方法是这样的：评估网络问卷大约是5%的回收率，想要保证收到200份的问卷，就必须有20倍的发送量，也就是发出4000份问卷，一个月内如果可以回收，就是不错的表现。 

但现在不一样了，在执行大数据分析的3小时内，就可以轻松完成以下的目标： 

• 精准挑选出1%的VIP顾客

• 发送390份问卷，全部回收 

• 问卷寄出3小时内回收35%的问卷 

• 5天内就回收了超过目标数86%的问卷数 

• 所需时间和预算都在以往的10%以下 

这是怎么做到在问卷发送后的3个小时就回收35%？那是因为数据做到了发送时间的"一对一定制化"，利用数据得出，A先生最可能在什么时间打开邮件就在那个时间点发送问卷。举例来说，有基人在上班路上会打开邮件，但如果是开车族，并没有时间填写答案，而搭乘公共交通工具的人，上班路上的时间会玩手机，填写答案的概率就高，这些都是数据细分受众的好处。  

4、如何生成用户的精准画像？

大致分成三步。

采集和清理数据：用已知预测未知

首先得掌握繁杂的数据源。包括用户数据、各式活动数据、电子邮件订阅数、线上或线下数据库及客户服务信息等。这个是累积数据库；这里面最基础的就是如何收集网站／APP用户行为数据。比如当你登陆某网站，其Cookie就一直驻留在浏览器中，当用户触及的动作，点击的位置，按钮，点赞，评论，粉丝，还有访问的路径，可以识别并记录他／她的所有浏览行为，然后持续分析浏览过的关键词和页面，分析出他的短期需求和长期兴趣。还可以通过分析朋友圈，获得非常清晰获得对方的工作，爱好，教育等方面，这比个人填写的表单，还要更全面和真实。

我们用已知的数据寻找线索，不断挖掘素材，不但可以巩固老会员，也可以分析出未知的顾客与需求，进一步开发市场。

用户分群：分门别类贴标签 

描述分析是最基本的分析统计方法，描述统计分为两大部分：数据描述和指标统计。数据描述：用来对数据进行基本情况的刻画，包括数据总数，范围，数据来源。指标统计：把分布，对比，预测指标进行建模。这里常常是Data mining的一些数学模型，像响应率分析模型，客户倾向性模型，这类分群使用Lift图，用打分的方法告诉你哪一类客户有较高的接触和转化的价值。

在分析阶段，数据会转换为影响指数，进而可以做"一对一"的精准营销。举个例子，一个80后客户喜欢在生鲜网站上早上10点下单买菜，晚上6点回家做饭，周末喜欢去附近吃日本料理，经过搜集与转换，就会产生一些标签，包括"80后""生鲜""做饭""日本料理"等等，贴在消费者身上。 

制定策略：优化再调整 

有了用户画像之后，便能清楚了解需求，在实际操作上，能深度经营顾客关系，甚至找到扩散口碑的机会。例如上面例子中，若有生鲜的打折券，日本餐馆最新推荐，营销人员就会把适合产品的相关信息，精准推送这个消费者的手机中；针对不同产品发送推荐信息，同时也不断通过满意度调查，跟踪码确认等方式，掌握顾客各方面的行为与偏好。 

除了顾客分群之外，营销人员也在不同时间阶段观察成长率和成功率，前后期对照，确认整体经营策略与方向是否正确；若效果不佳，又该用什么策略应对。反复试错并调整模型，做到循环优化。 

这个阶段的目的是提炼价值，再根据客户需求精准营销，最后追踪客户反馈的信息，完成闭环优化。 

我们从数据整合导入开始，聚合数据，在进行数据的分析挖掘。数据分析和挖掘还是有一些区别。数据分析重点是观察数据，单纯的统计，看KPI的升降原因。而数据挖掘从细微和模型角度去研究数据，从学习集、训练集发现知识规则，

除了一些比较商业化的软件SAS，WEKA功能强大的数据分析挖掘软件，这边还是更推荐使用R，Python，因为SAS，SPSS本身比较昂贵，也很难做页面和服务级别的API，而Python和R有丰富的库，可以类似WEKA的模块，无缝交互其他API和程序，这里还需要熟悉数据库，Hadoop等。

5、预测性营销的选择方案有哪些呢？这里的开发用到哪些技术和工具？ 

关于预测营销的技术能力，有几种选择方案：

1、使用预测分析工作平台，然后以某种方法将模型输入活动管理工具； 2、以分析为动力的预测性活动外包给市场服务提供商；3、评估并购买一个预测营销的解决方案，比如预测性营销云和多渠道的活动管理工具。

这里我也总结一些常用的技术工具 ：

但无论哪条路，都要确定三项基本能力。 

1）连接不同来源的客户数据，包括线上，线下，为预测分析准备好数据 ；

2）分析客户数据，使用系统和定制预测模型，做高级分析 ；

3）在正确时间，正确客户，正确的场景出发正确行为，可能做交叉销售，跨不同营销系统。 

6、营销领域有哪些预测模型？

预测客户购买可能性的行业标准是RFM模型（最近一次消费R，消费频率F，消费金额M），但模型应用有限，本质是一个试探性方案，没有统计和预测依据。“过去的成绩不能保证未来的表现”，RFM只关注过去，不去将客户当前行为和其他客户当前行为做对比。这样就无法在购买产品之前识别高价值客户。

我们聚焦的预测模型，就是为了在最短时间内对客户价值产生最大影响。这里列举一些其他模型参考：

• 参与倾向模型，预测客户参与一个品牌的可能性，参与定义可以多元，比如参加一个活动，打开电子邮件，点击，访问某页面。可以通过模型来确定EDM的发送频率。并对趋势做预测，是增加还是减少活动。

• 钱包模型，就是为每个客户预测最大可能的支出，定义为单个客户购买产品的最大年度支出。然后看增长模型，如果当前的总目标市场比较小，但未来可能很大，就需要去发现这些市场。

• 价格优化模型，就是能够去最大限度提升销售，销量或利润的架构，通过价格优化模型为每个客户来定价，这里需要对你想要的产品开发不同的模型，或者开发通用，可预测的客户价格敏感度的模型，确定哪一块报价时对客户有最大的影响。

• 关键字推荐模型。关键字推荐模型可以基于一个客户网络行为和购买记录来预测对某个内容的喜爱程度，预测客户对什么热点，爆款感兴趣，营销者使用这种预测结果为特定客户决定内容营销主题。

• 预测聚集模型。预测聚集模型就是预测客户会归为哪一类。

7、目前对于预测性营销技术，国际上有哪些技术创新和开发工具？目前的使用瓶颈和顾虑是什么？

预测营销技术以模型工具存在了很多年，比如一些统计分析软件 SAS，SPSS，R，还有像Netflix，Amazon，Facebook，Ebay，电信领域Verizon，ATT这些大公司，都有数据科学家团队，他们都在开发基于预测性的广告和营销系统。但这些工具都有一些重要的缺点，在你使用预测分析平台之前，首先要把业务需求翻译成技术需求，这样数据科学家才能将其转化为模型和查询语句。

大多数市场营销人员还是这方面能力不足，没有工程师和商业分析师的支持的话，就要从头做重复劳动，选择适当模型，去解决商业问题。而数据科学家往往也局限在某个行业内，找到合适的人才非常难，也很难跨行业获得经验。 

在使用大数据平台时，往往要求在以下方面：整合数据，准备数据，开发，测试，配置模型，IT设施和数据架构都需要持续配合，才能最后帮助运营者生成报告并准备活动的名单。比如笔者当时在LinkedIn的广告部门，我们的数据科学家建立了一套强大的分析算法去计算预估CTR，预估bid price，预估受众，但一旦脱离了LinkedIn的网站，广告主也没办法重复分析和得到持续的预测评分，而每个公司重新搭建一套大数据平台也是费时费力。

另外在个人信息使用上要特别注意隐私问题，顾客心理会有一些心理差异，比如客户的电话，邮箱注册某品牌电商（Tiffany）后，收到一些竞争对手如香奈儿不停给你发送广告，你也许会很生气。根据消费者报告，有71%的人认为，他们担心电商在不经过她们同意就出售或分享信息，因为越来越多的营销者从使用第三方的信息记录转向使用第一方数据来进行营销。

还有个“最后一公里”问题，比如说“我们拿到了网站注册的大量信息，也通过模型预测出来最有可能购买的客户，但作为运营人员，我无法根据客户分享给我的偏好和日期去发布一个Campaign（促销）”，就是说预测模型的输出结果对于营销人员来说很难使用—— 无法将日常的邮件，广告，门店和客户互动等营销活动结合起来。

8、机器学习技术在预测营销领域是如何应用，会有怎样的发展？

去年人工智能特别火，特别是深度学习在机器视觉，语言识别，游戏AI上的突飞猛进，以至于人们开始恐慌人工智能是不是已经可以接管人类工作，我个人是对新技术有着强烈的兴趣，也非常看好新科技，数据与现实的关联。 

我以前在国外零售店买单的时候经常被询问“你有没有购物卡”，当我说没有收银员会赶紧劝我免费开通，有打折优惠，只需要填个手机号和邮箱，后面就可以针对我的购买记录做营销活动，而当我下次进来，他们就让我报出电话号码做消费者识别，当时我想如果做到人脸识别，岂不是更方便，刷脸就可以买单。而这个场景在去年也有了实验，蚂蚁金服研发出了一个生物识别机器人，叫蚂可Mark，据说其认脸能力已经超越了人类肉眼的能力。还有VR购物，Amazon推出的无收银员商店Amazon Go，通过手势识别，物联网和后续数据挖掘等技术实现购物体验。

针对营销领域，主要有以下三种预测营销技术。 

1 无监督的学习技术

无监督学习技术能识别数据中的隐藏模式，也无须明确预测一种结果。比如在一群客户中发现兴趣小组，也许是滑雪，也许是长跑，一般是放在聚类算法，揭示数据集合中 真实的潜在客户。所谓聚类，就是自动发现重要的客户属性，并据此做分类。

2 有监督的学习技术

通过案例训练机器，学习并识别数据，得到目标结果，这个一般是给定输入数据情况下预测，比如预测客户生命周期价值，客户与品牌互动的可能性，未来购买的可能性。 

3 强化学习技术

这种是利用数据中的潜质模式，精准预测最佳的选择结果，比如对某用户做促销应该提供哪些产品。这个跟监督学习不同，强化学习算法无须仅需输入和输出训练，学习过程通过试错完成。

从技术角度看，推荐模型应用了协同过滤，贝叶斯网络等算法模型。强化学习是被Google Brain团队的负责人Jeff Dean认为是最有前途的AI研究方向之一。最近Google的一个AI团队DeepMind发表了一篇名为《学会强化学习》的论文。按团队的话来说，叫做“学会学习”的能力，或者叫做能解决类似相关问题的归纳能力。除了强化学习，还在迁移学习。迁移学习就是把一个通用模型迁移到一个小数据上，使它个性化，在新的领域也能产生效果，类似于人的举一反三、触类旁通。强化学习加上迁移学习，能够把小数据也用起来，我认为是很激动人心的，通过AI来创造AI，数据科学家的部分工作也可以让机器来实现了。

『本文封面图片来自：Yestone 邑石网正版图库』