编者按:Amanda Richardson是HotelTonight的首席数据和战略官。她在这篇文章中分享了各行各业的数据团队在数据工作中最容易犯的四个代价极其昂贵的错误,同时分享了避免犯这四种错误的方法,从而让数据团队更好地为公司的战略目标服务。此外,她还分享了她是如何将过去几年的产品团队的管理经验带到数据团队中的。
Amanda Richardson是HotelTonight的首席数据和战略官,之前在该公司担任产品副总裁。她现在为一款月活用户几百万的APP监测四五百个数据事件。她的团队从每个用户会话那里注册了数百个事件。她现在已经沉浸在了数据世界中,并敏锐地观察着其他公司都是如何基于数据进行决策的。然而,她发现很多公司对数据的处理方法不仅是懒惰的,而且是无效的、容易误导人的,从而让公司错过了大量机会。
近日,Amanda接受了First Round Review的专访,她在专访中分享了各行各业的数据团队应该小心提防的四种对待和处理数据的错误方法,以及管理者如何从这四种方法中逃离出来,从而让数据团队更好地为公司的战略目标服务。此外,她还分享了她是如何将过去几年的产品团队的管理经验带到现在所带领的数据团队中的。她还解释了,要想打造下一代产品,最重要的是要看你能否做到简单、前后一致和达成共识,而不是追求利用最热门的新东西。
错误1:从指标开始,而不是从目标开始。
如今获取获取比以往任何时候都要容易。在大部分公司内部,搜集、存储和分析数据已经变成了一项标准化的工作。但很多时候,他们迷失在对实时数据分析和数据湖的争夺中,对于如何使用这些数据却没有连贯、直接的规划。Amanda发现很多团队都在毫无目的地挖掘数据。没有明确的目标,他们在追逐的是一个移动的目标,导致永远无法达成目标。
一开始,你需要从一个需要回答的特定问题或需要调查验证的特定假设开始。很多时候,大家在推出一个产品后,会说:“结果怎么样?” 而不是说:“我们的产品目标是将X转化成Y,或者增加漏斗顶部,或者移动漏斗底部,或者增加每个用户的营收。”
如果没有一个明确的、前后一致的目标,就会在获取数据后重犯与之前相同的错误。以HotelTonight的“最喜欢的酒店”这个功能为例,这个功能让用户在搜索酒店的时候“喜欢”那些他们想优先打电话联系的特定酒店。这个功能是主要面向我们的高级用户的吗?还是主要面向那些只想关注某个特定酒店的新用户?亦或是面向那些正在规划旅行的人,他们希望有一个酒店观察列表功能?所有这些都是有可能的。但是确定这个功能成功与否的关键指标是什么呢?如果弄不清这一点,你最后就会陷入这样的境地:有人说“这项功能在我们那些最重度用户那里是非常受欢迎的,每个重度用户平均会喜欢12家酒店;” 还有人说:“这个功能主要是面向那些新用户的。” 于是你开始困惑了,到底谁说得对?
有效地消化数据的关键是清楚地表明你想要完成什么目标,以及如何定义成功。这说起来容易做起来难。如果大家都站在一个很高的高度,那么大家就很容易就这个问题能达成一致。但是一旦你们陷入到细节中,如我们未来30天想要实现的主要目标是什么?这是大家就不清楚了。
所以,一定要让目标变得更加清晰和明确。创建一个你用来评价成功与否的记分卡。原则就是在每一个项目开始之前写下评判成功的标准。Amanda引用了一种经典的目标管理原则:SMART。S即Specific,代表具体的,指绩效考核要切中特定的工作指标,不能笼统;M即Measurable,代表可度量的,指绩效指标是数量化或者行为化的,验证这些绩效指标的数据或者信息是可以获得的;A即Attainable,代表可实现的,指绩效指标在付出努力的情况下可以实现,避免设立过高或过低的目标;R即Relevant,代表相关性,指实现此目标与其他目标的关联情况;T即Time-based,代表有时限,注重完成绩效指标的特定期限。
在说到设定最重要的目标时,Amanda毫不含糊:设定公司最重要的目标是创业公司创始人最重要的职责之一。领导者的职责是说:我们要攀登珠穆朗玛峰。而团队的工作职责是找出攀登珠峰的最佳路径和对每个团队成员的要求。在一家处于初期阶段的创业公司,如果让产品经理去负责确定这些战略重点,这是不公平的。
把你的目标写在纸上也是为了避免在中途改变方向的最好方法。人们很容易会有这样的想法:“在昨晚的晚饭上,我听到我的朋友说起一个功能,我们产品要做这个功能,要将它作为我们的目标。” 每当我们发现在什么地方做得不错、取得了一定的成绩,我们就容易将其视为一种胜利。我们都希望自己是正确的。可能你最开始的时候设定的目标是:“我们的目标是通过一项新功能让新用户增加10%。后来你发现这项功能的重复使用率达30%。突然你会说:这是一个重要的胜利,因为这项功能获得了30%的重复使用率。” 你这时已经忘了最初设定的目标是什么了。其实人们是很容易忘了最初的目标的。
其实要想理解这背后的原因很简单。因为创业公司面临太多的压力了。公司CEO需要展示自己取得的一些成功。如果公司团队在持续扩张,公司CEO是需要给这些人发工资的,因此面临的压力可想而知。但是不管怎样,诚实地对待公司的目标是CEO的职责所在。
对于公司的最重要的目标以及用来衡量目标的指标,一定要做到尽可能的精确。比如:我们最大的目标是在X日之前将订单额做到Y。用来衡量成功的数字一定要做到清晰明确。
在紧盯着最初设定的目标的同时,这并不是说你可以对从数据中发现的其它一些东西视而不见。不过一定要把你的注意力集中在你最初设定需要完成的目标上以及想要获得的数据上。当你问数据工程师一个产品或功能的数据表现时,他们很多时候都会告诉你有关这个产品或功能的一系列有趣的事实和数据指标。不要把那些次要的指标和你的最高指标弄混淆了。不知道从哪里开始着手?不妨每个季度设定一个主要目标。考虑一下你这个季度的首要目标。你是否有一个明确的、可定义的指标来衡量这个目标的完成情况?
错误2:不考虑自身实际情况,盲目跟风做个性化
对于很多创业公司而言,个性化都是解决问题的一个方案,如自定义用户的主屏幕或者提供一些个性化推荐。这也是Amazon和Facebook这类非常成功的公司经常会采用的一种做法。由此可以说明,个性化是一个好东西,不是吗?
其实并不一定如此,尤其是在创业公司早期阶段。早期创业公司的创始人在做每一个决策的过程中,都必须要考虑机会成本。个性化功能是需要大量时间去开发的。从很多方面说,个性化功能也只是一个普通功能。个性化功能是一个你需要的的功能,还是一个对你的产品有意义的功能呢?
即使个性化功能对产品是一个有意义的功能,你可能依然需要延后一段时间去开发这项功能。要想让产品的个性化功能变得有意义、更高效,这通常是需要大量的数据来支持的,而很多早期创业公司是没有这多么的数据的。
我曾和一些非常早期的创业公司的创始人进行过沟通,他们当时只有可能不到100个用户,但是他们却说:“我们打算做一些个性化功能了。” 我内心就纳闷地想:“你想要个性化的是什么呢?更重要的是,为什么要做个性化?你要解决的问题是什么?” 通常他们做个性化功能的动机是,因为个性化是现在大家都在做的一件事,或是公司的某个董事会成员认为个性化是通往成功的秘诀。
我这么说,并不是说我是一个反对个性化的人,因为定制化的搜索结果也是HotelTonight用户体验的关键元素。但是,要想了解用户究竟希望获得什么样的个性化功能,这是需要分析大量数据才能知道的。通过对大量数据的分析,HotelTonight意识到,旅行者不希望仅仅基于搜索和订单历史给他们推荐酒店,而是希望能基于自己目前所处的情景来获得推荐。
也许我上次预订是一家豪华酒店,因为我那是在一个周末为了一个很重要的纪念日才预定这么豪华的酒店的。但是,如果我工作出差到纽约,这时如果预定豪华酒店,这时公司肯定是不给报销的。每周的哪一天、每天的什么时间,这都是在做酒店推荐的时候非常重要的考量因素。如果你在晚上11点预订的酒店,你可能并不介意酒店是否有spa,不是吗? 所有这些因素在做个性化推荐的时候都非常重要。如果我们在没有获得足够过数据的情况下就急于提供个性化的体验,我们是无法了解用户真正的需求的。
对于你是否该做个性化的工作以及何时开始做,这并没有一个固定的答案。Amanda的建议是,首先从一个目标开始,或是从一个需要测试的假设开始。看看在什么地方出了问题,这时个性化可能是一个解决方案。比如,如果HotelTonight纽约地区的用户转化率下降了,我们不知道其中的原因。这时,一个可能的解决方案就是通过一种更加个性化的方式给用户展示酒店。但是在做个性化的时候,最好要将做个性化所需的时间和人力成本考虑进去。
对于有些创业公司而言,个性化是与公司使命紧密相连的,因此需要尽早做一些个性化的功能。但对于其它很多公司而言,可能永远不值得在个性化上投入时间和精力。如果你做的是一款新的照片流应用,那么你应该尽早地做一些个性化推荐功能,因为它可以是你们产品的核心竞争力。如果你销售的是非常昂贵的B2B软件,这时可能永远都不需要做个性化推荐功能。
过度关注个性化是有巨大的机会成本的。因为一旦做一些个性化功能就需要占用很多开发时间,你需要在这中间进行权衡取舍。当你不把时间浪费在追求个性化的奇幻世界中的时候,你就可以将更多时间用来追求有更大成功可能性的更重要的增长机会。你的数据团队可以专注于回答那些关键性的业务问题,比如更好地了解驱动用户转化的因素,你可能会认为个性化能解决这个问题,即使它并解决不了。
除非你已经确定了你要解决的问题,否则不要因为很多解决方案看起来既廉价又吸引人就去随便尝试。
错误3:招聘一个专门的数据科学家
如果你认为你的公司需要招聘一个数据科学家来专门负责公司的数据分析工作,这时建议你三思而后行。在我看来,数据科学是一套技能的组合,而并不是一份工作。就好比我认为分析和对策是一套技能组合、而不是一份工作一样。在公司发展早期,团队中的每个人都需要有战略眼光,每个人都需要能够做数据分析。
Amanda以最近的一部电影《隐藏人物》(Hidden Figures)为例,这部电影讲述了美国宇航局早期任务背后的女数学家的故事。这些女数学家被称为“电脑”,不是吗?他们曾经是唯一致力于做复杂计算的人。但那已经不再是一份工作了,现在每个人都需要做计算,它已经成为通用技能组合的一部分了。这就是这个世界演进的方式。我认为数据科学未来也会沿着这条道路发展。更多的人应该能够承担起数据科学方面的工作职责,并且有能力通过分析数据来做决策。
想想有效的数据科学都需要哪些东西:需要统计学方面的知识、计算能力等。但是要想提出正确的问题并有意义地解答这些问题,还需要了解足够多的市场知识以及商业运作方式。数据科学所需的另一项关键技能是编程技能。然而,很多企业往往招聘那些只有统计技能的人做数据科学家,然后让其独立开展工作,这样他们就永远无法进入工作所需的业务环境。这种工作上的隔离使数据科学家无法了解公司运营的真实情况。这就会使得他们得出的数据分析结果和建议都太理论化了,和公司实际业务的相关性并不高。
我们之前犯过一个错误,也是很多公司都会犯的一个错误,就是招聘一个技术很高但却缺乏商业头脑的数据科学家。然后我们让这个数据科学家独立工作,让他研究那些数百万个我们必须要回答的用户问题。不管他的技术水平有多高,他都没有能够获得成功所需的工作环境和背景。他们没有时间或机会与工程师、产品经理或市场部门的负责人沟通,他们不知道要该从数据中找哪些东西,他们也没有机会去问正确的问题。
举一个之前HotelTonight的例子,我们公司的数据科学家曾经会经常过来告诉我说:“我们的最有价值的用户是那些在安装应用后两周内不转化的用户,最有价值的用户通常是那些在安装应用后的15到30天内转化的用户。”事实确实如此。但是,即使知道这一点,我们能做点什么呢?这只是一个有趣的事实罢了,对我们并没有实际的帮助。
与此同时,如果什么都考数据科学家,很多真正值得解决的问题可能都困在了漫长的等待中。因为大家都会排队等待数据科学家的时间,看他什么时候有时间解决自己遇到的数据方面的问题,而不是说:“我们是否能想办法自己解决这个问题,而不是只靠数据科学家?” 如果你能打造一个让每个人都有权力和能力去做数据分析的公司,那么你将会变得更加成功。
不要把注意力只放在在数据科学家这个狭隘的头衔上,而是要重点考虑一下你希望数据科学家能带来哪些技能。因为很有可能,你现有团队中的有些人已经具备了这些技能。有些人会说:“我雇不起一个数据科学家。”这是一种不善于思考的懒散表现。你团队中可能有人是统计学背景的,你公司里肯定也有开发者,此外,你公司里肯定也有一个有商业头脑的人,可能就是CEO自己。将这三个人聚在一起,他们所具备的知识技能组合是完全能赶上一个专门的数据科学了所具备的知识技能组合的。这样你就不用非要等着那个神奇的数据科学家出现来解救你了。
此外,创业公司应该再三思考自己是否有供数据科学家开展工作所需的足够多的数据。要做深入的数据分析,就需要有大量的数据。如果你创业刚刚3个月,只有几十个用户的话,这时你很有可能没有足够多的数据供数据科学家开展工作。
当你招聘了专业的数据科学家后,一定不要让他自己待在一个角落里独自工作。要让他参与到一些会议和讨论中来,这样他就能知道你是如何运用他的数据分析结果的。我现在开始反思我们第一次招聘数据科学家时犯的一些错误。当时那位数据科学家加入公司后,他就自己在那独立办公,和我们所有人都离得远远的。当你的团队成员了解了他们是如何为公司整体目标服务的时候,他们就能以一种更加明智的方式做好他们的工作。因此要让从事数据工作的人员走出他们的舒适区,参与到公司实际业务中去。
你始终都需要注重积累和学习工程技能、统计分析知识和商业头脑,并且支持那些想展示和发挥这三方面能力的员工。尤其是在你公司早期,你最好能够能招聘三名专家,让他们聚在一起做数据分析工具,而不是指望寻找一个数据科学家全才帮你解决所有这些问题。
错误四:追求那些最新的数据工具组合
新的工具总是会不断出现。但是最终,这些数据工具是无法确保你有一个完美的数据策略的。如果你输入的是垃圾,那你输出的肯定也是垃圾。一个工具能够吸收你发送给它的任何数据事件。但是定义这些数据事件和它们的含义的只能是你自己。你必须确保这些数据事件不会变化。
如果你运用得当的话,即使是最简单的工具也能够帮你有效管理数据。Amanda建议,每个数据团队要为他们所在的公司提供三样东西:
(1)一个中央仪表盘。这又回到了本文中说道的第一点。当你知道了你的核心指标是什么的时候,你就将这个指标放在中央仪表盘上,这样就没有人能够改变它。如果这个指标显示在仪表盘上最显著的位置,那么就没人会过来跟你说:“那不是我们的目标。” 你甚至可以用一个锁定的Google Docs文档来作为公司的中央仪表盘。这么做的目的就是让大家正在做的事有一个权威依据,让大家知道主要目标和核心指标是什么, 你还可以定期给大家推送仪表盘里的这些核心指标。
(2)可获取的数据。如果你希望团队中的每个人都有能力进行数据分析,那么你就需要让他们能够更容易地获得这些数据。对于营销团队成员来说,你需要让他们能获得营销归因方面的数据。对于产品团队成员来说,你需要让他们能获得转化方面的数据。对于工程师团队成员来说,你需要让他们能获得产品运行方面的数据。最重要的是鼓励员工亲自参与到与自己工作业务相关的所有环节中去。好消息是,现在有整整一代的人都是伴随电脑一块长大的,他们随时随地都能获得他们想要的任何东西。
(3)灵活的数据分析工具选择空间。选择一种思维方式比选择任何一种单一的工具要重要得多。可以让每个团队自行选择适合各自的数据工具。并不是只能选择一种工具。Amanda带领的数据团队用的是Looker,公司里的其他团队可能发现其他工具更适合他们做数据分析,他们就可以自由选择适合他们使用的工具。有人这样说:“如果公司里的所有人在做数据分析的时候都使用Looker这一款数据分析工具,这样不是更好吗?” 要知道,世界上没有哪款工具能满足所有的数据分析需求,Looker也是,每种数据分析工具只能满足部分需求,更别说满足用户的自定义需求了。这时强制全公司只使用一款数据分析工具显然是不明智的。不妨让各自团队选择适合他们自己的数据分析工具,不要强制。
你为什么需要像做产品一样来做数据分析工作?
Amanda无法预测下一个数据趋势什么时候会出现,但是她已经有办法确保她的团队不会被那些最新最耀眼的目标所干扰了:她管理HotelTonight数据运营团队的方法和她之前管理产品团队的方法是类似的。
在HotelTonight做产品副总裁三年后,公司联合创始人Shank想让他转去负责带领公司的数据团队。“当时我们已经到了这样一个阶段:大家对我们的核心指标是什么有不同的看法,他想要解决这个问题。在数据指标方面,我很快就发现了一些你在产品工作中经常会遇到的同样的问题:利益相关者太多,大家对于什么是最重要的这个问题有很多不同的看法。” Amandao说道。
刚刚说的是我发现的一些不好的方面,那对我来说好的方面是什么呢?我发现,数据团队面临的问题其实和产品团队面临的问题是差不多的。所以根据我之前3年多的产品团队管理经验,我能很快找到了解决数据团队面临的问题的方案了。
Amanda发现,她需要打造一个和她之前管理产品团队时所打造的类似的基础架构。“我们需要一个待办事项列表。我们需要一个知道解决方案的人。我们需要有人去和用户沟通,了解用户是如何使用数据的,他们想要的是什么数据。我们需要一个QA流程来确保我们不会改变数据。
首先,她要确保团队中有专门的数据产品负责人。这和在产品团队中每个产品都有专门的负责人一样。“我们团队中有一个很棒的数据产品主管。他走访了解公司里的每个团队,看他们是如何使用数据的。他还负责对数据工作进行优先级划分。此外,他每周都要和数据工程师团队一起制定迭代计划。” Amanda说道。
其次,团队要负责确保进入的数据是好的数据,为此他们使用一个严格的QA测试套件。“我们总是在后台监控和自动化数据,这样我们就不会在出现问题的三周后才发现问题了。数据每天都在变化吗?数据异常是否超出了界限?没有数据进来了吗?你需要从产品的角度来问这些产品行为方面的问题。
再次,文档至关重要。Amanda发现,在管理数据团队时,有一样东西比她在之前管理产品团队时更重要,那就是文档。要想清晰地定义目标,公司所有成员需要使用一套共同的词汇,她的团队负责定义每一个词汇的含义,从“营收”到“访客”,再到“用户”。比如,对“用户”这个词的定义。”只有做过搜索行为的才算是用户吗?如果有人只是检查了他们的订单,那是不是用户?是我们有对方邮箱地址的才算是用户吗?
数据分析工作的成功与否取决于这些细节,但是就这些术语的含义达成共识是很复杂的一件事。团队中需要有一个数据产品负责人的另外一个原因就在于,这个人可以深度走访每一个团队,确保大家在术语含义上达成共识。
最后,清理无用数据。这和在维护一个健康的产品时要定期砍掉一些无用的功能一样,维护一个健康的数据产品需要将一些无用的垃圾数据数据库中清理出去。否则可能就会有人利用这些无用数据得出几种不同的营收定义。
如果你的公司还很年轻或者说还很小,你可以采用这个策略。首先招聘一个能力很强的数据工程师,他既要关心商业,也要证明价值,然后让他来确定接下来该优先做什么。这个人可能必须同时肩负起几重身份,承担一些开发或分析的责任,从而让你知道花高价钱招他进来是值得的。此外,你还应该鼓励他像产经理那样去思考,并在工作中学习那些技能。
对于Amanda而言,有一个明确的迹象表明她的策略是正确的:“没有人再问数据是否是准确的了,他们可能不喜欢这个数据,但没人质疑数据的准确性。” 这种自信是Amanda用管理产品的方式来做数据工作的最大的回报。通过清晰的定义和良好的流程,她不仅让公司的目标更加明确,还让公司能够更有成效地开展各种实验。
原文链接:http://firstround.com/review/the-four-cringe-worthy-mistakes-too-many-startups-make-with-data/
编译组出品。编辑:郝鹏程。