亚马逊数据中台日均处理数万亿字节，“大中台、小前台”如何助力企业转型？

编者按：本文来自微信公众号“德外5号”（ID:dewaiwuhao），作者 果蕾，36氪经授权发布。

自去年开始，数据中台的概念逐步进入人们的视野，2019年也被称为数据中台元年。简单来说，中台即公共服务平台，而数据中台就是将公司各个业务的数据整合，并根据前台业务需求对数据进行深入加工，从而更快速且精准地服务用户。

在美国，与之类似的概念是“数据仓库”（Data Warehouse）。这一概念是由W.H.Inmon于上世纪九十年代提出的，主要是企业用于分析数据及出报告的系统。

具体来说，数据仓库是一个容纳多个不同源数据的中央存储库。但数据存储及处理能力则高于此前的数据库技术，因为它不仅能同时存储当前及历史数据，还可以透过星状或雪花状资料存储架构，在大量的数据中进行一系列有序且快速的挖掘及线上分析处理，并生成数据分析报告以支持管理者的商业决策。

数据量剧增使“数据仓库”受限

但到了操作层面，随着数据的指数级增长，以一个中型企业为例，平均每两年，其数据的存储量就会翻倍，而数据仓库的数据分析处理能力也将会受到限制，也就不可避免地变成了企业集中存放数据的大数据库。

图注：数据仓库的概念产生于上世纪九十年代，旨在为企业提供业务相关的数据分析报告以支持企业的发展决策

相比之下，数据中台则更为灵活，它是一个刺激企业从数据到业务及制作过程的中间层，不仅可以如数据仓库一样海量存储数据，还能挖掘、分析数据，直接服务于前台业务。

这里的前台是指企业的各个前端服务系统平台，如门户网站、社交媒体平台、手机APP等；与之相对应的后台则是指由各个业务管理系统组成的管理企业业务的后端平台。

数据中台则处于企业前台及后台中间，将企业各个业务部门的所有后台数据整合存放并组成一个大型数据库，避免了各个部门的数据重复建设的现象，然后根据前台指令针对性地将各种不同的小数据集从大数据库中抽取出来服务于前台业务。

它的优势在于，各项数据在挖掘及计算处理的过程中会被视为如积木般的单独个体，并可以根据指令被快速、随意排列组合。简单理解，这个数据平台就是连接用户、服务平台，以及海量数据的中控台，对企业而言，一个完善的数据中台可以随时快速地满足前台用户服务的需求，但更重要的是，它避免了此前企业中数据资源浪费、重复建设，以及难以持续发展的问题。

举例来说，如果一家公司有类似的多项垂直业务，这些不同的业务虽然会有一些差别，但是核心的系统数据及流程都会比较类似。如果这些业务部门进行技术的独立开发，最经常出现的就是数据重复的问题，且开发及人力成本的开销也会增加，但一旦引入数据中台就会使得企业整体运作更“省时、省力、省钱”。

数据中台可避免资源浪费及重复建设

图注：数据中台更为灵活，最大程度上避免了不同部门数据重复建设及资源浪费等问题

“数据中台”这一概念最早是由国内阿里巴巴提出的。据悉，这一概念的提出深受芬兰一家游戏公司超级细胞（Supercell）的经营模式的影响。 

据悉，超级细胞是一家位于芬兰赫尔辛基的电子游戏开发商，成立于2010年。创始人兼首席执行官Ilkka Paananen曾表示，非常了解人员赘冗对企业发展的伤害，所以该公司在发展之初，为了摒弃运营中不必要的内部消耗，就将传统庞大的公司架构拆分成由多个小团队组成的“细胞”结构，即5至10人组成的微型团队。

每个“细胞”都有不同部门的专家入驻，并保证至少有一个数据科学家。该公司最出名的游戏是《部落冲突》，这种大型游戏的制作团队也不过12人，包括1位项目负责人、1位客户端程序员、3位服务器程序员、2位美术设计师、1位QA、1位数据分析师、2名社区经理以及1名内容营销人员。

很难想象，公司的每个游戏都来自于这样一个独立微型团队，且公司内部的全部数据对这些团队都会保持完全透明，这样公司及员工的整体创造力也都得到了前所未有的激发。

以该公司的第一款游戏为例，这款实时多人角色扮演的网络游戏Gameshine在公司成立仅一年后就正式发布，在2011年，该游戏发布的第一年，月活跃用户曾超过50万人次，这对一家新兴的游戏公司来说实属不易。到了2016年，部落冲突游戏的每日活跃人数已经上升至千万体量。（数据选自Supercell网站）

亚马逊微服务与数据中台不谋而合

美国虽然没有确切的“数据中台”的概念，但一些大型科技或数据公司，如谷歌、推特以及亚马逊等都在进行类似概念或者技术的开发，并正在积极实践。以亚马逊为例，2006年发布的AWS（Amazon Web Services）服务就采用了类似的概念。

其CTO Werner Vogels解释称，随着亚马逊的发展，臃肿的数据库大大限制了服务的速度及敏捷性。特别是每当公司要推出新的业务或者服务时，员工就不得不重复编写代码或者是在大量的数据中检索、修改代码，这是一个难以想象的、非常漫长且复杂的协调过程，同时也会给公司带来一系列严重问题，对员工本身及公司财政都是一种极大的消耗，而且极大限制了亚马逊推进大规模创新的能力。

所以考虑到整体式架构的局限性，亚马逊根据实践，逐步提出并完善了一种微服务的架构模式。在这种框架下，每项服务将只负责一项功能，并由对应的益智开发团队独立运行管理，这样团队就可以针对该服务的特性以及用户需求对其进行独立开发及运作，独立项目扩容难的问题也迎刃而解。

同时公司也不再需要花费重金去维持一套庞大且臃肿的整体数据库。据悉，在这种框架下，亚马逊每天可以同时处理数万亿字节的数据。（数据选自亚马逊网站AWS服务说明）

“细胞”间通信互联同样重要

但与数据中台不同，这个微服务的概念不仅仅强调服务之间的独立性，更重视建立各个微服务之间相互通信互联的方式，即保证不同业务间的数据发送，包括实时处理的数据以及其他日常数据，从而在公司范围内加强服务网络的可见性，同时也使得各个业务或者服务能够根据自身的需求择取最优的数据排列、集成流。

目前，阿里巴巴提出的“大中台、小前台”以及数据共享的概念已成为互联网等多种类型企业的数字化转型模式。继数据库、数据仓库、数据平台之后，可以预见，数据中台是下一个企业减负运行的增长点。

如今在国内，如阿里巴巴、腾讯、滴滴等公司都开始对诸多业务进行系统统一规划建设，从而在控制成本的情况下大幅提升前台服务能力、完善用户体验。但对于更多公司来说，目前数据中台还停留在理论层面，仍有很多需要考量的问题。对这些公司而言，更重要的是寻找更适合自己的中台、活用数据中台，以更好地支撑自身的服务业务。

转载引用声明：

请原文转载或不加修改地引用文中数据、结论及数据说明，并注明来源。除此之外的任何自行加工与解读均不代表CTR观点，对由此产生的不良影响，CTR保留诉诸法律的权利。