中国移动总部集中经营分析系统——深度分析云助力中移动经营决策

项目背景 

深度分析云是中国移动总部集中经分系统的重要组成部分，负责历史数据存储与深度分析，用于汇集经分主数据仓库、B域、O域、M域数据，以及Hadoop云的互联网分析结果、采样数据，用以支撑各类开放式分析环境，合理分配数据空间、运算资源。数据分布采用更为合理的多层结构，构建数据和应用的生命周期管理机制，规划进行科学部署。

需求分析 

深度分析云定位于集中经分系统的历史数据存储与深度分析，在确保数据一致性的基础上，对外提供自助分析、深度挖掘服务的支撑。本次建设需求，重点包括：

元数据管理、数据质量管理、系统管理服务；

Sandbox应用的管理；

针对自助分析的各类数据挖掘，查询、报表、多维分析；

不良治理数据运算和分析展现；

与主数据仓库和Hadoop平台高效的数据传输。

解决方案 
集中经营分析系统由三个库构成，三个库分别为主数据仓库、GBase 8a MPP数据仓库、Hadoop云，各库通过独立的集群进行建设，三库之间数据通过ETL平台来进行调度和转移。

深度分析云是由GBase 8a MPP Cluster分布式数据库构成，集群节点数共计1186个，其中包括1期266节点个数据仓库节点，2期920节点；13.3PB实际入库，每日增量9.7TB，数据来源于全国31省上传的业务数据。深度分析云作为存储数据的平台，由以下四类数据组成：

来自B域、O域、M域的融合数据；

来自非结构化数据，即Hadoop云的互联网分析及汇总的结果；

来自自助分析提供的沙盒数据、采样验证数据等；

来自数据集市数据。

数据规模为“12+1”月明细数据。

MPP数据库集群组成的深度分析云，重点包含如下功能：

实现底层结构化、非结构化数据的轻度汇总，并在汇总数据基础上实现多维分析、趋势分析、TopN分析、原因影响分析和What IF分析等；

通过海量的跨域数据间的关联计算实现深度分析与挖掘，生成准确的用户画像；

自助分析查询能力；

提供数据集市应用；

借用MPP数据仓库的OLAP数据处理能力，生成数据沙盒（Data Sandbox）。

价值体现
自助分析：自助报表、多维分析查询实现秒级响应，解决大数据量查询效率低下问题，有效提升用户满意度；

动态扩展：系统可扩展能力强，支持集群动态扩展，且性能随着节点的增加而线性提升；

低投高效：GBase 8a MPP Cluster运行于低成本X86 PC Server，成本低廉，性能高效；

国产化：产品完全自主研发，国产可控，响应去IOE的发展趋势；

混搭架构支撑海量数据：通过分布式计算和存储以及Hadoop + MPP + 主数据仓库的混搭结构有效支撑海量数据。