华为合作亿信华辰：湖仓一体化平台助力IT数字化转型
客户介绍
华为1987年正式注册成立，总部位于中国深圳坂田，是全球领先的信息与通信技术（ICT）解决方案供应商，专注于ICT领域，坚持稳健经营、持续创新、开放合作，在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势，为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务，并致力于使能未来信息社会、构建更美好的全联接世界。2017年，华为排名《财富》世界500强第83位。
项目背景
在企业规模飞速扩张的今天，各类业务、应用系统全方位地覆盖了整个企业。应用系统从最初的满足用户需求，跨越到分析用户体验及用户画像，立志为全球用户提供最好的服务和体验。
基于此初衷，该企业各部门越来越重视运营这个模块，IT数字化运营的概念也逐渐浮出水面。数字化运营在中小型企业实现起来也许不会那么困难，但对于庞大且历史长久的华为来说必会大动干戈，数字化运营将面对海量的数据存储，企业级数据仓库和各业务数据集市的建设，以及如何在海量数据中挖掘分析出有价值的KPI。对于运营人员来说，最快、最准、最新的运营数据支持，往往能让他们事半功倍。
IT数字化运营所面对的困难：
1、海量数据的存储和处理引擎
2、企业级的数据仓库和数据集市的建设
3、数据处理的可拓展性（挖掘算法、自定义算法的支持）
4、运营页面的响应速度
解决方案
使用分布式大数据库产品湖仓一体化平台（下称PetaBase），代替了传统的关系型数据库作为主要的数据处理引擎。
挑战一：海量数据的存储和处理引擎
PetaBase数据存储基于Hadoop提供的HDFS分布式文件存储方式，支持关系型数据库和非结构化的数据导入，解决了用户海量数据存储的问题。数据处理使用impala内存计算引擎，相对于Hadoop生态中其他的计算引擎，他有着计算快，支持大多数SQL中的DDL和DML语句等优势。在本次华为数字化运营项目中共处理60多T的数据，其中单表最大数据量达到80亿条，3级ETL跑批只需4到6个小时即可完成。
挑战二：企业级的数据仓库和数据集市的建设
IT数字化运营系统共分为四层，分别是底层数据源，存储层，服务层和应用层。底层数据源包含多个业务系统的底层数据，来源于关系型数据库，Nosql数据库，文本数据等多种数据源。存储层通过PetaBase大数据平台进行搭建，在PetaBase中对底层多源数据进行汇总存储并分层处理，形成多层次数据模型，完成面向应用的数据仓库与数据集市的建设。PetaBase大数据平台为其他平台提供数据接口，为上层应用提供数据基础。
挑战三：数据处理的可拓展性
由于PetaBase的数据存储在HDFS中，Hadoop生态中有多种多样的数据处理引擎，并能支持用户自定义函数的扩展（数据挖掘函数等）。项目中有用到多种数据挖掘的方法，比如通过箱线图的算法来排除异常性能数据，然后取正常性能数据升序排序后的90%位置的数据作为性能值的一个度量，并通过用户自定义的函数来实现。
挑战四：运营页面的响应速度
亿信BI可以直接配置PetaBase为数据连接池。基于亿信BI的并行运算等性能优化手段结合PetaBase数据库的运算性能优势，目前IT数字化运营报表可实现5秒内响应这一效率要求。
价值
一、海量数据高效存储与运算
随着华为IT智能运营平台(eSee)承担的IT数字化转型的使命加强，eSee平台的底层数据覆盖范围和数据量呈指数级增长，单靠传统关系型数据库已无法满足要求，平台需要一套基于大数据架构的数据库承担底层数据存储计算工作，而PetaBase的出现正好弥补了华为IT运营平台的不足，并且PetaBase与亿信BI同出一脉，天然的融为一体，让PetaBase对比其他大数据架构平台有更多优势，在项目中应用起来非常便捷。
当前PetaBase已经承担华为IT智能运营平台(eSee)底层大部分的数据存储以及计算处理工作，处理能力得到客户充分认可：
在Saas服务层，PetaBase底层处理的数据已覆盖600+IT产品、80万+IT用户的用户行为、产品质量以及应用本身的业务量的数据，这些应用数据计算处理后被广泛用于单产品的数字化运营、全球IT服务的5s度量、产品经营分析、用户服务画像等重要的业务场景中。通过运营洞察各产品在网运行情况，驱动产品自我改进；支持撑各类IT用户的ROADs体验落地；发现业务流量的高地，支撑流量低的应用"日落"。
在Paas平台层，PetaBase在平台底层支撑华为云服务的百万级VM对应资源的性能容量的运营数据的处理，通过资源使用率的度量，帮助业务优化资源管理和分配，让云资源能及时合理使用和释放，提升云资源使用效率。
在Iaas基础设施层，Patabase底层承担华为全球5大中心和RDC、SR数据中心的机柜、电力、能耗数据的处理工作，同时支撑着全球10万+IT后端资产的性能容量的运营数据的后台处理，处理的数据通过前端亿信BI给各业务场景构建的运营界面，助力华为IT的资产使用效率的提升、降低IT基础设施的成本投资，使能华为IT数字化转型成功！
二、与亿信BI完美结合
在内部要求全球IT服务页面5s达标，对于IT智能运营平台(eSee)而言这也是一项必须完成的目标。如何让报表计算能在5s内得到响应，这是一项不小的挑战，尤其是在数据下探分析的时候，因为明细的数据量很大，计算结果一般很难在5s得到。但是如果把这种无法做汇总的大数据的计算放在PetaBase里面计算情况就不一样了，通过项目的实践证明，将报表的明细查询放在PetaBase里进行，之前无法达到业务要求的报表，通过优化都可以达标。
完成数字化运营后，基于已构建的企业级别的数字化平台，实现物与物、物与人之间的互联，向智能物联网(IoT)华丽转身。
