品牌名称
中石油
企业规模
10000人以上
数见科技合作中石油:进行数据分析
459次阅读
客户介绍
中国石油天然气集团有限公司「简称:中国石油」是国有重要骨干企业和中国主要的油气生产商和供应商之一,是集油气勘探开发、炼油化工、销售贸易、管道储运、工程技术、工程建设、装备制造、金融服务于一体的综合性国际能源公司,在国内油气勘探开发中居主导地位,在全球 35 个国家和地区开展油气业务。2020 年,公司在世界 50 家大石油公司综合排名中位居第三,在《财富》杂志全球 500 家大公司排名中位居第四。
项目背景
1、多源异构数据打通难
中石油需要构建融合 Oracle、 MySQL、 PostgreSQL 等异构数据源到 Oracle 、HashData、Greenplum 的多条数据链路,自研难度较大。
2、自研产品表现不理想
中国石油自研了数据同步产品 DSB,采用代码方式实现数据传输链路,每个数据同步任务需要编制脚本,研发交付效率较低。没有图形化界面,任务状态监控等运维功能不直观,用户权限、安全等方面的管理功能不完善。
3、实时数据融合能力不足
中国石油需要实时将油田数据采集到大数据平台进行建模分析,自研的 DSB 只实现了定时数据同步,未能实现实时数据同步,实时数据融合较定时模式自研难度更大,稳定性、性能要求更高。
解决方案
1、多源异构
零代码部署后即可实现客户 Oracle、 MySQL、 PostgreSQL、HashData、Greenplum 等十余种数据库技术的打通,实现异构数据之间同步。
2、实时增量获取
通过 DataPipeline 解析数据库日志的方式,实现对 Oracle、MySQL、 PostgreSQL 的实时增量数据的准确获取。
3、可管理性
通过可视化管理页面和配置式构建数据链路,极大地提升了数据工程师的工作效率;运维人员通过可视化监控界面,及时查看任务执行情况,及时发现问题,提升了运维效率,降低了风险。
价值
1、降低研发成本
自研难度太大,耗时太长,成本太高。中国石油上线了 DataPipeline 后 ,极大降低了研发成本且可以立即投入使用,省时省力省钱。
2、释放实时数据价值
数百个实时数据任务为从生产管理到经营决策的各个部门,从勘探、开发、生产到作业的各类场景提供准确、可靠、一致的批量与实时数据,使生产管理及研究人员从日常琐碎繁重资料收集、数据处理工作中解放出来。
3、提升管理效率
实现了勘探开发数据的统一采集、集中管理与共享应用,极大地提升了勘探开发生产科研工作效率,为中国石油打造国际一流能源企业奠定了坚实的基础。
所在分类
大数据分析平台