农发行：数据分析应用架构设计成功案例

方案概述

根据中国农业发展银行信息化建设“十二五”规划，在“十二五”期间，要对业务经营数据进行梳理，以保证数据的一致性和准确性为目的，实施数据质量工程；以数据交换平台为基础，建设数据仓库；到2015年末，实现经营和管理数据在全行范围的共享，以数据仓库为基础，推动建立面向主题、面向市场、面向决策、满足内部管理和外部政策要求的智能应用，力争形成全行完整统一、各有侧重的决策支持平台，为经营管理和客户服务提供基础信息和决策依据。

为将不同的业务报表集中到一个统一的系统框架下来，并为将来的简单业务报表提供快捷的定制和实现手段，农发行在2009-2011年间，完成通用综合报表平台的建设和省行推广，初步实现经营管理数据的集成和共享。

到2012年初，综合报表平台已经上线使用近三年时间，系统完成了初步建设目标后，随着报表应用、使用用户、数据量的迅速增长，系统也暴露出了一些问题，主要有：

1．ETL性能不理想，数据抽取转换加载时间过长；

2．各个业务部门使用平台制作报表难，主要表现在难以理解数据模型上；

3．数据量增长过快，在第一次优化前，数据已呈现爆炸式增长的趋势；

4．仍然存在综合业务系统与信贷管理系统数据不同步的问题；

5．数据及时性不能保证，导致有些时效性要求高的业务部门无法放心使用报表平台。

项目建设概况

为了解决以上问题，保障系统的科学性、先进性、高效性、易用性，更为了全面夯实农发行数据分析应用侧的技术架构，从2012年中到2014年初，于行内发起了更大规模的综合报表平台升级改造项目。

经过历时五年，总共两期项目的建设，农发行数据应用体现形成了一个较为完整的技术体系，囊括了数据仓库、分析应用、数据管理、数据治理、数据外围服务等范畴。

项目建设概况：

1、根据金融行业数据建模模型，建成了一个囊括会计核心系统（CBS），信贷系统（CM2006），外汇系统（EE）和债券系统（BOND）四大主要业务系统所有业务分析数据，并完全记录其历史变化信息的数据仓库，包括ODS层、整合层、汇总层、应用集市层；

2、综合报表平台以数据仓库为主要数据源，实现了各报表应用的数据同源、同构，统一数据口径；

3、建立了一个包括“数据采集模块、展现分析模块”两大模块的分析应用综合报表平台

4、优化ETL性能，引入调度平台和优化各ETL作业，对数据仓库中飞速增长的业务数据进行有效的生命周期管理，大大优化了ETL性能，解决数据抽取转换加载时间过长的问题。

5、建设各面向业务应用的数据集市，数据集市中的数据主要是概括级面向业务主题的数据，属业务人员容易理解和使用的主题模型，便于业务人员使用综合报表平台自定义制作报表和进行各类报表展现分析；

6、综合报表平台中对会计报表专门设计了"会计指标库"，通过定义会计指标所包含的科目、科目的属性、条件以及会计指标的启用和停用时间来满足会计相关报表的设计；

7、亿信BI可与i@Report无缝对接，不仅能够通过i@Report从亿信BI取数，实现采集数据的初始化，还可以将i@Report采集的数据在亿信BI进行展现分析，前者能够大大减少业务人员的补录工作量，后者通过i@Report上报的数据不需要做任何ETL处理，即可通过亿信BI进行丰富多样的统计分析；

8、i@Report提供了从报表设计、报表发布、数据填报、数据审核、汇总上报和审批流程一整套解决方案，从报表定义到数据应用这一系列工作流程都是通过该平台完成，无需人工逐级传递，减少了许多中间环节，从而帮助农发行提高数据采集的效率，缩短数据采集周期。

项目成果

截止2015年，农发行综合报表平台已经完成以下几方面工作：

建成了一个囊括主要业务系统所有业务分析数据，并完全记录其历史变化信息的数据仓库，包括ODS层、整合层、汇总层、应用集市层；

建成了一个包括“数据采集模块、展现分析模块”两大模块的分析应用综合平台，并在此基础上，完成了多个业务部门共十四套报表应用的建设，解决内部管理和外部监管要求；

完成了数据抽取、转换、加载的基础技术体系建设、夯实，实现了数据处理效率的数量级优化，实现了智能调度、均衡负载/灾备的建设；

完善了数据治理体系建设，完成了元数据、数据生命周期、数据标准、数据质量体系的建设；

完成了30个区域数据/应用中心建设，实现了数据中心对外数据服务建设，完成了数据动态传输、应用版本同步等辅助系统建设。

报表应用层面，在整体架构的基础上，实现了面向9个业务部门的14套报表用，并且应用的数量仍将快速增长，形式将更丰富。