自适应查询加速引擎助力银行实现敏捷高性能数据洞察

案例背景

据麦肯锡调查结果显示，75%的企业无法对其掌握的数据进行深入利用。究其原因，多数企业欠缺强大的敏捷数据运营工具，无法将“数据驱动决策”的思维融入各个部门。

某国内最早开始布局数据平台的头部股份制银行所建设的统一商业智能平台近年来逐步支撑了行内公金、投金、零售、私行、财会、运营、风险等条线的数据分析产品及分行部分数据应用建设，在推行“业务自助用数”方面取得了显著成效。

客户痛点

根据最新统计，该银行全行BI分析产品用户月活已达到20000+，月请求量突破100w+，报表突破3000张，业务自助制作报表已经成为主流。

然而随着数据量和数据需求的日益增长，分析师自助制作的数据分析报告普遍面临着报告首屏3s内打开率不高、无法针对重点报告定制化性能优化、重点及热点报告访问性能难以保障、性能优化强依赖人工，难以支持动态变化的业务需求、优化后维持时间较短等诸多挑战，进而制约了敏捷业务运营效能的提升——通过分析发现，80%以上性能不达标的查询请求，是因为无法命中最佳CuboID。

解决方案

基于上述问题，Aloudata对该行分析平台架构进行了升级，在数据源与分析报告之间加入了Aloudata数据加速引擎，该引擎通过基于场景端数据查询需求对数据源进行智能物化加速的能力，实现了对报告查询性能的自适应优化，大幅提升了VIP报告中热点查询的性能，加速后平均耗时明显低于加速前；同时让业务部门摆脱了报告制作、性能优化等工作对专业技术人员的强依赖。

方案整体示意图如下：

如上图所示，Aloudata数据加速引擎是介于数据源和分析软件(如Tableau等)之间的加速层，Aloudata数据加速引擎通过观察场景端用户行为，智能生成加速方案，从数据源中抽取数据进行预计算物化加速，进而减少即席查询过程中的计算量，实现了查询性能提升；在2.0版本中，Aloudata数据加速引擎通过直连数据仓库，基于内置的高性能多模数据分析引擎，进一步降低了报表制作及性能优化对IT人员的依赖和架构复杂度，最终实现了敏捷、高性能的数据洞察体验。 

方案价值

基于上述方案，项目组在行内选取了100张VIP报告进行了查询加速，通过对比发现，加速后平均耗时较加速前大幅降低，平均性能提升78.25倍。

图：100张VIP报告加速前后查询性能对比

在单条SQL查询方面，对总共3486条加速后的SQL查询耗时进行统计分析发现，99.2%的SQL查询都在1秒内，其中91.19%的查询在250毫秒以内，而加速前原数据源有81%的查询大于1秒，整体效果提升非常明显。

图：3486条SQL查询耗时实测数据

在金融业落地新基建、加速数字化转型的今天，行业对数据基础设施的要求也在不断提高。数据基础设施之于金融业，已经不仅仅是业务的基础技术支撑，而是逐渐升级为驱动金融业务创新转型的平台和底座。高灵活高时效的分析场景是数字化经济的必然趋势，更是金融业打破组织边界、体验数字化营销魅力的必要前提。随着业务和需求的不断发展，在支持更多场景的同时降低人力投入，是自适应加速引擎未来迭代的方向。Aloudata将在产品和技术上不断精进，积极推动金融行业信息基础设施的转型升级，在保证安全、稳定、可靠的同时，致力于提供快捷、高效的处理能力，以更好满足金融业务未来的发展需要。