品牌名称
财通证券
企业规模
1001-5000人

解决财通证券的数据跨网传输难题,提高数据采集效率

281次阅读

财通证券有限责任公司总部位于中国杭州,其前身是成立于 1993 年 5 月的浙江财政证券公司。公司经营范围为:证券经纪,证券自营,证券资产管理,证券投资咨询等,截止 2017 年 6 月末,财通证券共设有 113 家证券营业部,其中 95 家分布在浙江,占比 83.9%。2018 年,财通证券将 “金融科技发展战略” 定为公司战略,以打造一流的数字生态证券作为战略目标。

 

面临挑战

数据安全

核心交易系统部署在核心区,而下游风控、反洗钱、经营分析等系统部署在非核心区,核心区与非核心区之间存在网络隔离,需要通过跳板机。

难以灵活应对数据源变化

数据源发生变化时,需要修改任务的配置和脚本,灵活性差。且核心交易系统在夜间完成数据清算后,需工程师手动同步数据,费时费力。

缺少监控预警

需要依赖下游用数环节判断数据是否存在异常,缺少过程监控和预警。

 

解决方案

实施跳板机

适配安全隔离网络架构,自动完成跨网的数据采集、中转、处理。

智能分区

识别清算数据表的日期变化,自动触发数据同步任务。

灵活取数

针对无主键数据,可灵活设置过滤规则,同步指定的增量数据。

客户价值

 

解决数据跨网传输难题

通过跳板机的方式,让跳板机承担数据中转服务,整体采集的控制端存放在非内网环境,确保出现问题可以在外部环境中进行直接管理和问题排查。

 

提高数据采集效率

采取批量化的采集方式,同时对同个系统的几十几百个表一并采集,使用老版工具,几百张表的抽取配置需要花费 50 个小时,现在基本可以在 5 分钟内完成,大大提高了数据采集效率。

 

监控预警,保障下游用数不受影响

之前,使用传统工具的财通证券最高能消费掉系统生产备库 50% 的性能,单库每秒的流量条数接近 10 万,易触发上游系统的预警。DataPipeline 定义了采集条数和采集流量的双重阈值,保证了企业应用的安全性。