中国招商银行审计系统——高效提速降低成本

273次阅读

项目背景

招商银行原有审计系统是“小型机+磁阵”架构。该系统面临数据加载时间长、审计模型运行和用户查询速度慢、并发用户操作宕机、系统维护和扩展困难等问题，急需采用新技术进行改造，以满足审计业务的需求并支持更大的数据量。

需求分析
支持招行全部的审计业务数据，面向全国范围内的审计人员使用，要在股份制商业银行中处于领先地位；

要求数据加载和数据处理能够快速响应，亿级数据的加载和表关联操作要在分钟级时间响应，基于大数据的统计、分析及聚合计算要求快速响应；

要求系统要有良好的可扩展性；要求并发用户数超过100个。

审计人员定义模型，根据模型动态生成SQL语句，系统要支持这些普遍含有while循环、临时表和join关联的动态SQL。

解决方案

本项目采用基于X86 PC Server + Linux的GBase 8a MPP Cluster建设方案替换原有系统，构建以列存储、智能索引、高效压缩、高可用安全组和分布式并行计算为核心技术的招商审计系统，可管理TB级结构化数据，支持10年的历史数据审计。

一期建设集群20个计算节点，2台加载机；二期新建集群20个计算节点，2台加载机，新建10台ETL数据分发集群；三期新建集群20个计算节点，2台加载机。三期扩容后需要处理的数据量为300TB左右。

新规划后的审计系统将原有2套20节点集群扩容至40节点，10节点ETL集群扩容至24节点，再加上原有的20节点集群，总共搭建了4套共124节点的GBase集群。支撑的数据总量为520TB。总行审计、分行审计、中小额企业审计都在大集群中进行处理，通过资源管理进行隔离，保证互不影响，保证处理的效率。系统架构图如下，集群系统由100个计算节点，24台ETL，6台监测机和万兆交换机组成。