ETL工具在银行信息系统中的重要作用

1.OLTP数据库

OLTP是面向交易的处理型系统，银行绝大部分业务系统均属于此类。通常每笔交易处理的数据量不大，处理逻辑和数据格式固定，但是其对性能、多用户事务并发交易一致性、安全性、可用性等要求极高，目前使用最广泛的是关系型数据库。对于互联网或移动应用，部分功能采用非结构化数据库存储。本文篇幅有限，不对OLTP技术细节过多阐述，仅就目前在银行中所采用的联机交易系统数据库进行简单说明。

银行中普遍采用的联机交易数据库为关系型数据库，主要代表为OracleRAC，DB2，Sysbase以及SQLServer等，前两者居多。企业级数据库可以容易地构建大型的业务系统，具备良好的伸缩性，支持各种异构平台和操作系统。提供高层次数据可用性、完整性、安全性、可恢复性等银行业务必需的关键能力。

2.数据仓库(www.xing528.com)

数据仓库是银行精细化管理和科学决策的基础，是数据架构的核心支撑平台之一。随着市场环境的快速改变，银行对分析决策性需求越来越多。数据要求按照不同的主题及维度提供给产品、客户、分行、审计、风险等部门进行决策。目前在银行采用的主流数据仓库均采用Share-nothing的架构，数据和计算能力可以水平的扩展。在中等及大型商业银行主要采用这种架构，产品平台以OracleExadata、Teradata、IBMDWE为主。

为了实现跨系统的数据集成，可以建立全行级的数据整合平台。ETL工具是数据整合平台的核心。银行的数据来源众多，由于各类数据来源各异、格式不一，为了高效访问、共享、查询、搜索多样化数据，银行需要对全行数据信息进行加工处理，一般通过ETL过程进行数据的抽取、转换、装载，并将结果导入到数据仓库。ETL工具要能够整合多个异构数据源，并且把复杂的数据转换图形化、简单化，实现大数据量的并行、高效处理，从而满足业务管理的需要。另外，数据整合过程中的数据质量控制和元数据管理也是非常重要的内容。目前在商业银行中广泛使用的ETL工具包括Datastage及Infor_- matica。

随着银行对分析决策的时效性要求越来越高，T+0的增量数据同步，甚至是实时数据处理的需求越来越旺盛。常用的增量数据同步技术是通过监控源端的数据日志变化，解析出增量数据，随后传输到仓库端重放，其时效性可以达到分钟级甚至秒级。可以广泛应用到实时的业务预警，准实时营销场景中。但是源端数据抓取会对业务系统产生一定压力，所以需要权衡采集的频率，通常可以采用在源端备库采集的方式减少压力。目前在银行中应用较广泛的软件平台包括IBMCDC、Oracle Golden Gate等。