数据存在的意义就是业务价值。但是随着时间的推移,数据业务价值密度会不断降低,从而与数据的存储和处理成本不成比例。因此,按照数据生命周期对其进行归档和消亡处理就是数据在逐步失去应用价值之后必需的操作流程。
1.数据生命周期定义
面对市场的激烈竞争和信息技术的飞速发展,银行信息化建设呈现出了“数据集中化、业务综合化、管理扁平化、决策科学化”的发展趋势。信息在现代化商业银行中与市场、资金、人才并列为最重要的资源之一,占据着越来越重要的地位。信息对银行而言已经成为对外服务的基础,科学管理的保障,正确决策的前提和有效调控的手段。
能否拥有及时、准确、全面的信息已经成为衡量一个银行是否具有发展潜力的重要指标。银行信息管理涉及信息资源的采集、存储、加工、处理、提供等工作进程。这其中,信息存储起着基础性和决定性的作用。
数据生命周期管理就是指数据从产生、处理、分发、使用、存档直至最终消亡的过程中,根据数据所处的生命周期阶段采取不同的存储处理策略,从而在有限的预算下充分利用现有的存储资源,更有效地管理好和利用好数据,保障数据价值的最大化。数据生命周期过程包括以下几个阶段:
1)创建:实际记录的建立。
2)更新:记录的修改。
3)分发:数据移动到其他系统或服务。
4)存档:数据保存在逻辑或物理存储中。
5)销毁:数据被物理删除。
数据一旦产生,就必须进行合理的存储和管理。通常的存储方式可以分为在线存放、近线存放和离线存放,如图4-14所示。
这三种存放方式意味着访问速度的不同,存储成本的不同和存储容量的不同。在线存放(On-line Storage)的数据访问速度最快,但成本较高,适合存放相对较小容量的数据;近线存放(Near-line Stor-age)的数据访问速度居中,成本也居中,适合存放中等容量的数据;离线存放(Offline Media)的成本最低、数据访问速度也最慢,但其可存储的数据容量却可以很大。
图4-14 数据归档策略示意图
鉴于上述不同存储方式的差异,平衡考量存储成本、用户访问速度以及存储容量要求,通常的数据存储策略是:只有当前最普遍被访问的数据保留在在线存储当中;不经常访问的数据应该被保存在近实时的介质中(如光盘库);而处于静止状态的不活动数据存储在离线介质中(磁带、光盘等)。
当然,随着技术的进步,数据的存储策略也在发生变化,例如使用大数据技术,就可以以接近于离线存储的成本,在线保留更多的历史数据,便于用户访问。
2.数据归档内容
(1)数据归档的需求驱动 近几年,随着金融改革的不断深入,内外部监管和信息审计对数据归档提出了更高的要求。面对着来自内外部监管的压力,频繁的信息审计和账务调查要求,银行系统需要具有快速提供历史归档数据的能力。这些都对银行数据生命周期管理和在线数据保存周期提出了新的要求。
一般而言,数据存储周期策略制定主要来自于3个关键的需求驱动:一是业务的需求;二是法规的需求,例如审计与投资者情况披露;三是基于历史数据,为客户提供额外的服务。
1)业务需求。业务需求是指,业务部门为了满足业务运营的要求,或者为了满足业务分析的要求,需要保存一定长度的历史数据。例如,核心业务系统需要保留一定的历史交易明细数据,以提供一段时间内的明细数据查询服务。数据仓库需要保留更长周期的历史数据,以提供客户信用分析、经营管理趋势分析等服务。
2)法规需求。法规的需求主要来自于金融监管部门或国家相关法律法规的要求。下表是国外对于数据保存周期的相关法律法规要求,包括BaselⅡ(巴塞尔二号协议)、BaselⅢ(巴塞尔三号协议)、SEC17a(美国证券管理委员会SEC的第17a条法案)、Sarbanes-Oxley(萨班斯·奥克斯利法案),见表4-3。
表4-3 国外法律法规对数据生命周期策略的约束
从表4-3可以看出,西方国家对于数据保存周期的相关法律法规要求非常严格,其处罚措施也相当严厉。
在国内,目前对于数据保存周期的法律法规要求,主要来自于以下几部法律法规:
①《中华人民共和国反洗钱法》(2006年颁布)。
②《中华人民共和国电子签名法》(2004年颁布)。
③《中华人民共和国商业银行法》(2003年修正)。
④《中华人民共和国会计法》(1999年修订)。
⑤《中华人民共和国档案法》(1996年修订)。
⑥《财政部、国家档案局关于印发《会计档案管理办法》的通知》(1998年修订)。
⑦《商业银行资本管理办法》(2013年1月1日起施行)。
表4-4是上述法律法规中对于数据保存周期的相关要求。(www.xing528.com)
表4-4 国内法律法规对数据保存周期的要求
(续)
3)增值服务。第三个关键的需求主要来自于银行为客户提供额外的增值服务。例如,国外的税务机关对税收的追溯期限为7年,而银行的交易明细数据是很重要的税收证明依据。为了配合客户在必要的时候提供相关证明,银行一般会将重要的历史数据保留7年以上,一方面可以提高客户的满意度和忠诚度,另一方面也可以为银行提供一定的手续费收入。
虽然目前国内对于银行业的数据保存期限没有专门的法规要求,相关的要求间接来自于财政部和国家档案局发布的《会计档案管理办法》,但是对于各家银行来说,都需要结合银行内部的业务需求和服务理念,以及行内的数据环境现状,在满足国内相关法规要求的基础上,有必要时参考西方国家的实践,权衡成本与收益,决定适合自身的数据保存周期策略和管理流程。
(2)数据归档的经验法则 在设计金融业(特别是银行业)数据保存周期策略时,最常用的经验法则是13个月规则、5年规则和7年规则。
1)13个月规则:这个规则是确保企业所维护的数据集至少有一个完整年度的数据周期,以便能够看到一个完整年度的数据,这通常是数据保存周期的最低要求。但是,对于许多随着时间扩展的数据条目(例如财务数据),往往还需要存储上一年度全年数据,再加上当年的全年数据,这时往往需要设置25个月的数据存储周期,从而能够实现2年内的数据分析,给出一个完整的、周期性的数据视图。这个规则主要应用于内部管理的数据使用,受业务使用需求驱动。
2)5年规则:这个规则主要来自于巴塞尔协议对银行计量信用风险资本时的相关数据存储周期要求。银监会要求新资本协议银行从2010年底起开始实施新资本协议。商业银行应采取内部评级法计算信用风险资本要求。银监会鼓励商业银行实施高级内部评级法。内部评级法建立在精确计量分析的基础上,对数据质量、完整性和历史观察期有明确要求:
①基本内部评级法:具备5年以上的历史数据来估计并验证违约概率。
②高级内部评级法:必须有7年以上的历史数据来估计违约损失率。
因此基于巴塞尔Ⅱ协议的要求,银行至少得保存5年相关的信用风险相关历史数据才能符合监管要求。
3)7年规则:7年经验法则适用于某些特定的数据主题领域,一般是出于监管法律法规的需求驱动,或者是遵循相关的国际惯例,7年经验法则也适用于经济周期和信贷周期的分析需要。
①用于法规报告和投资者披露的数据至少在汇总级别保留7年。虽然在中国这些规则目前并没有明确要求,但是那些在中国具有国际参股的银行,应该使用国际性的惯例来满足未来可能有的要求。
②所有GL总账和财务细节数据(通常也包括HR数据)保留7年。这通常是用于长期的业务规划和预算趋势分析,或基于审计和税务法规的要求,以及健全内部管控等原因。
③所有亏损数据特别是信贷亏损数据保留7年。这既是为了满足监管法规的要求,同时也是为了用于确认内部管控模式是否有效。对于申请信用风险内部评级高级法的银行而言,是监管的必须要求。
④通常客户记录也需要保留7年。这一点包含在银行的监管法规要求中,例如前文提到的“反洗钱法”。这类数据有时候如果不需要在线时可以用磁带存放以节约再现存储空间。
⑤对于商业银行的数据常常保留7年,这是由于商业银行数据具有重要的交易处理价值,受经济周期的影响,同时,商业银行数据的数据量较小,但是价值非常高,因此有非常高的成本收益。
⑥用于计划编制和预测的数据,例如余额、客户数量、财务数据、收入和收费数据等保留7年以上(如果成本不允许通常是3或4年数据),这些数据将显示趋势走向。通常计划编制和预测需要的是每月的汇总数据,而不需要过于详细的数据。
(3)数据归档策略建议
1)存储设备分类。一般而言可以将存储设备分为如下几种类型:
①在线存储,指数据以生产应用系统可直接访问的形式保存,例如,各种类型的数据库中的数据。该类数据通常保存在高端存储设备中,如各类高端SAN设备等。
②近线存储,指生产应用系统可通过专用工具间接访问到的、经过转换后的数据存储形式,例如基于Hadoop架构的存储形式,该类数据通常保存在性能稍差些的存储设备中,如各类中端SAN设备等。
③离线存储,指通过文本文件等形式保存的数据,如果生产应用系统需要访问这些数据时,要先将这些数据恢复到在线存储设备中,然后才能通过生产应用系统访问这些数据。通常这些数据存储在各类磁带库中。
2)归档策略(见表4-5)
表4-5 数据生命周期归档策略定义
3.数据消亡
不具备任何价值的数据,将进入数据的消亡处理。数据消亡的过程中涉及的技术领域包括:
1)数据是否允许被消亡,应该遵循相关法律法规的约束,保证信息并不是随意被消亡的。
2)对于电子化数据信息,消亡并不是删除那么简单。按照磁介质的记忆能力,如果需要彻底地进行数据消亡,还需要特殊的技术处理,否则容易造成信息流失。
3)对于纸质化的数据信息,消亡处理相对比较容易,依赖于针对纸介质的物理化损毁。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。