首页 理论教育 商业智能与现代信息管理的需求

商业智能与现代信息管理的需求

时间:2024-03-17 理论教育 版权反馈
【摘要】:目前,商业智能还没有统一的定义。这个定义揭示了商业智能的实质:从数据中有效地提取信息,从信息中及时发现知识,为人类的思维决策和企业的发展服务。这说明商业智能技术很好地迎合了现代企业信息管理的需要。同时,商业智能的发展还得益于许多其他IT技术的发展。目前,开发的商业智能系统大都是以数据仓库为基础,以联机分析处理和数据挖掘工具为手段进行实施的一整套解决方案。

商业智能与现代信息管理的需求

学习目的与要求:通过本章学习,理解商业智能的概念及含义;了解商业智能系统的三大技术要素;掌握商业智能系统的技术架构;了解商业智能系统的实施过程;了解商业智能系统与企业资源规划、客户关系管理、企业应用集成的关系。

决策对于企业的生存与发展起着至关重要的作用,著名的管理学家H.Simon认为“管理就是不断进行决策的过程”。因此,决策是企业管理者最基本、最重要的职能。随着社会环境、技术条件和企业经营模式的不断变化,决策本身及其支持工具也在不断地发生变化。商业智能就是在信息社会条件下,充分利用数据资源,对管理者提供支持,辅助其决策的一种技术。

一、商业智能的定义

商业智能(Business Intelligence,BI)的概念最早由Gartner Group的Howard Dresner于1996年提出,他认为“商业智能是将数据转换成信息的过程,然后通过发现将信息转化为知识”。这一过程涉及一系列的概念和方法,其要点在于通过应用基于事实的支持系统来辅助商业决策的制定。

目前,商业智能还没有统一的定义。例如,Data Warehouse Institute组织认为“商业智能是将数据转换成知识并将知识应用到商业行为上的一个过程”;Gartner Group认为“商业智能是将数据转换成信息的过程,然后通过发现将信息转化为知识”;IBM公司认为“商业智能是指利用已有的数据资源作出更好的商业决策,它包括数据访问、数据和业务分析,以及发现新的商业机会”。

在诸多的定义当中,被大多数人所接受的比较严谨的定义是:“商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息,创造和累计商务知识和见解,改善商务决策水平,采取有效的商务行动,完善各种商务流程,提升各方面商务绩效,增强综合竞争力的智慧和能力。”这个定义揭示了商业智能的实质:从数据中有效地提取信息,从信息中及时发现知识,为人类的思维决策和企业的发展服务。

商业智能技术包含一系列使企业迅速分析数据的技术和方法,包括数据的收集、管理和分析等,通过上述过程将这些数据转化为有用的信息,然后分发到企业各处。在实践上,可将商业智能视为一类由数据仓库(或数据集市)、报表查询、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的的技术及其应用。借助商业智能,员工、咨询员、管理者、客户、供应商以及公众能够有效地运用信息。

目前,在很多领域,已经成功引入了商业智能技术,尤其是在如银行电信保险交通、零售等商业领域。商业智能所能解决的典型商业问题,包括直接营销、面向细分市场客户群体的划分、用户背景分析、交叉销售市场分析行为,以及客户流失性分析、客户信用评估、欺诈发现等。

二、商业智能产生的背景

从1996年提出至今,不到10年的时间里,商业智能的概念迅速被企业界所认可和接受,成为企业信息化建设的一个重要环节。这说明商业智能技术很好地迎合了现代企业信息管理的需要。通过观察商业智能概念产生的背景,可以看到这种需求的实质,以及商业智能的某些重要内涵。

(一)企业运营模式的变化

电子商务与Internet正在改变着全球商务活动的方式,信息在经济活动中越来越占据着重要的地位。对企业来说信息包括生产、销售、市场、顾客和竞争对手的信息,信息是企业竞争的战略性资源。建立在Internet之上的企业经营模式,如电子商务,拥有由电子邮件、电子数据交换、电子支付、电子营销等多种系统所产生的大量信息,信息管理的复杂程度逐渐超越了传统信息管理系统和决策支持系统能力的范围。能否有效地管理、利用这些信息,是企业运营模式能否成功转型的关键之一。

(二)“数据=资产”新企业观念的建立

由于信息,及其原始表现形式———数据的巨大战略价值,在企业界,数据资产的观念正在进入ERP系统中。因为目前大部分大中规模的企业都是信息丰富的组织,而一个信息丰富的组织的绩效不仅仅依赖于产品、服务或地点等因素,而更重要的是依赖于知识。而从“数据—信息—知识”并不是一个简单的过程,如果没有相应的技术和方法,数据非但不能成为资产,更可能成为累赘,甚至是企业的灾难,下面的数据监狱现象,就说明了这一点。

(三)企业的“数据监狱”(Data Jail)现象

商务活动从办公自动化出现的早期开始就在其运作过程中收集大量的数据,包括销售、成本、质量控制、库存、客户服务等各方面息息相关的企业数据,分别存储于数据库、数据集市、数据仓库、多维数据库、第三方的应用或其他文件中。因此,对大部分企业来说数据处理的问题不是数据缺乏,而是大量的数据冗余和数据不一致。庞大的数据量和传统数据管理方法的缺陷,使大部分企业出现了“数据拥挤”(数据监狱)现象,既不利于企业的管理也不利于信息的有效利用。因此,如何解决数据拥挤,同时又能使这些数据充分地发挥作用已成为企业商务发展的一个热点问题。

(四)数据库和人工智能技术的发展

作为数据库技术和人工智能技术的交叉,数据挖掘于20世纪90年代被提出,其目的正是要从海量的数据中发掘隐藏的、可能有用的信息与知识。该技术与其他相关数据分析技术的出现,为“数据—信息—知识”这一过程的实现提供了可能。

总之,企业运营模式的变化、“数据=资产”新企业观念的建立、企业“数据监狱”现象的难题等诸多新问题、新环境对商业智能提出了现实的需求,而数据库和人工智能技术的发展则为商业智能的诞生准备了理论和技术手段,在这种情况下,商业智能的概念便应运而生。同时,商业智能的发展还得益于许多其他IT技术的发展。例如,并行处理系统、廉价数据存储设备、决策支持技术等。这些技术与商业智能一道,从大量数据中发现其后潜藏的商业机会,使企业能以更低的成本投资商业智能,并取得更高的IT投资回报率

三、商业智能系统的技术要素

商业智能系统通常包括数据仓库、数据分析和挖掘工具、商业智能应用三部分。目前,开发的商业智能系统大都是以数据仓库为基础,以联机分析处理和数据挖掘工具为手段进行实施的一整套解决方案

数据仓库(Data Warehouse)是商业智能的基础,是进行数据分析的必不可少的数据源。按照其最初的定义,数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念可以从两个层次予以理解,①数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库。②数据仓库是对多个异构数据源的有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。许多基本报表可以直接从数据仓库上生成,但它更大的用处是作为进一步分析的数据源。多维分析和数据挖掘便是使用数据仓库的最常见例子,数据仓库能供给它们所需要的、整齐一致的数据。

联机分析处理技术(On-Line Analytical Processing,OLAP)是针对特定问题进行联机数据访问和分析的技术。该技术通过对信息的多种可能的观察形式进行快速、稳定和交互性的存取,允许管理决策人员对数据进行深入观察,使用户能够从多种角度对从原始数据中转化出来的、真正为用户所理解、并真实反映企业特性的信息进行快速、一致、交互地存取,从而获得对数据更深入了解的一类软件技术。OLAP的目标是满足决策支持或多维环境下数据查询、报表生成以及图形化分析展示等需求。

数据挖掘是一种从海量数据中发掘隐藏的、可能有用的信息与知识的技术。它主要基于人工智能、机器学习、统计分析等技术,高度自动化地分析企业原有的数据,作出归纳性的推理,从中挖掘出潜在的模式,预测客户的行为,帮助企业的决策者调整市场策略,减少风险,作出正确的决策。

数据仓库、联机分析技术和数据挖掘技术存在着明显的依赖关系,数据仓库提供基本的信息源,并将数据组织得易于使用和分析,联机分析技术旨在对数据进行高层次的组织,发现存储在数据仓库中的数据所蕴涵的真实信息,加深用户对数据的了解,数据挖掘技术则发掘数据背后隐藏的规律,将数据转化为有用的知识,为企业决策提供支持。这三者构成一个整体,形成了商业智能系统的一般技术框架

四、商业智能的意义

早在20世纪90年代末,商业智能技术就被一家计算机权威杂志评选为未来几年最具影响力的IT技术之一。虽然近几年整个IT界不景气,但与商业智能相关的产品研发及应用却方兴未艾,且数以百计的IT企业不断涌进这一新兴领域,BI应用甚至成为了IT界又一全新亮点。

商业智能系统主要实现将原始业务数据转换为企业决策信息的过程。与一般的信息系统不同,它在处理海量数据、数据分析和信息展现等多个方面都具有突出性能。商业智能系统从企业运作的日常数据中发掘出结论性的、基于事实的和具有可实施性的信息,使企业能够更快更容易地作出更好的商业决策。使企业管理者和决策者以一种更清晰的角度看待业务数据,提高企业运转效率、增加利润并建立良好的客户关系,使企业以最短的时间发现商业机会捕捉商业机遇。如何时何地进入何市场,如何选择和管理大客户联系,以及如何选择和有效地推出商品优惠策略等。同时,通过提供决策分析能力,使企业更有效地实现了财务分析、风险管理、诈骗检测、分销和后勤管理,以及销售状况分析等。

一般认为,商务智能将在很多领域给企业带来好处。例如:①提高信息共享。②增强信息处理的灵活性和适应性。③帮助作出及时有效的决策。④控制企业增长。⑤创造新的利润。⑥降低成本等。商务智能这些实际和潜在的价值,甚至使得一些乐观者认为:“商务智能是站在今天角度回顾过去展望未来,将过去的信息转变成今天的知识进而转变成明天的财富。”

然而,商业智能的意义并不仅限于此,它更重要的意义或许在于,它提供了一种信息化社会下,企业如何有效地组织、利用飞速膨胀的信息的思路,满足或者尝试去满足现代企业对于信息管理的新需求。它将企业过去的生产、经营,同企业未来的运营、决策紧密联系起来,为企业的生存和发展提供支持。对处于当前信息时代的企业来说,信息和信息管理的巨大价值在商业智能系统得到了实际的、深刻的体现。

数据仓库、联机数据分析(OLAP)和数据挖掘是商务智能系统的三大技术要素,具有重要作用,本节逐一介绍这三项技术的内容和特点。

一、数据仓库和数据集市

(一)数据仓库

数据仓库是随着应用需求的不断演化,以及数据管理技术的不断发展而诞生的。它是数据库技术的延伸和发展。著名的数据仓库专家W.H.Inmon在其著作《Building the Data Warehouse》一书中对数据仓库做了如下定义:“数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合,用于支持管理决策。”这个简短而又全面的定义指出了数据仓库主要特征的四个关键词:面向主题的、集成的、非易失的、随时间变化的,将数据仓库与其他数据存储系统(如关系数据库系统事务处理系统和文件系统)区别开来。

1.面向主题的(subject-oriented)。传统的操作型数据库是围绕公司的应用进行组织的,如对一个电信公司来说,应用问题可能是营业受理、专业计费和客户服务等,而主题范围可能是客户、套餐、缴费和欠费等。数据仓库则围绕这些主题组织数据。数据仓库关注决策者的数据建模与分析,而不是集中于组织机构的日常操作和事务处理。因此,数据仓库排除对决策无用的数据,提供特定主题的简明视图。

2.集成的(integrated)。通常,构造数据仓库是将多个异种数据源,如关系数据库、一般文件和联机事务处理记录集成在一起。由于各个应用系统在编码、命名习惯、实际属性、属性度量等方面不一致,当数据进入数据仓库时,要使用数据清理和数据集成技术,确保命名约定、编码结构和属性度量等指标的一致性。

3.非易失的(nonvolatile)。和传统的操作型数据库系统相比,数据仓库通常是以批量方式载入和访问。而且,对于数据仓库中的记录,并不进行一般意义上的数据更新和删除。所有的历史数据都会被保留,通常我们只是不停地批量导入新的数据。

4.随时间变化的(time-variant)。操作型数据库系统出于性能上的考虑,并不保存系统投入运行后所产生的所有数据,一般只保留最新的60~90天内所产生的数据记录。而且,通常情况下,操作型数据库中一项业务活动只占用一条记录。当业务状况发生变化后,我们只需更新相应的记录。而为了按时间变化发掘业务活动的时序规律,在数据仓库中,该业务活动可能同时存在多条记录,除了相应字段的内容不同外,其业务活动的时间记录也不相同。数据仓库中的数据是一系列在某时某刻生成的复杂的快照。可见,数据仓库的数据是高度冗余且必须的。

从这些特性可以看出,数据仓库是将从多个数据源收集的信息,按照单一的模式进行存储,并通常将这些信息驻留在单个站点。数据仓库通过数据清理、数据变换、数据集成、数据加载和定期数据刷新来构造其内容。数据仓库收集了整个组织的主题信息,因此,它是企业范围的数据存储。宽松地讲,数据仓库是一个大型的数据库,一个企业或其他组织可以将它与组织机构的操作数据库分别进行维护。数据仓库系统允许将各种应用系统集成在一起,为统一的历史数据分析提供坚实的平台,对信息处理提供支持。

一般数据仓库系统的体系结构如图8-1所示,它包括以下几个主要部分。

图8-1 数据仓库系统体系结构

1.数据源。这是数据仓库系统的基础,是整个系统的数据源泉,数据仓库的数据源多种多样,既可能是结构化数据,如传统的数据库,也有可能是非结构化数据,如文档、电子邮件等信息。

2.数据的存储与管理。这是整个数据仓库系统的核心,数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。

3.OLAP服务器。根据数据分析的需要,对数据按多维模型予以组织,同时提供对数据进行多角度、多层次分析的工具,以便发现数据中蕴涵的趋势。前端工具:主要包括报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中,数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。

(二)数据集市

与数据仓库相关联的另外一个概念是数据集市。由于数据仓库通常是企业级应用,其容量动辄以TB计(1TB=1000GB),甚至达到数十、上百TB,因此涉及的范围和投入的成本都非常巨大,使一些企业无力承担。因而,他们希望在最需要的关键部门建立一种适合自身应用的、自行定制的部门数据仓库子集。这就产生了数据集市。数据集市是数据仓库的一个子集,其特点是主要面向部门级业务,并且仅包含一个或少量几个特定主题的数据,因此实现起来更容易,花费也少,可以在一定程度上缓解访问数据仓库的瓶颈。

值得注意的是,数据仓库与数据集市有着本质的区别:数据仓库是围绕着它自己的主题域而组织起来的,这些主题域着眼于企业的全局数据模型而不是个别部门的当前需求;数据仓库并不为部门分割所有,而是为整个企业的某个具有集中协调能力与权威的机构———通常是企业的IT部门———所有,它只服务于企业全局性的长期战略目标。

数据仓库和数据集市各有优缺点,但通常不应用多个数据集市来代替数据仓库的建设,否则可能会存在如下问题:各数据集市之间对详细数据和历史数据的存储存在大量冗余;同一个主题在不同数据集市的查询结果可能不一致甚至相互矛盾;各数据集市之间及与源生产系统之间难以管理。

对于部门级的数据分析,通常数据集市具有更好的效率,然而企业级的全局数据分析则需要完整的数据仓库。在商业智能系统中,通常需要数据仓库和数据集市并存。

二、OLAP

根据OLAP委员会的定义,联机分析处理是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维度特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。

OLAP的技术核心是“维(dimension)”这个概念,“维”是人们观察客观世界的角度,是一种高层次的类型划分。假定某某是个百货零售商,有一些因素会影响他的销售业务,如商品、时间、商店或流通渠道,更具体一点,如品牌、月份、地区等。对某一给定的商品,也许他想知道该商品在某个商店和某段时间的销售情况。对某一商店,也许他想知道某个商品在某段时间的销售情况。在某一时间,也许他想知道某个商店某种产品的销售情况。这里,商店、时间和产品都是维。各个商店的集合是一维,时间的集合是一维,商品的集合是一维。维就是相同类数据的集合,也可以理解为变量。而每个商店、每段时间、每种商品都是某一维的一个成员。

“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维,使用户能对不同维上的数据进行比较。数据的多维视图使最终用户能从多角度、多层次和多侧面考察数据库中的数据,从而深入地理解包含在数据中的信息及其内涵。因此OLAP也可以说是多维数据分析工具的集合。根据OLAP产品的实际应用情况和用户对OLAP产品的需求,人们提出了一种对OLAP更简单明确的定义,即共享多维信息的快速分析。

OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)以及旋转(pivot)、drill across、drill through等。

钻取是改变维的层次,变换分析的力度。它包括向上钻取(roll up)和向下钻取(drill down)。向上钻取是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而向下钻取则相反,它从汇总数据深入到细节数据进行观察或增加新维。

切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则是切片;如果有三个,则是切块。

旋转是变换维的方向,即在表格中重新安排维的放置(如行列互换)。

OLAP有多种实现方法,根据存储数据的方式不同可以分为基于关系数据库的ROLAP(Relational OLAP)、基于多维数据库的MOLAP(Multidimensional OLAP)、基于混合数据组织的HOLAP(Hybrid OLAP)三种。

ROLAP表示基于关系数据库的OLAP实现。它以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:①事实表,用来存储数据和维关键字。②维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了“星型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为“雪花模式”。

MOLAP表示基于多维数据组织的OLAP实现。它以多维数据组织方式为核心,使用多维数组存储数据。多维数据在存储中将形成“立方块(Cube)”的结构,在MOLAP中对“立方块”的旋转、切块、切片是产生多维数据报表的主要技术。MOLAP查询方式采用索引搜索与直接寻址相结合的方式,比ROLAP的表索引搜索和表连接方式速度要快得多。

HOLAP表示基于混合数据组织的OLAP实现。它综合了MOLAP和ROLAP的优点,在立方体中存储高度汇总的数据,而在关系数据库中存储详细数据和轻度汇总的数据。这种方式具有更好的灵活性。

三、数据挖掘

沃尔玛(Walmart)是全球最大的零售商,拥有世界上最大的数据仓库系统,他们对数据仓库中的原始交易数据进行分析,得到了一个意外发现:跟尿布一起购买最多的商品竟然是啤酒。经过深入研究后发现,美国家庭买尿布的多是爸爸。爸爸们下班后要到超市买尿布,同时要顺手牵羊带走啤酒,好在周末看棒球赛的同时过把酒瘾。后来沃尔玛就把尿布和啤酒摆放得很近,从而双双促进了尿布和啤酒的销量。沃尔玛发现这一“奇怪”的事实,采用的工具就是数据挖掘,而这个故事也被公认是商业领域数据挖掘的诞生标志。

数据挖掘是按照一定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析,从中识别和抽取出有效的、新颖的、潜在有用的,以及最终可理解的模式和知识的过程。在商业领域,数据挖掘的主要特点是对商业数据库中的大量事务数据进行抽取、转化、分析和其他模式化处理,从中提取辅助商业决策的关键数据,即从数据库中自动发现相关的商业模式,并用于决策支持。

数据挖掘是一门交叉学科,融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术。数据库、人工智能和数理统计是数据挖掘研究的三大技术支柱。数据挖掘技术根据挖掘任务可分为分类、聚类、关联规则发现、序列分析、偏差分析等。

1.分类。分类要解决的问题是为一个事件或对象归类,即预测一个特定的对象属于哪一类。其具体做法为:通过分析训练集中的数据(已知数据),为每个类别作出准确的描述、建立分析模型或挖掘出分类规则,然后用整个分类规则对其他数据对象进行分类。例如,银行部门根据以前的数据挖掘出客户信用等级的评定方法,客户来申请贷款时,就可以根据他的信用等级来提供相应的贷款方案。

2.聚类。聚类就是把整个数据分成不同的组,并使组与组之间数据的差异尽可能大,组内数据的差异尽可能小。这种方法通常用于客户细分。在开始细分之前不知道要把用户分成几类,因此通过聚类分析可以找出客户特性相似的群体,如客户消费特性相似或年龄特性相似等。在此基础上可以制定一些针对不同客户群体的营销方案。例如,将申请人分为高度风险申请者,中度风险申请者,低度风险申请者。

3.关联规则发现。若多个或多个变量的取值之间存在着某种规律性,就称为关联。关联规则是寻找在同一个事物中出现的不同项的相关性,比如在一次购买活动中所买不同商品的相关性。前面所讲述的“啤酒和尿布的故事”就是关联分析的典型案例。

4.序列分析。与关联不同,序列是一种纵向的联系,即事件之间在顺序上的相关性。例如:今天银行调整利率对明天股市变化的影响。序列模式分析非常适于寻找事物的发生趋势或重复性模式。

5.偏差分析。用来发现与正常情况不同的异常和变化,并进一步分析这种变化是否是有意的诈骗行为,还是正常的变化。如果是异常行为,则提示预防措施;如果是正常的变化,那么就需要更新数据库记录。例如,在银行的100万笔交易中有500例的欺诈行为,银行为了稳健经营,就要发现这500例的内在因素,减小以后经营的风险。

数据挖掘的一般实施步骤如下。

(1)问题理解和提出。在开始数据挖掘之前最重要的就是理解数据和实际的业务问题,在这个基础之上提出问题,对目标有明确的定义。

(2)数据准备。获取原始的数据,并从中抽取一定数量的子集,建立数据挖掘库,其中一个问题是如果企业原来的数据仓库满足数据挖掘的要求,就可以将数据仓库作为数据挖掘库。

(3)数据整理。由于数据可能是不完全的、有噪声的、随机的,有复杂的数据结构,就要对数据进行初步的整理,清洗不完全的数据,做初步的描述分析,选择与数据挖掘有关的变量,或者转变变量。

(4)建立模型。根据数据挖掘的目标和数据的特征,选择合适的模型。

(5)评价和解释。对数据挖掘的结果进行评价,选择最优的模型,作出评价,运用于实际问题,并且要和专业知识结合对结果进行解释。

以上的步骤不是一次完成的,可能其中某些步骤或者全部要反复进行。

一、商业智能系统的体系结构

商业智能系统的一般性工作流程包括:从异构数据源中提取与所分析问题相关的数据;对数据进行清理以保证数据的正确性;将数据进行转换、重构后存入数据仓库;寻找合适的查询和分析工具、OLAP工具和数据挖掘工具对信息进行处理,使得信息变为辅助决策的知识;最后将知识呈现于用户面前,转变为决策。这一过程涉及大量的方法、工具和技术。但是从总体的体系结构来看,商业智能系统可大致划分为数据仓库、数据分析与挖掘工具(决策支持工具)、具体应用等几大部分,如图8-2所示。

从图8-2的底端向上看,商业智能系统的体系结构包括以下几个部分。

(一)可操作的和外部的数据

即数据源,为数据仓库提供原始的数据来源,可以是关系型数据库、多维数据库,也可以是一些非结构化的数据。

(二)数据仓库模型和构造工具

数据仓库的建模是数据仓库实施中的重要一环。它能直接反映出业务部门的需求,同时对系统的物理实施有着重要的指导作用。构造工具则是将数据仓库由模型实施为实际系统的软硬件工具,这些工具从操作系统和外部数据源系统中捕捉数据,经过数据加工和转换,最后将数据装载进全局的或部门级的数据仓库(数据集市)。

图8-2 商业智能系统体系结构

(三)数据管理

管理终端用户感兴趣的商业信息。一般采用三层信息存储,最高层次是数据仓库,数据仓库中集成了企业全局的商业信息;中间级是数据集市,也叫做部门级数据仓库,存储了某个商业单位、用户组或部门的商业信息,这些数据集市可以直接建立在企业操作系统的基础上;结构的最低层次存储了根据用户和应用需求裁剪后的信息。

(四)访问工具

访问工具包括应用接口和中间件,其功能是为客户工具提供访问、处理数据和信息的接口。中间件包括数据库中间件和Web中间件等,数据库中间件允许客户透明地访问后台的各种异构数据库服务器,Web服务器中间件则允许Web客户连接到数据库中。

(五)决策支持工具

包括从基本查询和报表生成到先进的在线分析处理再到数据挖掘工具等各种各类的工具。这些工具一般都支持GUI客户界面,许多工具也可以在Web界面上使用。目前,这些工具大多只能处理数据库产品里的结构信息,未来发展趋势是可以处理文件系统、多媒体、甚至邮件或Web服务器上的复杂的和非结构化的信息。

(六)商业智能应用

这里的应用指的是针对不同行业或应用领域的、经过裁剪的、完整的商业智能解决方案软件包。这些软件包依赖于商业智能结构中其他部分的相应产品,如数据仓库、决策支持工具等。

这一结构,反映了商业智能系统的基本组成要素以及各要素之间的依赖关系,首先必须有数据源,其次要有数据仓库模型和构造工具建立数据仓库,并把数据源中的数据装载进数据仓库,接着要对数据进行管理,并提供数据访问接口和中间件,以便对数据仓库中的数据进行访问,决策支持工具通过访问接口和中间件获取、分析数据,在这些工具的基础上,有针对性地开发出商业智能解决方案软件包作为具体应用。

为了使得上述各个要素能够协同工作,从而保障整个系统的顺畅运行,并在需要的时候进行快速、灵活的调整,对整个系统的管理和对元数据(metadata)的管理都是必不可少的。对整个系统的管理包括安全性和验证、备份和恢复、监控和调整、操作和调度,审计和计算等商业智能管理的所有方面。元数据管理是指管理与整个商业智能系统有关的元数据,包括开发者和管理员使用的技术元数据,以及支持商业用户的商业元数据。这里简单介绍一下元数据的概念。

元数据(metadata)是描述数据仓库内数据的结构和建立方法的数据,是关于数据的数据。举例来说,图书馆里的目录卡就是图书这一原始数据的元数据。在这里,不仅有图书文本内容的概括性描述,还有图书分类等多方面的信息。元数据为访问数据仓库提供了一个信息目录(information directory)。这个目录全面描述了数据仓库中都有什么数据、这些数据怎样得到的、如何访问这些数据。元数据是数据仓库运行和维护的中心,数据仓库服务器利用它来存贮和更新数据,用户通过他来了解和访问数据。

二、商业智能的基本实现过程

商业智能系统的体系结构已经蕴涵了其实施和运作的基本过程,图8-3是这一过程的具体化。它包括数据预处理、建立数据仓库、数据分析及数据展现四个主要阶段。

(一)数据预处理与ETL

商业智能系统的数据源通常是若干个互相独立、互不兼容的、复杂的源数据系统。因此,需要依照合理的方式整合源数据系统,将源数据统一存储在以企业逻辑模型构建的ODS(可操作数据存储系统)中,这就是数据预处理。在数据预处理阶段,主要进行的是数据的抽取、转化和装载(Extract,Transform,Load-ETL)核心工作。数据抽取(E)是创建企业智能过程中的第一步,考虑到数据以多种格式保存在众多平台和服务器上,有效、完整地访问全部相关企业数据是所有其他步骤的基础。转换(T)是为了加载到数据仓库而准备数据的一系列工作。通常认为它占数据仓库工作的80%,它涉及很多步骤,尤其是数据质量监视。如果数据质量有问题,那么企业用户和决策者将对分析结果持怀疑态度。加载(T)是将数据存储到物理仓库以供未来使用的流程。总之,ETL负责将数据从业务系统或外部系统中抽取、转换和处理成数据仓库需要的格式和形态,并在规定的时间装入到数据仓库中去。

图8-3 商业智能系统的基本实现过程

(二)建立数据仓库

数据仓库的设计大体上可以分为以下几个步骤。

1.概念模型设计。所要完成的主要工作包括界定系统边界,确定主要的主题域及其内容。

2.技术准备工作。这包括技术评估———确定数据仓库的各项性能指标,技术环境准备———主要是确定对软硬件配置的需求。

3.逻辑模型设计。这包括分析主题域,确定当前要装载的主题,确定力度层次划分,确定数据分割策略,关系模式定义,记录系统定义。

4.物理模型设计。这一步所做的工作是确定数据的存储结构,确定索引策略,确定数据存放位置,确定存储分配。

5.数据仓库的生成。在这一步里所要做的工作是接口编程,数据装入。

6.数据仓库的使用和维护。

(三)数据分析

数据分析是体现系统智能的关键,是商业智能系统精华之所在。一般采用联机分析处理和数据挖掘两大技术。联机分析处理不仅进行数据汇总/聚集,同时还提供切片、切块、下钻、上卷和旋转等数据分析功能,用户可以方便地对海量数据进行多维分析。数据挖掘的目标则是挖掘数据背后隐藏的知识,通过关联分析、聚类和分类等方法建立分析模型,预测企业未来发展趋势和将要面临的问题。这两项技术在前节已经具体介绍,此处不再赘述。

(四)数据展现

数据展现主要用于系统分析结果的可视化,采用直观的形象,如饼图、曲线图、报表等显示分析结果,以便于用户理解。作为一个前端工具,根据使用者的不同,数据展现还可以划分为不同的系统。例如,面向高层决策者的主管信息系统(EIS);为各层决策者服务的即席查询系统(Ad Hoc);为报表服务的灵活报表系统(Reporting)。随着技术的发展,数据展现的使用方式也越来越灵活多样。比如,客户机/服务器模式或浏览器模式。

概括起来,商业智能系统的基本工作过程就是,从数据源中获取基本数据,对数据进行预处理和适当组织后载入数据仓库,利用构建在数据仓库之上的决策分析工具(如OLAP、数据挖掘)等,对数据仓库中的数据进行分析、知识挖掘,然后把所获得的结果直观地展示给用户。

商业智能作为一种企业信息集成解决方案,为企业不同的应用系统,如企业资源规划(ERP)、客户关系管理(CRM)、供应链管理(SCM)、办公自动化(OA)、电子商务(E-Commerce)等之间架起了互通的桥梁。同时,这些系统也为商业智能提供了数据源,离开了它们,商业智能就会成为无源之水,无本之木。而商业智能的价值远在这些系统之上,因为它可以发现各系统内部数据背后所隐藏的商机或威胁,了解企业和市场的现状,认清正在对企业的业务产生影响的行为及影响程度等,更好地辅助决策。

一、商业智能和企业资源规划是互补的系统

ERP是在MRPⅡ的基础上进一步发展起来的企业管理信息系统。它在MRPⅡ的基础上扩展了管理范围。其基本思想是把企业的业务流程看做是一个紧密连接的供应链,并将企业内部划分成几个相互协同作业的支持子系统,如财务、市场营销、生产制造、服务维护、工程技术等,可对企业内部供应链上的所有环节如订单、采购、库存、计划、生产制造、质量控制、运输、分销、服务与维护、财务、成本控制、经营风险与投资、决策支持、人力资源等有效地进行管理,从管理范围和深度上为企业提供了更丰富的功能和工具。

ERP的实质是一个以管理会计为核心的信息系统,它识别和规划企业资源,从而获取客户订单,完成加工和交付,最后得到客户付款。换言之,ERP将企业内部所有资源整合在一起,对采购、生产、成本、库存、分销、运输、财务、人力资源进行规划,从而达到最佳资源组合,取得最佳效益。其核心目标在于通过运用最佳业务制度规范以及集成企业关键业务流程优化企业资源配置、提高企业对市场需求的反应速度,并最终提高企业利润。

从技术的角度来看,ERP可以视为建立在信息技术基础之上,以系统化的管理思想,为企业决策层及员工提供决策运行手段的管理平台。ERP系统集信息技术与先进的管理思想于一身,成为现代企业的运行模式。实际的ERP系统是一个复杂的系统,面向不同的行业会有不同的解决方案。但是提供决策支持,提高企业决策的质量、效率,从而实现企业效益的最大化是所有解决方案的共同目的。

既然ERP和商业智能的最终目的都是决策支持,又都是面向企业的信息管理/信息集成系统,那么二者之间到底是一个什么样的关系呢?首先,必须看到,这二者之间存在着如下重大区别。

1.二者面向的对象不同。ERP是一个面向供应链的管理信息集成,它把客户需求和企业内部的制造活动以及供应商的制造资源整合在一起,并对供应链上的所有环节进行有效管理,以期规范企业的业务制度,优化业务流程,优化资源的配置;而商业智能是一个面向决策的管理信息集成。它最直接的、也是惟一的目的就是从各种各样的信息中获取决策知识,而并不关心这些知识是否与供应链有关,实际上,商业智能所能提供的决策知识可以是有关企业生产、经营、管理的任何方面的知识。

2.二者面对的用户不同。ERP除了企业领导者、管理者这一类直接用户之外,还涉及参与企业各个运行环节的所有工作人员,尽管许多人并不真正接触ERP。但是,他们的工作均处于ERP的界定、管理和调控之下的。而商业智能,几乎总是直接面对决策者的,即使使用者本人并不是企业领导,他使用商业智能的目的也是为其决策服务的,只不过这种决策不是企业层面的。

3.二者的数据基础不同。传统的ERP积累的业务数据相对来说是操作性的、规整的。与商业智能系统所使用的面向主题的、集成的、非易失的、时变的数据存在巨大差异。正是在具有这些特征的数据基础之上,商业智能系统才能结合OLAP技术及数据挖掘技术,将非直观的、隐含的信息和知识以直观的形式描述。

4.作为上述区别的结果,二者在决策支持能力上存在差别。传统的ERP系统基本仍停留在功能全面的MIS系统层面,并没能够达到真正的ERP所期望的辅助决策分析的功能。商业智能系统以决策为直接目的,巨大的决策支持潜力是它迅速获得企业关注,并被越来越广泛实施的主要原因。

正是由于存在这些区别,有些专家认为,ERP并不是商务智能实施所必需的。理由在于,商业智能是通过理性的管理决策,帮助企业提升效率,使它的成本结构得到优化,市场销售行为更为有效,从而保障利润的实现并规避风险。而ERP属于操作层面,其目的是让企业按照某种约定的规律进行运转。商业智能要解决的问题是ERP体系之外的东西。商业智能只能够帮助经营和决策者发现企业本身的问题和不足,并且给他们提供一种后果的设想,帮助他们选择最佳的方案和渠道,来影响执行层面的行为。一旦企业发展壮大到大量的数据和信息成为天文数字,经营者在时间、空间和经验上难以正常管理,这时候就需要商业智能的支持。

然而,要实现商业智能,必须要有企业的数据和信息作为基础。如果企业没有任何信息系统,甚至没有像样的数据库系统,直接实施商业智能会有很大的难度,最终也不可能取得良好的应用效果。毕竟,各种统计分析都要建立在大量的企业数据的基础之上。实现商业智能的应用首先要有数据基础。ERP系统就是一类巨大的数据源,一方面它可以为商业智能系统提供大量的数据;另一方面它所欠缺的数据分析、知识发现和决策支持能力,正是商业智能系统所擅长的。在实践中,二者更多的一种互补的关系。因此,把商业智能与ERP结合在一起,构造一种以服务为主导的智能ERP,是得到较多人认可的ERP系统的未来发展趋势。

具体来说,对于已经“信息化”了的企业,智能ERP通过商业智能对商业组织的抽象思维活动、业务活动的分析判断,以及对有关运作环境的信息整合,提高企业的生存能力,使分散在各个环节中的信息不再是信息孤岛,并且结合适当的分析模型和算法,使现有的企业信息库为企业的发展提供有效的决策参考。

而对于尚未实施信息化的企业,通过实施融合商业智能功能的ERP系统,可尽可能将企业的生产、经营、管理数据化,同时通过对来自各种信息源、数据仓库的信息数据进行有效的提取、分析、判断,为企业决策提供参考,从而真正将企业的信息化系统变成一种新型的生产力。这种全新的智能ERP系统,并不仅仅是把企业简单地信息化,而是帮助企业更准确、更合理、更方便地用好信息。

二、客户智能:基于商业智能的客户关系管理

客户关系管理(CRM)是一种企业商务战略,目的是使企业根据客户分段进行重组,强化使客户满意的行为并连接客户与供应商之间的过程,从而优化企业的可赢利性,提高利润并改善客户的满意程度。CRM是一种以客户为中心的经营战略。它借助现代IT和通讯技术的手段,通过营销、销售、服务等客户导向的工作流程,与客户进行持续性关系建设,从而留住老客户、吸引新客户、提高客户忠诚度和客户利润贡献度。

CRM的核心是客户的资源价值管理:通过对客户信息资源的整合,在企业内部实现资源共享,为客户提供更快速周到的优质服务,吸引和保持更多的客户,即“以一个面孔面对客户”,企业的各个部门负责与客户的具体交易,但向客户负责的是整个企业;通过对业务流程的重新设计,更有效地管理客户关系,降低企业成本。

当前,大多数CRM应用的重点都是采用多种方式与客户交易、收集客户的各种数据、建立并分析客户数据、制定客户策略等。在分析客户数据时,首先确定分析范围(全局、局部还是单一客户),明确分析主题,然后选用相应的CRM分析模型进行分析。例如,RFM分析模型。该模型主要用于直销领域,目的是提高老客户交易的次数,RFM中,R(Recency最近)表示客户最近一次购买的时间;F(Frequency频率)表示客户在统计周期内购买的次数;M(Monetary Value货币价值)表示客户在统计周期内每次购买的平均金额。

尽管传统CRM模型取得了很大的成功,但是却有一定的局限性,主要是因为CRM模型只对单个数据源进行简单分析,得出的也是一些比较直观的结果,属于客户信息层面,而要获得客户知识,必须依赖一些更强大的工具,如数据仓库、知识发现方法等。所谓客户知识,是有关客户的知识,包括客户的消费偏好、喜欢选用的接触渠道、消费行为特征等许多描述客户的知识。要通过CRM为决策者提供有效的客户知识,进一步制定更有效的客户策略来辨识、获取和保持客户价值,就必须对多个数据源中的客户数据进行分析,进一步发掘蕴涵在客户数据中的信息和知识。这就要使用商业智能中的三大技术:数据仓库、数据挖掘和OLTP,即在CRM中应用商业智能。

基于CRM的商业智能,或称客户智能,就是商业智能在CRM中的具体应用,由此而产生的客户智能系统(Customer Intelligence System,CIS)是实现客户智能的系统平台。客户智能系统从数据准备做起,建立或虚拟一个集成的客户数据环境。在集成的客户数据环境基础上,利用科学的决策分析工具,通过数据分析、知识发现等过程,发现客户信息或客户知识,然后解释、分析和发现结果,为战略制定和决策提供支持。

通过构建客户智能系统,企业可获得如下好处:①根据从客户知识发掘的信息,计算客户生命周期价值,以此作为客户分类的依据,针对不同类别的客户可采取不同的措施。②预测客户将来一段时期的需求,及时对业务进行调整。③预测客户流失的可能性,并根据可能性或者采取及时的补救措施,或者减少不必要的投资,最大限度地保留客户和降低企业的损失。④向所有的企业部门提供统一的客户视图。⑤通过对客户需求的研究,企业可以“想用户未来所想”,进一步创造需求,增强企业对客户消费的引导。

由于客户智能建立在对客户数据的分析、知识发现的基础之上。它使企业对客户的决策建立在定量的基础上,而不是定性的假设,因而能够拓展传统CRM的能力,提高决策支持的强度。目前,商业智能与CRM的结合,即客户智能,已经成为CRM发展的一个重要趋势。

总之,商业智能不是一个具体的产品,而是一种高新技术成果的应用,一种将企业数据转化为知识和资产,提高企业决策智能化程度的解决方案。它与企业现有的信息管理系统不是相互取代,而是相互补充和促进的关系。商业智能与ERP相结合,就会产生智能ERP,与CRM相结合,就会产生客户智能。自然,商业智能并不是一个包治百病的神药,但是,它的加入,将有可能提高各种现有信息系统的决策支持能力,也将有可能促进企业采用更加有效、更加合理的信息管理方法,以获得对业务、对客户、对市场更加深刻的理解,这也许就是商业智能如今受到诸多关注的深层次原因。

前几节主要介绍了商业智能的基本概念、技术架构及商业智能体系结构中的几个关键技术,如数据仓库、数据挖掘、OLAP等。企业要真正实施和应用商业智能,就必须使用具有商业智能功能的具体产品。本节将介绍商业智能解决产品的概况,以及目前市场上比较流行的几种解决方案。(www.xing528.com)

一、概述

商业智能是一个复杂的系统,涉及数据仓库、数据挖掘、OLAP等多种技术,在具体实施过程中要规划相应的解决方案,将多个产品集成起来,实现智能决策。目前流行的商业智能解决方案一般包括下列产品:数据仓库/数据集中产品,OLAP工具,数据挖掘软件,前端分析工具等。

具体到厂商,目前可提供商业智能产品的国外厂商主要分两类。一类是专业商业智能软件厂商,如NCR、Business Objects(简称BO)、SAS、Cognos、Hyperion、MicroStrategy等。这类厂商专注于商业智能软件的开发、研究,提供的产品技术先进,功能强大而全面,易用性高,可以使用各种数据源。另一类厂商是传统的IT公司,大都拥有自己的数据库产品,甚至传统业务以数据库为主,如Oracle、Sybase、微软、IBM、惠普等,他们都或多或少地在传统数据库产品中添加了商业智能的功能,同时也提供其他商业智能应用软件产品及方案,这类厂商的产品拥有相对固定的用户基础,与原有产品的兼容性比较好。这两类厂商的商业智能产品各具特色,都占据着一定的市场份额。

国内厂商自主研发的商业智能产品,主要以终端用户查询和报告工具、OLAP工具为主,只涉及商业智能整体架构中的一环或几环。还有部分厂商,如用友软件、金蝶国际软件等,通过引进国外的商业智能产品,结合自身特点,构建分析模型,对ERP、CRM等业务数据进行分析,属于应用型商业智能厂商。

在国内的应用方面,信息化程度较高的金融、电信行业,依然是商业智能应用的先行者。这种应用现状与商业智能对数据的需求有很大的关联:金融、电信这两个行业的数据基础,在整体状况上要好于其他行业。但是,其他许多行业近年来也开始启动商业智能需求,如制造业、流通业、医疗业等,这些都是未来商业智能软件应用的广阔领域。

由于商业智能系统的实施方兴未艾,从事商业智能软件开发的公司很多,产品数量也很多,因此不可能对所有产品逐一介绍,本节将重点介绍几种有代表性的产品,对其余的产品则不再赘述。

二、IBM DB2商业智能解决方案

IBM提供了全面的商业智能解决方案,包括企业数据仓库、数据仓库管理器、在线分析处理工具、数据挖掘工具、前端工具和数据预处理工具等。IBM商业智能解决方案有以下几个主要部分:

(一)Warehouse Manager(数据仓库管理器)

Warehouse Manager是IBM数据仓库解决方案的重要组成部分,其主要功能包括数据访问,数据转换,数据分布,数据存储,数据查找及理解,数据显示、分析和发掘,数据转换过程的自动化及其管理等。

Warehouse Manager建立在集成的数据字典之上,该数据字典实际上是一个装满描述信息的数据库,它是所有管理和操作功能的中心。数据仓库的模型也存储于该数据字典中,模型定义了数据仓库的结构和内容,用于对数据源进行抽取、过滤、转换、映射,然后放入数据仓库。数据字典中的描述性数据以商业视图的形式定义,商业视图可以在多个数据仓库间输入和输出,大大方便了具有相同结构数据仓库的建造。

Warehouse anager提供了一个完整的分布式客户机/服务器系统环境。其组成组件既可分布于几个不同的服务器,也可都安装在同一服务器上,便于灵活使用和管理。另外,Warehouse anager拥有完整的Web支持功能,允许用户从任何Web浏览器访问任何可用数据的详细信息,包括数据的格式、通用性、拥有者和位置等。

(二)DB2OLAP Server(DB2多维服务器)

DB2OLAP Server集成了Essbase OLAP功能、Hyperion Solution的Essbase API 与DB2的数据管理功能。这一组合可以建立复杂的客户化应用所需要的丰富的计算能力。用户不需要任何查询语言方面的知识,只需要最基本的编程经验,就可以迅速地、毫不费力地设计和管理应用程序。

(三)Intelligent Miner(数据挖掘器)

这主要用于发现用户数据中的某些潜在联系、分类、推导结果和待发现价值。Intelligent Miner曾被选为业界最佳数据挖掘工具,赢取过DM读者奖。

Intelligent Miner有别于其他厂家产品的地方在于它丰富的挖掘方法。一般厂家主要是提供统计方面的技术。Intelligent Miner除此之外,还提供机器学习和神经网络的技术。Intelligent Miner可以自动实现数据选择、数据转换、数据发掘和结果呈现等一整套的数据发掘操作。

Intelligent Miner包含若干个组件,其中最重要的两个是Intelligent Miner for Data 和IBM Intelligent Miner for Text,前者用于寻找隐含于传统文件、数据库、数据仓库和数据中心中的有价值信息。后者让企业可以从诸如Web页面、在线服务、传真、电子邮件、Lotus Notes数据库、协定和专利库之类的文本数据源中获取有价值的客户信息,Intelligent Miner for Text的功能包括识别文档语言,建立姓名、用语或其他词汇的词典,提取文本的含义,分组相似的文档,根据内容自动把文档归类等。

(四)前端分析工具DB2OLAP Analyzer

DB2OLAP Analyzer具备强大的报表功能,利用所见即所得的显示,在几分钟内便可帮助相关人员创建完善的报表。同时,DB2OLAP Analyze还提供了强大的图形化OLAP分析能力,决策人员可以根据需要排序、分组数据并改变“图表”的类型(如直方图、饼形图、线图、堆积图等)。图表中的元素可以被“钻取”到其他的细节层次,并可以返回来恢复一个概要性的视图。此外,DB2OLAP Analyzer还可使用复合报表(包含交叉表、图表、表格或以上几种形式的组合)来表现分析结果,对工作进行概括。

IBM的解决方案是比较典型的商业智能系统方案,居于基础层次的是数据仓库,Warehouse Manage负责对数据仓库的管理和数据的装入,DB2OLAP Server从数据仓库中获取数据,并对前端分析工具DB2OLAP Analyzer提供支持。Intelligent Miner则对数据仓库中的数据(包括结构化数据和非结构化数据,如文本信息)进行挖掘,寻找隐藏在其中的知识。

三、NCR Teradata商业智能解决方案

NCR公司是一家著名的计算机公司,向全球金融、零售、通信等领域的用户提供可扩展数据仓库、自助银行服务和商店自动化等系统整体解决方案。NCR Teradata公司是NCR公司的一个分部,专注于对数据仓库、数据挖掘等技术进行研究和开发,主要产品有Teradata Warehouse数据仓库解决方案、Teradata Warehouse Miner数据挖掘解决方案和针对零售业、电信、金融等行业的商业智能解决方案。本章第二节中所讲述的“啤酒和尿布”的实例就是NCR公司的成功案例之一。

Teradata Warehouse数据仓库解决方案从设计之初就明确针对海量数据的处理问题,具有很强的并行处理和扩展能力。这是它的一个显著特色。它的另一个特色是能将所有决策支持的数据库整合成一个可以集中管理的企业级数据仓库,率先实现了在单一集成的数据仓库内将传统分析型应用和全新操作分析型应用的成功整合。通过整合数据集市、操作数据存储(ODS)和执行数据采集等应用软件的分析型服务器,系统可以在同一个企业级数据仓库中将历史和最新的业务数据结合起来,进而作出更好的决策。

举例来说,在Teradata Warehouse数据仓库解决方案中,一个客户交易记录被实时地载入公司的企业级数据仓库。当系统识别出该交易是标有“瑕疵品”的订单退货,系统立即进行综合分析,查找该客户的历史购买记录、客户对公司的价值、选购产品的偏好、可替代产品,以及当前的存货情况等相关信息,通过对这些商务智能信息的分析,为客户确定一个更好的备选产品,并为该客户提供一定的折扣。公司的企业级数据仓库立刻把这个最新的提案传送到呼叫中心,客户随即会接到客服中心的致歉电话并收到最新的优惠提案。

Teradata Warehouse的这些特性使得范围更广的商业活动可以在单一的数据仓库中执行。实时的数据载入、被触发的事件、解析性分析、执行提案或行动,以及提案和行动的整合,完全可以通过单一版本的数据在统一的平台上完成。同时,企业可以执行传统数据仓库工作来识别更有价值的客户、目标营销项目、购物篮分析、产品预测分析,并根据数年的历史数据执行其他相关分析。

最新版的Teradata Warehouse数据仓库解决方案主要包括其旗舰产品Teradata Detabase V2R6.0、Teradata Tools和Utilities 8.0以及NCR 5380服务器。

NCR的另一重要产品Teradata Warehouse Miner数据挖掘解决方案,是挖掘大型数据仓库的强有力工具。它符合多种数据挖掘的标准,具有良好的可扩展性。Teradata Warehouse Miner最大的特点是“数据库内”(in-dbs)挖掘,客户使用Teradata数据挖掘解决方案后,可以直接在Teradata数据库中进行模型开发和模型部署,不用移动数据库中的数据就能够分析其中的明细数据,使数据挖掘的流程更为流畅。此外,Teradata Warehouse Mine还包含两项重要技术:①能够针对特定的关联数据对整个数据仓库进行分析,为进一步深入分析做好充分准备。②提供内建智能功能,即具有轮廓分析能力,能够自动识别数据模式和数据异常,将关键数据评估步骤自动化。这两项技术可以有效地提高数据挖掘的效率。

NCR Teradata在数据仓库和商务智能领域占有很高的市场份额,是高端数据仓库市场最有力的竞争者,产品性能较好,但是价格较高,仅适用于大型企业。

四、其他商业智能产品

(一)Business Objects商业智能平台

Business Objects公司是著名的商务智能解决方案提供商,其产品Business Objects (BO)是一个技术先进的商业智能平台,包括优秀的报表、查询和分析、分析应用、绩效管理和数据集成等功能。

Business Objects商业智能平台使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据,具有较好的查询和报表功能,提供钻取(Drill)等多维分析技术,支持多种平台(所有Windows平台及Unix平台)和多种数据库(如Oracle、informix、Sybase、Microsoft SQL Server、DB2、CA-Ingres、Teradata、Red Brick、FoxFro、dBase、Access等),同时它还支持Internet/Intranet,可以通过WWW进行查询、报表和分析决策。

最新版的Business Objects商业智能平台为更广泛的用户群提供了BI功能,它直接在Microsoft Office应用程序中嵌入商务智能,同时可以在商业智能平台上保护和管理Office文档。

Business Objects提供工具包括:①BusinessObjects,集查询、报表和分析功能于一体的前端工具。②Webintelligence,通过Web进行查询、报表和分析的决策支持工具。③Businessquery,第一个可以在Microsoft Excel中集成企业公共数据源中数据的工具。④Businessminer,面向主流商业用户的数据挖掘工具。

从严格意义上说,BO只能算是一个前端工具,但它的报表功能非常强大,几乎所有的商业智能平台都选用BO作为数据展现工具。

(二)Microsoft SQL Server 2005

作为世界上最大的软件厂商,微软在其数据库产品MS SQL Server上添加了大量商业智能组件,形成了MS SQL Server 2005这一商业智能平台。

MS SQL Server 2005主要包括以下部分:①DTS,数据转化服务,完成ETL功能。②SQL Server 2005关系数据库。③SQL Server 2005Analysis Services,包括多维数据库和数据挖掘功能。④SQL Server 2005Reporting Services,提供托管报告功能。⑤Microsoft Office产品,提供特殊的查询和分析功能。⑥SQL Server 2005Business Intelligence Development Studio,数据库开发工具。⑦SQL Server 2005SQL Server Management Studio,数据库管理工具。

Business Intelligence Development Studio和SQL Server Management Studio是MS SQL Server新加入的两个组件,前者一款专门为商务智能系统开发人员设计的集成开发环境,构建于Visual Studio 2005技术之上,它为BI系统开发人员提供了一个丰富、完整的专业开发平台。调试、源代码控制以及脚本和代码的开发均可用于所有的BI应用程序组件;后者则集成了对SQL Server 2005所有组件的管理。

作为一款商业智能平台,MS SQL Server 2005也是比较完整的,得益于微软丰富、全面的软件产品。例如,Office和Visual Studio,MS SQL Server 2005的功能可以方便地部署和开发,具有一定的应用前景。

一、商业智能的应用模式

迄今为止,商业智能还没有成功的应用模式,但是从应用范围的角度看,可以把商业智能的应用模式划分为两种:离散法和企业方法。

离散法是从企业中某一个局部的商业需求开始,尝试着进行商业智能的实施。这种应用模式一开始不需要建立企业级的数据仓库,而是以部门应用为驱动建立数据集市和多维数据库。随着企业商业需求的增多,根据实施效果,进一步构建数据仓库。新建立的数据仓库要和以前建立的数据集市/多维数据库共享一个数据源。这种应用模式的优点是容易实现、比较稳妥、回报快、三年ROI(投资回报率)较高,缺点是企业的逻辑数据模型是基于部门应用建立的,很难实现跨部门的决策支持。这种应用模式适合于中小企业构建商务智能系统。当大企业需要进行一些探索性实施时,也可以采用这种应用模式。

企业方法则是在企业所有领域全面实施商业智能,以支持企业的所有业务过程,满足跨部门的决策支持。这种应用模式的缺点是对企业的信息化程度、IT人员、业务人员的应用水平要求较高;所涉及的数据量非常大,需要建立企业级的数据仓库;需要用户花费大量的财力和时间,但在短期内看不到经济效益。但这种应用模式中,逻辑数据模型是根据企业需求构建的,可以灵活搭建出各种应用。同时,由于企业数据库的底层模型一般都设计的非常规范,当业务系统发生变化时,也不会影响后端的企业级数据仓库,可扩展性、灵活性都非常好。这种应用模式适合于IT基础较好、各种应用系统比较完备,数据规范、完备的大型企业。

二、商业智能的实施方法

商业智能的实施是一项相当复杂的系统工程,进行每一步实施都必须认真规划、仔细准备、制定详细的步骤。商业智能系统的实施过程分为前期准备、系统分析、系统设计、系统开发、系统上线与维护五个阶段。

(一)前期准备

在这一阶段,主要有四个任务:①保证主管领导全线参与。②保证业务人员的参与。③明确项目组成员。④制定项目开发进度。这些都是保证后续阶段顺利进行的必要条件。

在商业智能系统的各个实施阶段,都要保证主管领导的参与。商业智能系统的实施一般涉及不同的业务部门和IT部门的配合与协调问题,若没有主管领导的参与,在系统的开发建设过程中,就难以在各个部门之间进行有效的沟通,可能无法拿到需要的数据,进而影响项目的进展。

同样,商务智能系统的特点决定了在系统实施的各个阶段都要保证业务人员的参与。商业智能系统是业务驱动,而不是IT驱动,只有业务人员及时、主动、详细地提出业务需求,帮助实施人员分析各种业务问题,项目周期才能得到控制,系统最终才能顺利实施,并且得到有效利用。为了让业务人员与实施人员进行良好沟通,需要业务人员了解商业智能的基本概念、系统架构、商业智能能带来什么好处等,因此在前期准备阶段,还需要对业务人员提供一定的技术培训。

为了保证商业智能系统项目的顺利进行,需要指定专人参与到系统建设中,即要明确项目组的成员。项目组一般由企业领导挂帅,其他成员包括IT部门、各职能部门的主管,相关业务人员,实施人员等。

项目组成员名单确定的同时,还需要制定项目开发进度,明确规定各后续阶段所用的时间及各阶段所应完成的任务,保证后续工作有章可循。

前期准备过程中,可根据需要开办企业全体人员参加的动员会,强调商业智能系统的重要性,普及商业智能的基本知识,宣布项目组成员及项目开发进度。

(二)系统分析

商业智能系统分析,主要是对商业需求和信息来源进行分析。该阶段的重要性不言而喻:如果做得不好,不仅后续阶段无法进行,严重影响项目实施进度,还有可能导致上线后的商业智能系统可用性差,造成人力、物力的大量浪费。

在分析商业需求时,项目实施人员要与企业IT经理、业务部门的相关人员不断交流、反复沟通,充分理解和收集主要的业务需求、报表需求等。同时,根据企业信息化现状,共同找出可以改进的报表体系和业务需求中需要改进的地方,并将所有沟通结果文档化。在分析商业需求时,经常询问业务人员的问题包括:业务人员所在部门承担的任务是什么?业务人员本身所承担的任务是什么?为了完成任务,业务人员需要用到哪些报表?

在商业需求初步确定后,即对商业需求进行规划后,项目实施人员应与企业IT经理、业务人员进行深层次的交流,主要目的是对比规划的商业需求满足现有业务需求的程度,并根据对比结果及时修正并确认业务人员对商业智能的需求,包括报表的需求、分析模式的需求等。

信息来源分析主要是对可能的信息来源进行调查,包括从顾客服务、商品销售、存货采购、会计财务、人力资源、市场调查与电子商务等相关系统中考察可以收集的信息源。在分析信息来源时,经常询问业务人员的问题包括:对于用户需要的报表信息,从哪里可以得到?这些信息得到后如何进行处理?这些信息是根据用户需要产生的,还是在定期报表中产生的?

在对信息来源进行调查时,可能会发现有些信息源凌乱不堪、难以获取。一定要在信息来源分析阶段花费足够的时间来充分研究这些信息源,将凌乱的数据规范化,提高后期建立数据仓库时的效率。

在明确了商业需求和信息来源之后,实施人员就进入到系统设计阶段。

(三)系统设计

商业智能系统设计,包括系统拓扑结构设计、软硬件产品选型、数据仓库设计、数据挖掘设计、终端用户应用程序设计6个部分。

1.系统拓扑结构设计。在设计系统拓扑结构时,有两种拓扑可供选择:一种是“Hub &Spoke”;一种是集中式。这两种拓扑结构如图8-4所示。

图8-4 商业智能系统拓扑结构

“Hub &Spoke”如图8-4(a)所示,是传统的商业智能系统拓扑结构,最上层是业务系统;中间层是中央数据库,负责统一数据存储和刷新数据集市;再下层是数据集市,负责提供信息访问;最底层是前端显示,供业务人员使用。之所以把这种结构称为“Hub and Spoke”,是因为中央数据库汇集了来自各业务系统的数据,同时也负责向各从属数据集市提供信息,看上去像一个Hub(轮轴)一样。而业务人员在进行数据分析与信息访问时将根据需要连接到不同的数据集市,这种交叉复杂的连接看上去就像Spoke(辐条)一样。

“Hub &Spoke”解决了企业内统一数据存储模型的问题,实施比较容易,前期投入少。但从实际应用的效果来看存在一些缺陷:①数据冗余比较严重,难以保证数据的一致性。②业务人员对信息的访问不方便,很难跨数据集市或跨部门进行信息分析。③层次相对较多,导致数据采集较缓慢,从业务系统到用户访问的数据延迟也比较大。④随着时间的推移,数据的增多,需要增加数据集市,后期投入和维护成本较高。

“集中式”的架构如图8-4(b)所示,它与“Hub &Spoke”最主要的差别在于将数据集市分成物理数据集市与逻辑数据集市两种。物理数据集市设立在中央数据仓库之外,具有专门的软硬件设备。逻辑数据集市设立在中央数据仓库之内,由在基础数据之上形成的小结表或者逻辑视图组成。业务人员既可以访问物理数据集市中的多维立方体,也可以访问中央数据仓库内的小结表或者逻辑视图。其中,物理数据集市可考虑使用OLAP服务器,因为基于OLAP服务器的数据集市比基于RDBMS的数据集市容易维护,规模也相对较小。

“集中式”架构的中间系统非常庞大,是一个集中的企业级数据仓库,采用符合数据库范式理论(即第三范式)的存储模型来保存基础数据,从而为整个企业提供一致的信息视图。它又划分了几个层次:①数据转换与缓冲区,借助数据仓库引擎强大的查询处理能力,通过SQL实现数据的转换和清洗,作为对ETL工具的补充。②详细的基础数据,将①处理后的数据按照数据库设计的基础理论进行存储。③逻辑数据集市,主要是按照业务需求,建立视图和小结表,加快用户的访问速度。

具体要选择哪种拓扑结构,需要根据企业的预算、数据的规模、IT人员的技术水平等方面考虑。拓扑结构确定后,就可以选择具体的商业智能产品,即软硬件产品选型了。

2.软硬件产品选型。在进行商业智能产品选型时,首先应了解商业智能应用中涉及的各种产品在系统中扮演的角色和该角色需要的关键素质。根据这些特性,结合行业技术发展方向对产品进行筛选。

具体说来,在ETL产品方面,由于其工作量要占整个系统工作量的70%左右,因此ETL工具的选择一定要非常慎重。能够连接各种数据源是最基本的要求,其他应该考虑的问题有:能否加入客户自定义的数据转换编码,管理调度是否完善,能否支持XML等多种形式数据的接入,有没有数据质量监控的功能等。此外,还应考虑可伸缩性、与现有数据库系统和其他系统的兼容性等。

在数据仓库存储管理部分,关系数据库仍是市场的主流。在选择具体产品时需要考虑的问题是:数据库系统的开放性、大规模并行处理的支持程度、在系统需要扩充时扩展性的好坏以及需要维护的工作量。同时,由于关系数据库对决策分析的扩展支持在数据仓库的性能上起到重要的作用,而这些技术各厂商的产品支持程度有很大的不同,因此必须仔细研究各厂商的产品手册,同时事先了解各种优化策略的适用范围和限制,并根据自身企业应用的特点进行选择。

选择数据挖掘产品时应考虑的因素很多,如计算性能、功能性、可用性、辅助性能等。计算性能包括支持的商业平台,软件的架构,能否连接不同的数据源,扩展性,稳定性等;功能性包括是否提供足够多样的算法,能否避免挖掘过程黑箱化,算法能否应用于多种类型的数据,用户能否调整算法和算法的参数,能否以不同的形式表现挖掘结果等;可用性包括用户界面是否友好,软件是否易学易用,软件面对的用户是初学者、高级用户还是专家,适用于某一专业领域还是多个领域等;辅助功能包括是否允许用户更改数据集中的错误值或进行数据清洗,是否允许值的全局替代,能否将连续数据离散化,能否根据用户制定的规则从数据集中提取子集,能否将数据中的空值用某一适当均值或用户指定的值代替,能否将一次分析的结果反馈到另一次分析中,等等。此外,还应考虑与数据仓库系统的集成和配合等。

3.数据仓库设计。产品选型确定以后,开始设计数据仓库。数据仓库设计主要包括概念模型设计、逻辑模型设计、物理模型设计、ETL规则设计。

在系统分析阶段,已经对企业的信息源有了充分了解,在此基础上进行数据仓库的概念模型设计。概念模型设计的目的就是要在原有数据库的基础上建立一个较为稳固的概念模型,即通过对原有数据库系统的分析理解,站在企业全局的角度,为来自各个面向应用的数据库的数据建立一个统一的概念视图。

逻辑模型设计的主要任务是对每个需要装载的主题的逻辑事先进行定义,为数据仓库提供元数据。在设计逻辑模型时,不仅要考虑最初分析的主题域,还要兼顾其他管理决策的主题需求以及报表查询主题的需求。

物理模型设计主要是根据数据的使用频度、使用方式、使用规模和响应时间等因素确定数据的存储结构、索引策略、数据存放位置、存储分配等。

ETL规则设计包括数据抽取设计、数据转换和数据加载设计。数据抽取设计主要是设计接口,保证数据可以从数据库、文件或其他来源进行抽取。数据转换设计是个很烦琐的过程,具体包括空值的转换、数据的拆分、缺失数据的替换等。数据加载设计包括设计数据加载周期、数据追加策略等。

4.数据挖掘与终端应用程序设计。数据挖掘设计是根据数据挖掘的目的,即在系统分析阶段所确定的业务需求,进行数据选择,进一步选择适用的挖掘算法,如关联规则、聚类检测、决策树、神经网络、遗传算法、支持向量机等。

终端用户应用系统设计主要用于确定以何种形式将联机分析处理、数据挖掘分析的结果呈现给用户。

(四)系统开发

系统开发阶段的主要任务是创建数据仓库、设置各种软硬件产品的具体环境。

在系统设计阶段,我们已经进行了数据仓库的概念模型设计、逻辑模型设计、物理模型设计和ETL规则设计,接下来就需要将数据装入到数据仓库中,并在其上应用数据挖掘和OLAP,建立数据仓库的应用。具体实现是运用选用的ETL工具,使用在系统设计阶段中得到的ETL规则,对数据进行抽取、转换、清洗,最后把数据装入数据仓库。除了使用ETL工具外,可能还需要实施人员手工编制一些接口程序,完成从操作型环境到数据仓库环境的数据抽取、转换与集成。在创建数据仓库的过程中一定要确保数据质量,即保持数据仓库中的数据与业务数据的一致性。

设置各种软硬件产品的具体环境是指安装在系统设计阶段所选择的软硬件产品、添加用户信息、设置用户权限等。

(五)商业智能系统上线与维护

当数据仓库创建完毕、各种软硬件也已经到位后,商业智能系统就可以上线了,即商业智能系统投入使用。具体地说,商业智能系统上线,是指应用所选择的数据挖掘算法和OLAP工具,提炼数据仓库所包含的数据背后的潜在知识,进一步辅助决策。在系统上线的过程中,可能要参照以前老系统的运行结果,对新构建的商业智能系统中的各种参数进行调整,保证系统的实用性、准确性。

虽然商业智能系统的目的是辅助决策,但并不是说该系统只应提供给高层领导使用,在实际应用中,很多决策是由位于企业中下层的一些业务人员作出的。因此,商业智能系统在上线后要注意平民化,即实现信息的集体分发,打破以往信息专递(给领导)的弊病,让更多的业务人员参与商业智能系统的应用,并将商业智能系统融合到日常工作中。

商业智能系统的维护与其他系统有着本质区别,商业智能系统在运行过程中,不仅需要处理例行的分析要求,如部门统计分析、报表分析等,还需要处理启发式的分析要求,这些启发式的分析要求随机性很大,因此需要根据用户的使用情况和反馈的新分析要求,不断对系统进行完善。此外,商业智能系统的维护工作还包括管理数据仓库的一些日常活动,如刷新数据仓库的当前详细数据、将过时的数据转化成历史数据、清除不再使用的数据、调整力度级别等。另外,维护工作还包括通过数据库稽查对系统安全信息进行管理,对系统效率进行管理等。

概括起来,商业智能系统的实施,一般包括以下过程:①前期准备:确定参与人员与项目进度。②系统分析:对企业的商业需求和信息来源进行分析。③系统设计:结合商业需求和现有信息源,详细设计商业智能系统涉及的各个模型、结构、子系统、模块和工具。④根据系统设计结果,填充数据仓库,搭建实际的系统。⑤系统的上线与维护:对系统进行实际应用、调整和各种维护。从这一过程可以看出,商业智能系统的实施涉及的人员众多,系统复杂,实施过程长,花费高,因此企业在实施商业智能系统的过程,必须具有全盘考虑,并予以高度重视,否则可能会事半功倍,达不到预期的效果。

一、海关总署应用商业智能案例

(一)案例背景

人类已进入信息网络时代,经济全球化的进程空前加快,面临新形势、新机遇、新挑战,海关必须深化改革,加快建立现代海关制度,强化宏观业务指导,实现职能转变。同时,海关总署必须有效监督下属各关区依法征管情况,做到依法治税,必须加大税收监控力度,杜绝偷税漏税,确保应收尽收。

目前,海关总署以及各直属机关已经建立起了各种业务系统,有着比较丰富的信息技术应用基础,也积累了相对丰富的历史数据,但这些业务系统中的数据各自独立,一些综合性的功能,例如,税收动态的随时了解、征管质量的评估、风险管理要素的发现等尚不能满足要求。而这些功能,对决策来说,比各种独立业务系统所能提供的各种支持具有更加重要的意义。鉴于以上原因,海关总署决定运用商业智能技术构建关税分析监控系统。

(二)系统目标

该系统的目标是:基于数据仓库、联机分析、数据挖掘等技术,为海关业务部门和管理部门的管理者提供一个有助于实现“科学决策、强化监督、当好参谋、服务基层”的信息处理工具。

具体来说,关税分析监控系统需要达到以下目标:①随时掌握税收动态。②监督税收依法征收状况。③提出风险管理要素。④评估征管质量。⑤强化业务宏观指导。⑥促进规范操作。⑦提供科学决策。

(三)系统框架与实施效果

关税分析监控系统包括前端软件系统与项目实施两大部分,整个项目涉及广泛的技术与产品。

系统的商业智能软件平台使用的是微软公司的产品,包括通用的关系数据库平台SQL SERVER、联机分析引擎ANALISYS SERVICE和集成的ETL工具平台DTS。前端软件系统是由菲奈特公司广州研发中心开发的独立产品软件BI.Office。

图8-5是关税分析监控系统的结构图。如图所示,关税分析监控系统的数据源来自报关单库、税单库、减免税管理系统、加工贸易管理系统、价格资料系统、商品归类数据库、APP参数库等,企业库的全部数据通过DTS控制的清洗转换和加载过程转入以SQL SERVER为引擎的数据仓库,通过DTS控制的数据装载,保存在以ANALISYS为引擎的多维数据库中。

图8-5 关税分析监控系统结构图

BI.Office通过中间层BI.Office Application Server访问数据,向用户提供商业智能服务。

实施后的关税分析监控系统全面解决了海关过去各IT系统中在报表统计方面存在的问题。例如:①原有各系统缺乏全面、深入的分析功能,关税分析监控系统提供专门的OLAP、DM分析技术。②原有报表系统速度太慢,某些报表需要几十分钟以上,关税分析监控系统生成报表的速度平均可以达到5~20秒。③原有报表系统产生的报表存在较多的数据错误,关税分析监控系统在业务统计规则和数据转移方面能够保证数据的准确。④在原有报表系统中,一旦统计报表的格式和规则发生变化,就需要开发相应的新程序,而关税分析监控系统无须编程,即可快速地对报表的格式和规则进行调整,或产生新报表。⑤原有的汇总报表需要在多个系统中生成;关税分析监控系统在一个系统中覆盖了所有现存的各种汇总报表。

(四)系统特色

1.日常经营统计数据的灵活获取。关税分析监控系统分析的主题涉及海关广泛的业务数据,包括减免税、加工贸易、保税等等,对海关全方位的业务提供分析功能。

2.灵活的分析角度组合。可对六大分析要素:关区、商品、税收、企业、原产国别和贸易方式进行任意的组合分析,可对分析角度任意的层次行进行灵活钻取,可对分析结果进行旋转、切片等操作,这些功能保证了海关能够实时、灵活、高效地得到各种有用的统计信息。

3.支持各种指标的计算。对于海关关心的重要指标(如实征关税平均税率、实征综合平均税率、理论关税平均税率、理论综合平均税率、每吨进口货物货值等)在分析角度灵活排列组合的情况下,能够迅速准确地得到分析结果。同时,可以根据所需的测量指标和计算指标的同期比,通过自定义计算公式进行临时分析。

4.灵活的报表功能。海关的报表非常复杂,关税分析监控系统可以让用户自定义报表格式,随心所欲地在报表中嵌入分析结果,并可以保存报表的定义以供多次使用。同时,关税分析监控系统还可以处理特殊形式的报表,如列表形式的报表等。

5.辅助决策信息的获取。包括告警———关税分析监控系统可以对指标超出正常范围的情况迅速作出反应,向用户发出告警信息,对于指标可能超出范围的情况,可根据预测的结果向用户告警,帮助用户检测公司的安全运营;自动寄发分析统计结果———关税分析监控系统可以根据用户的定制,定时向用户寄发分析统计报表和图形,主动向用户提供信息,提高了用户的工作效率。

二、某银行应用商业智能案例

(一)案例背景

某银行是一家大型国有银行的省级分行,拥有数万员工。该银行以前建立了综合业务网,每一笔发生的业务都记载在数据库中。但由于所有的数据都位于总行,各分支机构如果需要了解数据,必须先去上级银行取得相应的数据,给日常工作带来了极大的麻烦,也消耗了大量的人力、财力和物力。另外,在过去的业务系统中,信贷和总账系统只能实现浅层次的数据共享,即便是最高管理层在系统内看见的数字也非常少,跨系统的数据无法同时获取,很难对不同业务之间的数据进行对比以进行业务上的决策。

为了实现数据的集中与共享,并充分地利用集中的数据,实现业务和管理集中,进一步提升银行的竞争力,该银行决策层决定构建商业智能系统。

(二)解决方案综述

该商业智能系统以中央数据仓库为核心,分为两大部分:①以中央数据仓库规划及数据获取为目标的后台数据仓库的建构。②以业务功能规划及信息展现为目标的前端商业智能应用。

项目组技术人员分为三个大组:系统架构组、数据仓库ETL组和应用组。系统架构组负责管理信息平台的技术体系规划;数据仓库ETL组负责数据仓库的数据组织和数据获取,主要关注源数据分析,将管理信息平台所涉及的源系统数据通过ETL过程加载到中央数据仓库;应用组负责业务需求的分析和应用平台的搭建,主要关注业务需求分析,然后从中央数据仓库中找出数据,加工处理成业务要求的数据。

该解决方案所涉及的软件可以划分出下面的层次:系统层、数据库层、功能层、应用层。系统层与数据库层的软件必须是现有的软件产品,该银行管理信息平台采用了IBM的RS/6000及AIX操作系统,关系型数据库选用IBM DB2,多维分析数据库选择IBM OLAP Server。

在应用层和功能层的技术实现上,该解决方案将其分为以下几大部分,并分别采取了以下不同的实现策略。

1.数据仓库ETL。该银行使用了合作伙伴研发的ETL工具,这个工具通过全脚本配置的方式完成ETL全过程,支持多种主流数据库并支持并行作业处理,较之通用的ETL工具,它的功能更为切合实际,价格便宜。

2.数据集市ETL。数据集市ETL的模式要比数据仓库ETL简单,但数据变换的复杂度却高得多。基于实用化和运行效率的考虑,数据集市ETL采用数据库存储过程来实现。

3.多维数据集市。选用IBM OLAP Server作为多维数据库。

4.前端信息展现。经过多方比较采用Business Object作为信息平台前端展示的辅助工具,系统项目组结合BO的报表特性对其进行二次开发,完成了Web展示界面的开发工作。

5.系统集成门户。Portal是一个完全独立的软件领域,主要完成应用集成及权限、认证等工作,该系统采用了现成的软件产品。

6.应用系统开发。在该项目中,大多数应用系统都采用了商务智能的标准模式(根据应用主题建立数据集市,然后通过前端展现工具读取数据集市数据,生成分析图表和固定报表)进行开发,对于复杂的应用需求,如绩效考核等采用独立系统开发模式来实现。

在实际应用上,项目人员根据实际情况,将商业智能平台的业务需求划分为企业报表、统计分析、决策支持三个层面,企业报表用于实现管理部门的固定业务报表,包括资产负债、绩效考核、客户分析、风险管理、财务分析等五个应用专题;统计分析用于实现企业的全面统计分析要求,这一层面的需求要通过对业务部门进行引导式的访谈来进行发掘整理;决策支持层引进决策分析模型,通过大量的数据计算对某一个专题进行推演,确定其可行性和最优方案。

根据这一思路,项目组进行了整体业务系统框架规划,将企业报表单独作为一个应用子系统,同时根据当前银行信息管理领域的需求归纳了五个应用专题:资产负债、绩效考核、客户分析、风险管理、财务分析。而对于决策支持层,系统留出高级应用分析专题供以后的需求扩展。业务应用专题的确定为业务需求分析指定了明确的目标,需求分析得以更为有效地进行,并对不同的应用专题采用不同的开发方式,最终完成了管理信息平台业务应用层的开发。

(三)实施效果

通过该商业智能系统,实现了行内所有数据的集中和共享,需要的数据都可以在这个系统中按照正确的模式自动计算,同时计算时间大大减少,以前需要半个月才能得到的数据,现在只需要几分钟就可以得到,企业效率得到大幅提高;通过该商业智能系统,构建了一个数据共享平台,总行和各分行直接完全实现了数据共享,节约了大量的人力、财力和物力;通过该系统,能够进行复杂的、直接服务于管理层的计算,有效辅助决策。

思考题

1.什么是商业智能?商业智能系统的三个技术要素是哪些?

2.数据仓库的主要特征是什么?

3.OLAP都有哪些基本多维分析操作?

4.常用的数据挖掘技术有哪些?

5.简述商业智能系统与企业资源规划、客户关系管理、企业应用集成的关系。

6.商业智能的应用模式有哪些?

7.简述商业智能系统的实施过程。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈