CADAL数字图书馆云计算技术应用

9.1.3.1.云计算技术的分类

1.海量分布式存储技术

为了保证数据存储的高可靠性、高可用性和高经济性,云计算的数据存储方式采用分布式存储方式来存储数据,采用冗余存储方式来保证存储数据的可靠性,采用高可靠软件来解决低成本硬件的不可靠性,从而提供廉价可靠的系统。为了满足大量用户的需求,云计算的数据存储技术必须具备高传输率和高吞吐率的特征。目前,云计算数据存储系统主要有GFS(Google File System)、HDFS(Hadoop Distributed File System)等系统,其中GFS由Google公司开发,HDFS是由Hadoop开发团队开发的开源系统。当前,很多国际知名的IT公司,如Yahoo,Intel等的“云”计划都是采用HDFS的数据存储技术。

2.并行编程模式

为了实现云计算资源的高效利用率,让用户能够更加便捷、轻松地使用云计算带来的服务,云计算的应用系统编程设计模式必须保证后台任务的复杂并行执行,同时后台的任务调度还要向编程人员以及用户保持透明。为此,云计算采用的是Map-Reduce并行编程模式,它能将任务自动分成多个子任务,通过Map和Reduce两部分实现任务在大规模计算节点中的计算、调度与分配。

3.数据管理技术

为了向用户提供高效的各种各样的应用服务,云计算数据管理技术要具备对大数据集的高效管理能力,并且能对大数据进行进一步处理和分析。另外,云计算数据管理技术还要解决海量数据的检索、挖掘、分类等问题。云计算的数据管理通常采用列存储的数据管理模式,该模式能保证海量数据存储和分析性能。目前,最著名的云计算数据管理技术是Google公司开发的Big Table数据管理技术。另外,Hadoop开发团队也开发了类似于Big Table的开源数据管理模块HBase。

4.分布式资源管理技术

在云计算的多节点并发运行环境中,分布式资源管理系统是确保各类系统运行状态正确性的核心关键技术之一。要确保各类系统运行状态在不同节点之间同步,当关键节点出现故障时能够有效迁移服务,分布式资源管理技术采用了锁机制协调多任务方式对资源进行管理和使用,从而保证数据操作的一致性,其中,Google的Ghubby是最优秀的分布式资源管理系统之一。

5.云计算平台管理技术

云计算的资源规模可以很庞大,也可以很小。一个超大型的云计算系统可以拥有10万台以上服务器,而且分布在不同区域的数据中心内,同时运行着成百上千种应用系统。如何确保这些服务器能得到有效的管理,并保证这些服务器上的系统能提供7×24小时不间断的服务,这就需要一个独立的云计算系统。云计算系统管理技术作为云计算的“神经网络”,能够让大量服务器进行协同工作,能方便地进行系统部署和服务开通,同时能够快速发现并及时、自动地恢复系统故障。云计算系统管理技术也通过自动化、智能化的手段实现大规模系统的可运维、可管理。

6.绿色节能技术

采用云计算的目的之一是降低成本,它可以有效地降低服务器的采购成本,从而也降低因服务器运行所需的电源能耗和冷却数据中心的空调电源能耗。为了进一步降低成本,云计算在绿色节能技术上也进行了大量探索。例如,Google公司为了节省电源能耗,在比利时的数据中心降温系统采用室外空气进行自然冷却。

9.1.3.2 云计算的特点

1.超大规模

云计算系统规模非常庞大,如Google云计算已经拥有100多万台服务器。另外,IBM、亚马逊、微软、雅虎、甲骨文等公司推出的“云”都拥有几十万台服务器。很多国际大型企业私有云一般也拥有数百上千台服务器。^[9]

2.虚拟化

云计算支持用户在任何地点、任何时间使用任何终端都可以获取应用服务。服务请求的资源都来自“云”,而不是传统的、有形的、固定的服务器资源。用户无须关心、了解,也不用担心应用服务运行的具体位置,只需要一个终端,如台式机、笔记本、手机、iPad等,就可以通过网络服务来访问“云”中的应用服务,甚至包括超级计算这样的应用服务。

3.高可靠性

“云”采用数据多副本容错技术和计算节点同构可互换技术等相应措施来保障云服务的高可靠性,使用云计算比使用本地计算机更加可靠。(www.xing528.com)

4.通用性

云计算适用于任何的应用服务,在云计算环境中可以方便地构造出具体应用系统所需的环境,同一个云计算系统可以同时支撑不同的应用运行。

5.高可扩展性

云计算系统的规模可以根据实际应用动态伸缩,满足应用和用户规模动态变化。

6.按需服务

云计算系统是一个庞大的资源池,可以根据实际应用需求购买并计费。

9.1.3.3 云计算的优势

1.性价比高

云计算可以作为分布式系统提供给用户使用,因此比传统的集中式系统具有更好的性价比,同时用户还可以获取高效能的计算。现实中的大多数应用本身就是分布式的,如大型企业应用,管理部门和实施部门不在同一个地方的应用。

2.可靠性高

云计算具有高可靠性,它所具有的大型分布式数据中心具有高度的容错机制,同时也通过分布式实现了高可靠性。

3.扩展灵活

可以通过水平伸缩的方式来动态伸缩系统的设备规模,同时添加高性能的大型机所需要的费用肯定比添加几台个人计算机的费用高得多。

4.提高资源利用率减少初期投资

云计算模式可以使多个企业共同使用一个基础设施中的硬件资源,避免大量资源的闲置浪费。同时,也可以减少企业在业务初期的投资,降低其运营成本,有效地规避财务风险。

5.降低管理开销

对于云计算的用户来说,除了降低IT的使用门槛外,更重要的是云平台还帮助用户实现了应用的自动化管理。从软件应用的运行和管理来讲,云计算的出现能够使用户获得更高的灵活性。

6.推进专业分工

云计算提供者普遍采用大规模的数据中心,比中小型数据中心或是一个企业的数据中心更专业,管理费用更低廉,提供单位计算所需的成本也更低廉。这样,专业的云计算提供者就可以将更多的科研经费、资源和精力投入云计算设施的技术革新中。