关键技术解析：云计算

如何通过网络更好地共享数据资源和计算资源一直是产业界和学术界重要的研究课题。当前兴起的云计算技术使用相对集中的计算资源为各种分布式应用提供服务,可以极大地提高计算资源的利用率,使用户以简单和低成本的方式来按需使用计算资源,从而为用户提供更优质的服务。云计算是一种新的计算资源提供方式,已经成为学术界和产业界的研究热点。

网格是经过较长时间发展起来的一种重要的计算资源提供技术。网格是指利用互联网把地理上广泛分布的各种资源包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等连成一个逻辑整体,就像一台超级计算机一样,为用户提供一体化的信息和应用服务计算、存储、访问等。

云计算(Cloud Computing)被看成是对分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展和商业实现,而且云计算和网格都强调将大量分布式的计算资源组合成一个巨大的资源池,并将计算资源作为一种效用提供给用户使用,而不管计算资源是如何和在何处实现的。

由于网格计算目前不能作为一种提供普遍计算资源的工具,而云计算技术使用相对集中的计算资源为各种分布式应用提供服务,实际上承认了资源的异构性,资源由一个云计算平台内同构的计算资源来构成,同时将计算资源服务的对象扩大为各种普适的应用,在当前的技术条件下成为一种可行的计算资源提供方式。

数据中心是现在被大规模采用的主流计算资源提供模式。数据中心可以被分为IDC和DC,数据中心通过网络向网络企业和传统企业提供大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络带宽服务以及各种数据处理业务。但传统数据中心里面的计算资源利用率很低,按照现有统计大概只有15%左右。

而采用云计算技术后,用户只需要一台很简单的网络访问终端就可以即时获得高性能的计算能力、海量的存储和高速的带宽,而当用户对计算资源的需求减少或不再需要时,即可快速取消对资源的占用。

云计算技术具有可以大幅度降低用户使用IT资源的成本,提供强大的计算资源和优质低价的服务等优势。此外,云计算技术还具有以下优势。

(1)虚拟化技术。现阶段云计算平台的最大特点是利用软件来实现硬件资源的虚拟化管理、调度及应用。用户通过虚拟平台使用网络资源、计算资源、数据库资源、硬件资源、存储资源等服务,与在自己的本地计算机上使用的感受并没有什么不同,而在云计算中利用虚拟化技术可极大地降低维护成本和提高资源的利用率。

(2)灵活定制。在云计算平台中,用户可以根据自己的需要或喜好定制相应的服务、应用及资源,云计算平台可以按照用户的需求来部署相应的资源、计算能力、服务及应用。

(3)动态可扩展性。在云计算平台中,可以根据用户需求的增长将服务器实时加入到现有服务器群中,提高“云”的处理能力,如果某个计算节点出现故障,则可以根据相应策略抛弃该节点,并将运行在其上的任务交给别的节点运行,而节点在故障排除后,又可以实时加入现有的服务器集群中。

(4)高可靠性和安全性。在云计算中,用户数据被存储在云中,而应用程序也在云中运行,数据的处理交由云来执行。云提供数据备份和自动故障恢复功能,如果云中的一个节点出现故障,云会自动启动另一个节点来运行程序,这保证了云中应用和计算的正常进行,用户端可以不对数据进行备份,数据可以在任意点恢复。而且为了提供可靠和安全的云计算服务,其本身具有专业的管理团队,以提供良好的数据安全服务。

(5)高性价比。云计算对用户端的硬件设备要求很低,用户端只需要具有简单访问网络的功能和数据处理能力。和云的强大计算能力以及将来高速的网络速度相比,云计算中用户端的处理能力看起来更像一个输入和输出设备。而用户端的软件也不用购买和升级,只需要从云中定制就可以,服务器端则可以用价格低廉的组成云,计算能力却可超过高性能的计算机,用户在软、硬件维护和升级上的投入大为减少。

(6)数据、软件在云端。在云计算平台中,用户的所有数据直接存储在云服务器端,在需要的时候直接从云端下载使用用户所需要的软件并统一部署在云端运行,软件维护由服务商来完成,当用户端出现故障或崩溃时,用户对软件的使用并不受影响,用户只需要换个用户端就可以继续自己的工作。

(7)超强的计算和存储能力。云计算用户可以在任何时间、任意地点、采用任何可以访问网络的设备登录到云计算系统,就可以便捷地使用云计算服务。云端由成千上万台甚至更多的服务器组成服务器集群,提供海量的存储空间和高性能的计算能力。(www.xing528.com)

云计算具有以下关键技术。

1.能源管理技术

在大、中型数据中心中,不仅需要在服务器等计算机设备上消耗电量,而且还要在降温等辅助设备上消耗电量。一般而言,在计算设备上所消耗的电量和在其他辅助设备上消耗的电量是差不多的。也就是说,如果一个数据中心的计算设备耗电量是1,那么整个数据中心的耗电量就是2。而对一些非常出色的数据中心,利用一些先进技术,耗电量最多也就能达到1.7,但是谷歌公司通过一些有效的设计,使部分数据中心到达了业界领先的1.2,在这些设计中,其中最有特色的是数据中心高温化,也就是让数据中心内的计算设备运行在偏高的温度下。但是在提高数据中心的温度方面会有两个常见的限制条件:一种是服务器设备的崩溃点;另一种是精确的温度控制。只要能保证这两点,系统就有能力在高温下工作。云计算界的顶级专家James Hamilton认为,虽然计算机的处理器单元十分惧怕高温,不过与硬盘和内存比起来还是强得多,他希望在将来能够使得数据中心在40℃以下运行,这样不仅可以节省温控的成本,并且对保护环境也非常有利。

2.虚拟化技术

虚拟化技术是实现云计算的最基础的技术,其实现了物理资源的逻辑抽象和统一。利用该技术可以提高物理硬件资源的使用效率,根据用户的需求,对资源进行灵活快速的配置和部署。

在云计算中,通过在物理主机中同时运行多个虚拟机从而实现虚拟化。在云计算平台中,平台始终保持着多台虚拟机的监视以及资源的分配部署。

为了使用户可以“透明”地使用云计算平台,通常使用虚拟化技术来实现分割硬件物理资源的实体。通过切割不同的硬件资源,将这些资源再组合成所需要的虚拟机实例,这样,就通过虚拟化技术在平台上为用户提供了不同的云计算服务。由于以上的解决方法使得一个物理硬件资源不断地被复用,因此也让虚拟化技术成为提高服务效率的最佳解决方案。

一般而言,虚拟化平台可分为三层结构:最底层是虚拟化层,提供最基本的虚拟化能力支持;中间层则为控制执行层,所有对虚拟机进行的操作指令由该层发出;顶层是管理层,对控制层进行策略管理、控制。平台包含虚拟资源管理、虚拟机监视器、动态资源管理、动态负载均衡、虚拟机迁移等功能实体。

3.海量数据管理技术

云计算系统需要高效率地进行数据处理和分析,并且同时还要为用户提供高性能的服务。因此,在数据管理技术中,如何在规模如此巨大的数据中找到需要的数值就成为核心问题。数据管理系统必须同时具有高容错性、高效率以及能够在异构环境下运行的特点。而在传统的IT系统中普遍采用的是索引、数据缓存和数据分区等技术。而在云计算系统中,由于数据量大大超过了传统系统所拥有的数据量,所以传统系统所使用的技术是难以胜任的。

目前,在云平台系统中被广泛使用的是由谷歌公司针对应用程序中数据读操作占比高的特点所开发的Big Table数据管理技术。有了Big Table技术,并结合基于列存储的分布式数据管理模式,就为海量数据管理提供了可靠的解决方案。

4.分布式存储技术

云计算系统由大量服务器组成,同时为大量用户服务,为了能够保证数据的可靠性,采用冗余存储的方式存储海量数据。分布式文件系统就是一种采用冗余存储方式进行数据存放的系统。它是在文件系统上发展起来的适用于云平台的分布式文件系统。对于数据存储技术来说,高可靠性、I/O吞吐能力和负载均衡能力是它最核心的技术指标。在存储可靠性方面,平台系统支持节点间保存多个数据副本的功能,用以提高数据的可靠性。在I/O吞吐能力方面,根据数据的重要性和访问频率,系统会将数据分级进行多副本存储,而热点数据并行读写,从而提高了I/O吞吐能力。在负载均衡方面,系统依据当前系统负荷将节点数据迁移到新增或者负载较低的节点上。云平台提供了一种利用简单冗余方法实现海量数据存储的解决方案。该方案不仅满足了存储可靠性的要求,还有效提升了读操作的性能。