云计算核心技术：高效管理海量数据和平台

1）虚拟化

虚拟化是将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中，如图7.10所示。其特点如下：

图7.9　云计算对未来动态IT架构的支撑

图7.10　虚拟化

·软件必须与硬件相结合；

·每台机器上只有单一的操作系统镜像；

·每个操作系统只有一个应用程序负载；

·每台机器上有多个负载；

·软件相对于硬件独立；

·虚拟化技术提高了资源利用率。

虚拟化技术及其功能如表7.2所示。

表7.2　虚拟化云平台关键技术

以虚拟化为基础，采用分布式计算和存储，结合优化的硬件，通过集群化运维管理系统，实现计算、存储、网络等资源的动态分配及部署，真正实现“按需取用”。

（1）计算虚拟化。

使用虚拟化技术，将多台服务器的应用整合到一台服务器上的多个虚拟机上运行，如图7.11所示。其CPU占用率如图7.12所示。

图7.11　应用整合

图7.12　一台服务器虚拟化整合五个应用后的CPU利用率

计算虚拟化提高了服务器资源的利用率，安全可靠地降低了数据中心TCO（总拥有成本）。

（2）分布式存储（见图7.13）。

图7.13　数据的分布式存储

①分布式存储技术：存储数据时，文件被分块，分别存储在不同数据节点上。

②容错：数据副本数不小于2，单数据节点故障时文件分块完整保存，后续保证充分复制。

③并发读写：读写数据时，在不同数据节点上实现并发读写。

（3）云资源调度。

以弹性计算服务为例说明（见图7.14）：

图7.14　弹性计算服务(www.xing528.com)

需了解的术语：

·配置资源参数（Configure）；

·发放（Provision）；

·热迁移（Live Migration）；

·增加实例（Grow Instance）；

·休眠实例（Park Instance）；

·快速激活（Rapid Active）；

·系统扩容（Grid Grow）。

虚拟机的效率是关键，效率取决于对整体虚拟机的资源管理和调度自动化管理。

（4）云计算互联网数据中心解决方案（见图7.15）。

（5）云计算平台建设方案（见图7.16）。

（6）存储虚拟化——StaaS/DaaS云存储方案（见图7.17）。

互联网数据中心是云存储的一种使用场合，如图7.18所示。

图7.15　云计算互联网数据中心解决方案

图7.16　云计算平台建设方案

图7.17　云存储方案

图7.18　互联网数据中心

2）海量数据分布存储技术

GFS（Google文件系统）是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。

一个GFS集群由一个主服务器和大量的块服务器构成，并被许多客户访问。主服务器存储文件系统所有的元数据，包括名字空间、访问控制信息、从文件到块的映射，以及块的当前位置。它也控制系统范围的活动。主服务器定期通过心跳消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64 MB的块并以冗余存储，每份数据在系统中保存3个以上备份。

客户与主服务器的交互仅限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。

3）海量数据管理技术

云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必须能够高效地管理大量的数据。云计算系统中的数据管理技术主要是Google的BT（Big Table，大表）数据管理技术和Hadoop团队开发的开源数据管理模块HBase。

BT是一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。

Google的很多项目使用BT来存储数据，包括网页查询、Google earth和Google金融。这些应用程序对BT的要求各不相同：数据大小（URL、网页、卫星图像等）不同；反应速度不同（从后端的排队处理到实时数据服务）。对于不同的要求，BT都成功地提供了灵活高效的服务。

4）云计算平台管理技术

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效地管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。

云计算系统的平台管理技术能够使大量的服务器协同工作，方便进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。