分布式存储技术在云计算中的应用与发展

除了虚拟存储技术以外，还有一种云存储技术称为分布式存储技术。由于分布式存储技术出现的时间相对于传统存储来说比较晚，因此，分布式存储相比传统的集中阵列存储设备，其技术和解决方案来说还处于发展的初级阶段，总体来看只具备部分场景下的存储需求实现能力。但是从发展趋势来看，通过一个可扩展的网络连接各离散的处理单元的分布式存储系统，其高可扩展性、低成本、无接入限制等优点是现有存储系统所无法比拟的。

分布式存储技术是指运用网络存储技术、分布式文件系统、网格存储技术等多种技术，实现云存储中的多种存储设备、多种应用、多种服务的协同工作。

网络存储技术将数据的存储从传统的服务器存储转移到网络设备存储。网络存储技术中比较典型的有直接附加存储DAS、网络附加存储NAS、存储区域网络SAN。

分布式文件系统是指文件系统管理的物理存储资源并不一定直接连接在本地节点上，而是通过网络与网络节点互连。分布式文件系统可以将负载由单个节点转移到多个节点，

常见的比较典型的分布式文件系统如GFS与HDFS，存储在其中的每个文件都有3份拷贝，这3份拷贝位于不同的节点上，通过文件系统的控制，可以将数据的访问负载均衡到其他机器上，这样既能提高文件的读取效率，又能使整个文件系统处于一种均衡的状态，机器的利用率得以提升。分布式文件系统还可以避免由于单点失效而造成的整个系统崩溃。

网格存储具备更高的容错和冗余度，在负载出，现波动的情况下可以保持高性能。网格存储技术具备先进的异构性、透明访问性、协同性、自主控制性和全生命周期性等特性。用户在使用网格的时候，可以不用关心存储容量、数据格式、数据安全性、数据读取位置和数据是否会丢失等问题。

面对云计算浪潮的来袭，大数据的存储向分布式文件系统提出了新的需求。由于互联网应用的不断发展，本地文件系统由于单个节点本身的局限性，已经很难满足海量数据存取的需求了，因而不得不借助分布式文件系统，把系统负载转移到多个节点上。传统的分布式文件系统（如NFS）中，所有数据和元数据存放在一起，通过单一的存储服务器提供。这种模式一般称为带内模式（In-band Mode）。随着客户端数目的增加，服务器就成了整个系统的瓶颈。因为系统所有的数据传输和元数据处理都要通过服务器，不仅单个服务器的处理能力有限，存储能力受到磁盘容量的限制，吞吐能力也受到磁盘I/O和网络I/O的限制。在当今对数据吞吐量要求越来越大的互联网应用中，传统的分布式文件系统已经很难满足应用的需要。

于是，一种新的分布式文件系统的结构出现了，那就是利用存储区域网络（SAN）技术，将应用服务器直接和存储设备相连接，大大提高数据的传输能力，减少数据传输的延时。在这样的结构里，所有的应用服务器都可以直接访问存储在SAN中的数据，而只有关于文件信息的元数据才经过元数据服务器处理提供，减少了数据传输的中间环节，提高了传输速率，减轻了元数据服务器的负载。每个元数据服务器可以向更多的应用服务器提供文件系统元数据服务。这种模式一般称为带外模式（Out-of-band Mode）。最近的Storage Tank、CXFS、Lustre、BWFS等都采用这样的结构，大名鼎鼎的Hadoop分布式文件系统也是这种结构，因此它们可以取得更好的性能和扩展性。区分带内模式和带外模式的主要依据是，关于文件系统元数据操作的控制信息是否和文件数据一起都通过服务器转发传送。前者需要服务器转发，后者是直接访问。随着SAN和NAS两种体系结构的成熟，越来越多的研究人员考虑如何结合这两种结构的优势，来创造更好的分布式文件系统。各种应用对存储系统提出了更多的需求。(www.xing528.com)

大容量：现在的数据量比以前任何时期更多，生成的速度更快。

高性能：数据访问需要更高的带宽。

高可用性：不仅要保证数据的高可用性，还要保证服务的高可用性。

可扩展性：应用在不断变化，系统规模也在不断变化，这就要求系统提供很好的扩展性，并在容量、性能、管理等方面都能适应应用的变化。

可管理性：随着数据量的飞速增长，存储的规模越来越庞大，存储系统本身也越来越复杂，这给系统的管理、运行带来了很高的维护成本。

按需服务：能够按照应用需求的不同提供不同的服务，如不同的应用、不同的客户端环境、不同的性能等。