云计算中的分布式与并行计算

1.并行计算

并行计算(Parallel Computing)通常是指同时执行多个指令的计算模式，将一个“大”问题分解为多个同时处理的“小”问题，从而加快计算速度。确定问题分解的并行算法对于并行计算至关重要。

并行计算在结构上是紧耦合的，在软件工程中，耦合指互相交互的系统之间的依赖。紧耦合表明模块或系统之间关系紧密，存在明显的依赖关系。如果一个计算机系统是紧耦合的，则在设计时必须对相关任务进行良好的定义，制订具体的执行策略。对于定义之外的任务，系统将无法处理。这样，并行计算的计算机体系架构联系紧密，利用预先定义的计算指导每个环节之间流动和反馈的内容。

并行计算通常集中于一处，通过共享存储进行信息交换。

2.分布式计算

分布式计算(Distributed Computing)利用多个计算资源解决复杂的计算问题，即将大任务分解后交给多个计算机执行。

分布式计算是松耦合的，将分布于各处的计算资源以透明的、可扩展的方式连接起来，共同解决问题。

分布式计算的计算资源分散于各地，通过网络实现节点的连接，是无共享的架构。(https://www.xing528.com)

3.云计算

云计算与并列计算的区别如下。

(1)云计算源自超大规模分布式计算，云计算平台是无共享的架构，通过网络实现节点的连接并进行信息交换。

(2)与并行计算执行特定任务的紧耦合不同，云计算表现出明显的松耦合特性，并可通过对软、硬件资源的调用，满足多种应用需求。

(3)并行计算强调任务处理，较少考虑成本问题，而云计算具有明显的商业实用性，对技术应用的投入和产出考虑较多。

云计算与传统的分布式计算的区别如下。

与传统的分布式计算相比，云计算代表了一种技术的演进。传统的分布式计算主要考虑如何将大任务分解成小任务，并利用分布在各处的计算资源完成小块任务的处理，最后将结果聚合并统一反馈给用户；云计算考虑如何把分布在各处的计算资源整合成一块足够大的计算资源池，并以统一的界面提供给用户使用，每个用户所面对的是一块完整的计算资源，而非分散在各处的零散资源。