仿真实验Web服务组合应用可靠性研究成果

4.5.6.1　实验设置

为了评估方法的有效性，我们设置了两个评价准则：准确率和噪声率。准确率是指在所有诊断中诊断正确的次数占总诊断次数的比例；而噪声率则是指在行为描述及历史数据中包含噪声的比例。我们定义了3种噪声产生操作：①在工作流或执行信息中删除某个行为节点；②从工作流或执行信息中任意选择两个行为节点并交换它们的位置；③使用一个特殊标记替换工作流或执行信息中任意一个行为节点，使其成为一个未知的行为。如果随着噪声率的提高，方法的准确性没有下降或受影响很小，就认为方法的抗噪声能力强，反之则说明方法的抗噪声能力差。

此外，我们将提出的方法与两种诊断方法进行了比较。一种是Yan等[116]提出的基于同步自动机模型的诊断方法，该方法主要考虑进程两个相关行为间的依赖关系，并且给出了明确的诊断定义；一种是Dai等[62]提出的基于错误繁殖度的诊断方法，该方法通过异常发生历史构建模糊异常矩阵，矩阵使用概率描述了异常与行为间的依赖关系，根据发生异常的观察序列计算序列中每个行为与异常的相似度，进而判断是哪个行为发生了故障。

将以上提到的3种诊断方法应用于3个真实的BPEL进程当中，这3个BPEL进程的部分特征被显示在表4.3中。对每一个进程注入3种故障类型：数据故障，即随机改变或删除变量输出的数值；数据类型不匹配的故障，即随机改变活动输出的变量的类型；行为逻辑故障，即随机使用一个活动代替另外一个活动。

表4.3　诊断精确性比较

4.5.6.2　实验分析及对比

实验是通过3个真实的Web服务，且在诊断信息中包含不同噪声率的情况下，比较三种方法的诊断准确性。对每一个进程共注入100次故障，每次注入2个故障，并且在产生相应历史执行数据时给定故障行为执行失败的概率是0.8，异常行为抛出异常的概率也是0.8，而其他行为一直成功地执行。(www.xing528.com)

表4.3显示了对于给定的3个服务进程，在不同噪声率下3个方法的诊断精确性。表中的shm表示本章所提出的基于隐马尔可夫模型的差异比较诊断方法，yan表示Yan等提出的方法，dai表示Dai等提出的诊断方法。从表中可以看出，当噪声率在20％以下时，shm的诊断精确性变化是最小的，也就是shm的抗噪声能力是最强的；而当噪声率达到50％时，3个方法的诊断精确性都有明显的下降，这主要是由于噪声已经占据正常数据的一半，很难再将其与正常数据区分开来，因此干扰了方法的正常诊断，精确性明显下降。从表中还可以看出，shm方法的诊断精确性无论在何种情况下都远远高于其他两种方法，这主要是由于shm方法在诊断时不仅考虑了yan方法中行为间的依赖关系，还考虑到整个执行序列对行为的影响，而且将行为描述与历史数据结合作为诊断信息，因此当行为描述和历史数据中包含噪声时，能够削弱噪声产生的影响。

图4.16是针对进程1，在只有历史数据作为诊断信息的情况下，shm方法与yan方法在不同噪声率下诊断准确性的比较。从图中可以看出，当噪声率在20％以下时，shm方法的诊断准确性远远高于yan方法，这是由于yan方法在建立诊断模型时仅考虑了前后行为之间的依赖关系，而shm方法考虑了整个执行序列之间的依赖关系，从全局出发，全面地分析行为发生故障的可能性以及发生故障的原因，因此shm方法能够获得更高的准确性。当噪声率在50％时，诊断模型受到噪声的严重干扰，因此诊断准确性明显下降。

图4.16　基于行为描述的诊断准确性比较

图4.17是针对进程1，在只有行为描述作为诊断信息的情况下，shm方法与dai方法在不同噪声率下诊断准确性的比较。从图中可以看出，当噪声率在20％以下时，shm方法的诊断准确性远远高于dai的方法，这是由于dai方法同样仅考虑了行为与发生异常的行为之间的依赖关系，而未考虑整个执行序列与行为之间的关系，因此诊断效果不如shm方法好。另外，dai的方法仅考虑了历史故障，对未知故障的诊断能力比shm方法要弱。同样的，当噪声率在50％时，两个方法的诊断模型都受到噪声的严重干扰，因此诊断准确性都非常低。

图4.17　基于历史数据的诊断准确性比较

从上面的实验可以看出，我们所提方法在诊断的准确性和抗噪声能力方面都优于基于模型的yan方法和基于历史数据的dai方法。实验表明，差异比较诊断方法对于Web服务的故障诊断是非常有效的，尤其在抗噪声能力上。