标准马尔科夫过程的稳态分析方法

我们还没有用传统的马尔科夫过程把这一方法发展为设计机，马尔科夫过程最初是从概率论的一个分支发展而来。实际上，概率解释在这个背景下并没有序时平均有价值，但可以从基于概率的考虑过程中获得一些间接观点。平均过程与概率过程相反，其中平均是通过跃迁矩阵每行的线性加权要素来实现的。计算马尔科夫链所处状态的概率则是通过该矩阵的列来完成的。实际上，后面这个过程可以称之为一个前进过程，而平均则是一个后退过程，尽管这是一个偶然的观察，而且简单地与这些过程运行的方式相关。与任何正式的用途或发展并不相关。

本质上，标准过程即前进过程，计算的是系统在不同状态下的概率，与设计网络的节点或问题的子解决方案相当。这些概率是相对权重wk（t），随着过程继续，这些权重将逐渐变得稳定，收敛至均衡权重wk，这实际上给出了系统每个状态的时间占比。如果系统漫游于所有可能状态之间，即初始子解决方案的完整集之间，这可以看作在特定子解决方案中系统所处状态的概率。如果我们接着按这些权重对子解决方案求平均值，通过序时平均的后退过程，我们将得到单一解决方案。

首先，我们定义时间t上系统解决方案的概率为权重wk（t）。然后应用跃进概率［pjk］（实际是状态j改变为状态k的条件概率）进行更新，由第3章中的标准递推关系可以得出

方程11.19的递归可以得到

从方程11.5的推测及其证明，矩阵［收敛到稳态矩阵［πjk］，其中每行都是稳定向量［wk］。因此

那么用稳定向量替换方程11.21中的［πjk］，则可以得出如下稳态关系

更重要的是，方程11.22说明了收敛到wk与初始概率wj（t=1）是独立的，而这个特定概率往往用于说明马尔科夫过程“没有记忆”。(www.xing528.com)

这一点对于理论的首要意义不是介绍概率参数本身，而是展示一个方便的方法来计算稳态概率或权重wk。在极限中，方程11.20到11.22表明了

而将方程11.22代入方程11.23得到经典稳态方程

这反映了稳态方程可以直接从跃迁概率矩阵中计算出来，不需要依靠迭代。然而，与方程11.24相关的方程系统是线性的且同质的，因此只能使用从集合中减去第一个n-1方程并加上方程∑ kwk=1来直接解决。随之可以提取出如下形式的一个可解方程组：

由于［wk］使用任意标准方法，上述线性方程的数集可以被解。

随着马尔科夫过程达到稳态，评估其行为有几种方法。特别是包含对跃迁矩阵频谱分析的方法，分解为特征根或特征值，帮助确定不同状态的收敛比例以及阻尼效应（Bailey，1964）。工程学中一个相关方法通过Z变换分析用几何学方式处理马尔科夫过程，但因为大多数此类方法涉及更复杂的数学问题，这里不再继续探讨。简单而言，使用将高跃迁概率联系到稳态概率的方程，可以对马尔科夫过程的收敛展开较为实用的分析。比如，根据巴特（Bhat，1972），我们可以将收敛的测度指标定义为稳态跃迁πjk与跃迁概率矩阵之差，如上一章中的方程10.42，尽管其他方法经常是通过比较先验概率和后验概率。泰尔（1972）使用了库尔贝克（Kullback，1959）著名的“信息歧视”统计数据来衡量收敛，

方程11.26实际上类似一个卡方统计。这些方程很容易应用，在下文设计机部分我们也将用它来分析收敛情况。