随机事件互信息的概念：平均互信息

1.平均互信息的定义与含义

2.2.2节引入了随机事件互信息的概念，互信息是一种衡量两个事件之间关系的紧密程度的量。平均互信息就是对互信息取数学期望得到的。为此，给出下列平均互信息的定义。

定义2.11 在离散联合随机变量集XY上，由随机变量Y中的事件y=b_j提供的关于随机变量X的平均互信息为互信息I（x；y）在集合X中以后验概率加权的平均值，其定义式为

定义2.12 在离散联合随机变量集XY上，由随机变量Y提供的关于随机变量X的平均互信息为互信息I（x；y）在联合集XY上的数学期望，该值称为X和Y的平均互信息（或平均互信息量、交互熵），其定义式为

由式（2.52）和式（2.53）不难推出

I（X；Y）=E_Y[I（X；y=b_j）]=E_Y[I（X；y）] （2.54）

平均互信息I（X；Y）的含义是：

1）知道了集合Y后，平均Y中一个事件消除的关于集合X的不确定度。

2）由集合Y中一个事件能够平均提供的关于集合X的信息量。

3）表示了集合X和Y之间关系的密切程度。平均互信息越大，X和Y的关系越密切。

根据平均互信息和信息熵的定义式，结合等式P（xy）=P（x）P（y|x）=P（y）P（x|y），可以推导出下面关系式：

式（2.55）～式（2.57）给出了平均互信息的三种不同的表达形式，下面将从三种不同角度出发，阐明平均互信息的物理含义。(www.xing528.com)

1）H（X）是信源X的原有的平均不确定度，H（X|Y）是观测到随机变量Y后信源X仍然保留的平均不确定度。式（2.55）表明平均互信息I（X；Y）就是信源的原有的平均不确定度H（X）与仍然保留的平均不确定度H（X|Y）的差值（是一种不确定度的消除量）。也就是说，I（X；Y）是通过观测Y后所消除的关于X的平均不确定度。

特别地，当随机变量X是通信信道的输入，随机变量Y是该通信信道的对应输出时，平均互信息I（X；Y）是该信道传输的平均信息量。这一点对于用定量的方法描述通信系统中传输的信息量是有重大理论意义的。

由于信源提供的信息量为H（X），而通过信道传输后收信端收到的信息量为I（X；Y），其差值H（X）-I（X；Y）=H（X|Y）为信道中损失的信息量，因此，通常称H（X|Y）为信道疑义度，也称为损失熵。

2）H（Y）是信道收信端接收到随机变量Y后，由Y提供的信息量。式（2.56）表明平均互信息I（X；Y），即信道传输的信息量等于在H（Y）中扣除掉H（Y|X）后的量值。因此，H（Y|X）表示了信源发出随机变量X后，对随机变量Y依然存在的平均不确定度，且H（Y|X）仅与信道噪声有关，通常称H（Y|X）为噪声熵。

3）把通信前的X和Y看成是两个相互独立的随机变量，则通信前整个系统的先验不确定度是X和Y的联合熵H（X）+H（Y）；通信后把信道两端出现X和Y看成是由信道传输统计特性联系起来的、具有统计关联关系的两个随机变量，这时整个系统的后验不确定度由H（XY）描述。式（2.57）表明，信道两端随机变量X和Y之间的平均互信息等于通信前、后整个系统的不确定度的减少量。

以上三种物理解释都说明，从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度就获得了信息。这就是所谓“信息就是负熵”的概念。

第3章将讨论信道的传输信息的能力。如果随机变量X是通信信道的输入，随机变量Y是通信信道的输出，则用转移概率P（y|x）描述信道，并称P（y|x）为信道转移概率。

2.平均联合互信息和平均条件互信息的定义

根据2.2.2节中的联合互信息I（x；yz）和条件互信息I（x；y|z）的定义，可以引伸出平均联合互信息和平均条件互信息的概念，这些概念是研究多用户信息论的基础理论。

定义2.13 在三维离散联合随机变量集XYZ上，由联合集YZ提供的关于随机变量X的平均互信息为联合互信息I（x；yz）在联合集XYZ上的数学期望，该值称为X和YZ的平均联合互信息（或平均联合互信息量），其定义式为

定义2.14 在三维离散联合随机变量集XYZ上，在给定随机变量Z条件下，由随机变量Y提供的关于随机变量X的平均互信息为条件互信息I（x；y|z）在联合集XYZ上的数学期望，该值称为在Z条件下由Y提供的关于X的平均条件互信息（或平均条件互信息量），其定义式为