离散对称信道的信道容量

定义3.5 若离散无记忆信道的转移概率矩阵中每一行都是其他行的同一组元素的不同排列，则称此类信道为离散输入对称信道。

定义3.6 若离散无记忆信道的转移概率矩阵中每一列都是其他列的同一组元素的不同排列，则称此类信道为离散输出对称信道。

定义3.7 若离散无记忆信道，既是输入对称信道，又是输出对称信道，则称这类信道是对称信道。

如果某DMC信道又是对称信道，则称其为DMC对称信道。

【例3.3】

下列两个信道转移概率矩阵既是输入对称信道，又是输出对称信道，因此是离散对称信道。

【例3.4】

下列两个信道转移概率矩阵是输入对称信道，不是输出对称信道，因此不是离散对称信道。

定义3.8 若信道的输入、输出符号个数相同（r个），且信道转移概率矩阵为

则称此信道为强对称信道，或均匀信道。

在均匀信道中总的错误概率为p，对称地平均分配给r-1个输出符号。它是离散对称信道的一种特例。二元对称信道就是r=2的均匀信道。对于均匀信道，其信道转移概率矩阵中各列之和也等于1（一般信道转移概率矩阵中各列之和并不一定等于1）。

假设离散对称信道的信道转移概率矩阵的行元素集为{p′₁，p₂′，…，p_s′}（其中可能包含相同的值），列元素集为{q′₁，q₂′，…，q_r′}（其中可能包含相同的值）。计算条件熵H（Y|X）为

其中

这一项是信源输出某一确定消息x时对Y求和，即对信道转移概率矩阵的行求和。由于信道的对称性，H（Y|x）=H（p′₁，p₂′，…，p_s′）与x无关，是常数，则

因此，离散对称信道的平均互信息为

可得信道容量为

这就变换成求一种输入分布P（x），使H（Y）取极大值的问题了。(https://www.xing528.com)

已知输出Y的符号集共有s个符号，则H（Y）≤log s，只有当P（y）=1/s（等概率分布）时，H（Y）达到极大值log s。一般情况下，不一定存在输入符号的概率分布P（x），能使输出符号达到等概率分布。但对于离散对称信道，其信道转移概率矩阵中每一列都是由集合{q′₁，q₂′，…，q_r′}的诸元素的不同排列组成，所以保证了当输入符号是等概率分布，即P（x）=1/r时，输出符号Y一定也是等概率分布，这时H（Y）=log s。即

由于信道的对称性，有

因此，得

P（y₁）=P（y₂）=…=P（y_s）

对于离散对称信道，当输入符号X达到等概率分布时，输出符号Y也达到等概率分布。由此得到下面的离散对称信道容量定理。

定理3.1 离散对称信道容量的表达式为

C=log s-H（p′₁，p₂′，…，p_s′）（3.30）

式中，s是信道输出的符号个数；p′₁，p₂′，…，p_s′是信道转移概率矩阵的行元素。

【例3.5】（续例3.3）运用式（3.30），计算例3.3中第一个离散对称信道容量为

【例3.6】

强对称信道（均匀信道）的信道转移概率矩阵是r×r阶矩阵，如式（3.26）所示，根据式（3.30）得强对称信道容量

式中，p是总的错误传输概率，p是正确传输概率。

【例3.7】

二元对称信道是r=2的强对称矩阵，根据式（3.31）可以计算得信道容量

C=1-H（p） （3.32）

当信道转移概率p=1/2时，C=0。此时，对于任何信源X，输出Y都为等概率分布。