计算二元无记忆对称信道容量的香农公式及其意义

信道容量是指该信道能够传送的最大信息量。它等于信道输入与输出互信息的最大可能值,其值决定于信道自身的性质,与其输入信号的特性无关。

1.离散信道(编码信道)的信道容量

令信道的输入为X∈(x1,x2,…,xn),输出为Y∈(y1,y2,…,yn),给定X的先验概率P(xi),i=1,2,…,n,X与Y的互信息量为

式中,H(X)为X的符号熵;H(X/Y)为X的条件符号熵;H(Y)为Y的符号熵;H(Y/X)为Y的条件符号熵。

互信息量I(X,Y)既与信道特性有关,也与X的概率分布P(xi)有关。对于一定的信道,不同概率分布对应不同的I(X,Y),即是Pi(i=1,2,…,n)的函数,其中某一种概率分布Pi(其中i=1,2,…,n)对应的I(X,Y)最大,表示为

C是通过信道每个符号平均能够传送的最大信息量,定义为信道容量。信道容量的另一种常用的定义为单位时间信道能传送的最大信息量C0。若X的符号速率为VB(符号/秒),则

一般情况信道容量的计算比较复杂。现以最简单的二元无记忆对称信道为例,计算信道容量。

已知信道的输入X∈(1,0),输出Y∈(1,0),转移概率为

由此有

可算得条件符号熵

由于信道的对称性,此值与P(xi)的分布无关。

信道容量(符号)

根据最大熵定理,当P(Y=1)=P(Y=0)=1/2时,H(Y)最大并且等于1比特/符号,可得

由上式可知,当μ=1/2时,C=0。单位时间的信道容量

式中,VB为信源X的符号速率,即每秒钟发送的符号数。

2.连续信道的信道容量

连续信道的输入X与输出Y均为连续的随机变量。X与Y的互信息量为(www.xing528.com)

式中,p(x)是X的概率密度;p(y/x)是X=x时Y的条件概率密度。p(y/x)与信道性质有关;p(x)与信道性质无关。而互信息量既与p(y/x)有关,又与p(x)有关,即互信息是p(x)的泛函数,可表示为I[X,Y,p(x)]。

连续信道的信道容量定义为

以上信道称作单符号连续信道。其输入为单符号X,输出为单符号Y。若信道的输入为X(t1),X(t2),…,X(tn),…,则称为多符号信道。多符号信道的信道容量定义与单符号信道一样,只是其输入是随机向量X∈[…,X(t1),X(t2),…,X(tn),…],输出是随机向量Y∈[…,Y(t1),Y(t2),…,Y(tn),…],而其概率特性是相应的多维概率密度。

多符号信道的信道容量的理论分析和计算更为复杂,详细内容可参阅有关文献。

对于连续信道,一般定义单位时间内传送的最大信息量为信道容量。通过计算可得

式中,S是信号的平均功率;σ2是噪声的平均功率;B是信道的带宽;C是信道容量;S/σ2是信号功率与噪声功率之比,简称信噪比。

此式就是信道容量公式,常称为香农公式,在信息论中具有十分重要的意义。

香农公式还可以写成另一种形式

式中,N0是限带高斯白噪声n(t)的单边功率谱密度。

由上式可知,当信号功率S→∞时,信道容量C→∞;而当信道带宽B→∞时,信道容量并不趋于无穷大,而是趋于一个定值。现证明如下:

考虑到

得

证毕。

由公式可知,在保证一定信道容量的情况下,带宽B和信噪比S/σ2可以互换,即增加带宽可以降低信噪比;或增加信噪比可以减小带宽。

香农编码定理揭示了信源信息速率与信道容量的关系,其表述为:如果信源的信息速率(即每秒钟发出的信息量)小于信道容量,则存在一种编码方式可保证通过该信道传送信源信息的差错率任意小;如果信源的信息速率大于信道容量,则不可能存在一种编码方式能保证无误传输,传送信息的差错率将很大。香农编码定理的证明比较复杂,可参阅有关文献。

通常称达到香农公式信道容量的通信系统为理想通信系统。香农证明了理想系统的存在性,但没有指出实现理想系统的方法。理想通信系统一般只能作为实际通信系统的理论界限。实际通信系统的信息传输速率不可能大于理想系统的信道容量。已知现有的多数通信系统的信息传输速率都远小于信道容量,说明还有很大的发展潜力。