信源与信道的匹配原理与应用

信道的信息传输率是平均互信息R。当信道确定后，只有当信源概率分布满足最佳分布时，R才能达到信道容量C。也就是一般情况下，信道的信息传输率未达到最大。这样，信道的信息传输率还有提高的可能，即信道没有得到充分利用。当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配，否则认为信道有冗余。

定义3.12 设信道的信息传输率为R=I（X；Y），信道容量为C，则信道冗余度定义为

R_c=C-R=C-I（X；Y）（3.82）

信道相对冗余度定义为

在无损信道中，信道容量C=log r（r是信道输入符号的个数）。而I（X；Y）=H（X），（H（X）是信源的熵），因而，无损信道的相对冗余度为

与第2章信源冗余度比较，可见式（3.84）就是信源冗余度。所以，对于无损信道可以通过信源编码，减少信源冗余度，使信息传输率达到信道容量。

一般通信系统中，信源发出的消息（符号）必须转换成适合信道传输的符号（信号）来传输。对离散无损信道需要使用信源编码方法进行转换，才能使信道的信息传输率达到信道容量。

【例3.17】

某离散信源通过无噪无损二元离散信道进行传输。信源的概率空间为(www.xing528.com)

可以求得，无噪无损二元离散信道容量C=1 bit/信道符号；信源X的熵H（X）=1.937 bit/信源符号。为了能够在此二元信道中传输信源X，必须对信源进行二元编码。若采用以下两种信源编码方法：

计算两种编码的信息传输率如下：

码C₁：等长二元编码，码长为3，信息传输率R₁=H（X）/3=0.646 bit/信道符号；

码C₂：等长二元编码，码长为4，信息传输率R₂=H（X）/4=0.484 bit/信道符号。

可见，R₂＜R₁＜C，信道有冗余。

从例3.17可见，编码方案不同，冗余不同，这就产生了信源编码。因此，需要从理论上回答是否存在一种信源编码，能使信道的信息传输率接近或等于信道容量？或者说是否存在一种编码，能使每个信源符号所需的平均二元符号数最小？这就是Shannon无失真信源编码理论，也就是无失真数据压缩理论。

无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息（符号），而使新信源的符号接近等概率分布，熵接近最大熵log r。这样，信道传输的信息量达到最大，信道冗余度接近于零，从而使信源和信道达到匹配。

关于这一内容将在下一章中详细讨论。