信息率失真函数与限失真信源编码

无失真信源编码定理和有噪信道编码定理（关于有噪信道编码定理的内容见6.1.2节）告诉我们，无论何种信道，只要信息传输率小于信道容量，总能找到一种编码方法，使得在该信道上能以任意小的错误概率和任意接近于信道容量的信息传输率来传输信息。反之，若信道的信息传输率大于信道容量，则不能使信息的传输差错概率任意小。

首先，无失真的编码并非总是必要的。

在实际应用中，信宿的灵敏度和分辨能力都是有限的，没有必要无失真地传输信息。例如，人耳接收信号的带宽和分辨率是有限的，听觉上可感知的声音强度在1kHz纯音时声强级为10^-16W/cm²（刚能听见的声强，称为听阈）～10^-4W/cm²（感到疼痛的声强，称为痛阈），语音信号的频谱范围为20Hz～20kHz，因此，在高保真音频场合只需要保留可感知的音频信号即可；但在电话语音通信场合，可只保留带宽为300～3400Hz之间的语音信号，这时尽管有一些失真，接电话的人也能听清楚电话内容，所以说这种失真实际上并不影响通信质量，或者说这种失真是允许的。又如，利用人眼的视觉暂留特性，只要保证在电影或电视中以每秒24幅画面模拟一个连续动作，就可以感受到与真实生活中一样的视觉享受。这时也存在失真，但没有必要消除。

其次，无失真的编码并非总是可能的。

实际信源的输出常常是连续的消息，所以信源的信息量无限大。若要无失真地传输连续信源的消息，信息率必须为无穷大，这对任何实际信道都是不可能的。因为信道带宽总是有限的，所以信道容量总要受到限制。因此，也就不能实现无失真传输连续信源的消息。

再者，由于信道噪声的影响，即使信源消息的编码是无失真的，信息在传输过程也会产生差错或失真。(www.xing528.com)

由此得出重要结论：在实际信息传输系统中失真是不可避免的，有时甚至是必要的。

既然允许一定的失真存在，那么对信息传输率的要求便可以降低，也就是允许压缩信源输出的信息率。信息率与允许失真之间的关系，就是信息率失真理论所要研究的内容。

信息率失真理论是由Shannon提出的，起初并没有引起人们的注意。直到1959年，Shannon发表了“Coding Theorems for a Discrete Source with a Fidelity Criterion（保真度准则下的离散信源编码定理）”这篇重要文章之后，才引起人们的重视。在这篇文章中Shannon定义了信息率失真函数R（D），论述了关于这个函数的基本定理。定理指出，在允许一定失真度D条件下，信源输出的信息率可压缩到R（D）值。

信息率失真理论是量化、数-模转换、频带压缩和数据压缩的理论基础。

本章首先在研究离散信息率失真函数的基础上，介绍限失真信源编码定理，然后研究离散与连续信源的信息率失真函数的计算，重点是二元信源和高斯信源，最后简单介绍有损数据压缩技术。