关于信息论研究的具体内容是有过争议的。
一些数学家认为,信息论只是概率论的一个分支。这是因为Shannon信息论是以概率论为基础开拓出的一个新的应用数学分支。
一些物理学家认为,信息论只是熵的理论,他们对“熵”特别感兴趣。当然,熵的概念确实是Shannon信息论的基本概念之一,而且是从热力学熵的概念发展而来。但信息论的全部内容要比熵的概念广泛得多。
从通信工程的角度进行归纳,信息论研究的内容大致包括以下几个方面:
1)通信统计理论的研究。主要研究利用统计数学工具分析信息和信息传输的统计规律,具体内容有:①信息的度量;②信息速率与熵;③信道传输的能力——信道容量。
2)信源统计特性的研究。主要包括:①文字(如汉字)、字母(如英文)的统计特性;②语音和音频的参数分析和统计特性;③图片及活动图像(如电视)的统计特性;④其他信源的统计特性。
3)收信者接收器官的研究。主要包括:①人的听觉和视觉器官的特性;②人的大脑感受和记忆能力的模拟。这些问题的研究与生物学、生理学、心理学的研究密切相关。
4)编码理论与技术的研究。主要包括:①有效性编码,用来提高信息传输效率,主要是针对信源的统计特性进行编码,也称为信源编码或压缩编码;②抗干扰编码,用来提高信息传输的可靠性,主要是针对信道的统计特性进行编码,也称为信道编码或纠错编码;③保密编码,用来保证传输的信息不能泄漏给未授权者以及验证消息的完整性,主要使用各种数学工具对传输数据进行密码变换,包括密码编码学和密码分析学以及传输协议等。
5)信息传输效率的研究。主要包括:①功率的节约;②频带的压缩;③传输时间的缩短,即快速传输问题。
6)抗干扰理论与技术的研究。主要包括:①各种调制制度的抗干扰性;②理想接收机的实践。
7)噪声中信号检测理论与技术的研究。主要包括:①信号检测的最佳准则;②信号最佳检测的实践。
由上面的讨论可以看出,仅在通信工程范围内,信息论的研究内容就已经极为广泛,且目前信息论已经拓展成为信息科学。因此,信息论是信息科学基本的和重要的理论基础。
综上所述,信息论的研究范畴可以概括为以下三个方面的内容:
(1)狭义信息论(也称经典信息论)
狭义信息论是以客观概率信息为研究对象,从通信的信息传输问题中总结和开拓出来的理论。主要研究信息的度量、信道容量及信源编码理论、信道编码理论和保密通信理论等问题。这部分内容是信息论的基础理论,又称为Shannon信息论。
(2)一般信息论(也称工程信息论)
一般信息论主要研究信息传输和处理问题。除了Shannon信息论以外,还包括噪声理论、信号滤波和预测理论、统计检测与估计理论、调制理论和信息处理理论等。后一部分内容以美国数学家、控制论创始人维纳(N.Wiener)的研究为代表。
虽然Wiener和Shannon等都是运用概率和统计数学的方法研究准确或近似再现消息的问题,均属通信系统的最优化问题,但它们之间有一个重要的区别。(www.xing528.com)
Wiener研究的重点是在收信端。研究消息在传输过程中受到干扰时,在收信端如何把消息从干扰中提取出来。在此基础上,建立了最佳滤波理论(Wiener滤波器)、统计检测与估计理论、噪声理论等。
Shannon研究的对象是从信源到信宿的全过程,是发信端和收信端联合最优化问题,重点是编码。Shannon定理指出,只要在传输前后对消息进行适当的编码和译码,就能保证在有干扰的情况下最佳地传送消息,并准确地或近似地再现消息。为此,发展了信息度量理论、信道容量理论和编码理论等。
(3)广义信息论
广义信息论是一门综合性的新兴学科,至今并没有严格的定义。它不仅包括一般信息论的内容,而且包括所有与信息有关的自然科学和社会科学领域,如模式识别、计算机翻译、医学和生理学、心理学、遗传学、生物学、语言学、语义学,甚至包括社会学、人文学、经济学和管理学中有关信息的问题。概括起来,凡是能够用广义通信系统模型描述的过程或系统,都能用信息基本理论来研究。
由于信息论研究的内容极为广泛,而各分支又有一定的相对独立性,因此本书主要论述信息论的基础理论,即Shannon信息论。
Shannon信息论的核心内容可以概括为“一个概念,三个定理”,也就是信息熵的概念和三个编码定理。
(1)关于信源信息的度量
Shannon将信源限制为具有某一先验概率分布的随机过程,并定义了信息熵作为信源所含信息的量度,信息熵是信息论中最重要的概念。
(2)关于无失真信源编码
无失真信源编码定理(Shannon第一编码定理,见第4章)是信源无损压缩编码的理论基础,其内容是:如果信源编码码率(编码后平均传送信源符号所需的比特数)不小于信源的熵,就存在无失真编码;反之,不存在无失真编码。
由于定理解决的是信源无损压缩极限的理论问题,并未给出普遍的信源编码的方法,所以寻找接近或达到信源熵的压缩编码技术、分析其性能,并有效实现编码和解码是研究的主要问题。
(3)关于信息率失真理论和限失真信源编码
限失真信源编码定理(Shannon第三编码定理,见第5章)是有损压缩编码的理论基础,其内容是:给定了允许的平均失真度后,只要码字足够长,总可以找到一种编码,使得当信源的编码码率大于等于信息率失真函数时,码的平均失真小于等于允许的平均失真度;反之,当信源的编码码率小于信息率失真函数时,则不存在满足允许平均失真度的信源编码。
限失真信源编码定理解决了有损压缩极限的理论问题,但未给出实际的有损信源编码的方法。在各种失真度准则下对信源的信息率失真函数的研究,利用信息率失真理论对实际有损压缩编码性能的分析,寻找接近或达到理想有损压缩的信源编码方法是该领域研究的主要问题。
(4)关于信道容量与信息的可靠传输
有噪信道编码定理(Shannon第二编码定理,见第6章)是信道编码的理论基础,其内容是:如果信息传输率小于信道容量,则总可以找到一种编码方式使得当编码序列足够长时,平均错误译码概率任意小;反之,不存在使平均错误译码概率任意小的编码。
实际上信道类型是复杂的,所以根据实际研究的问题建立信道模型,分析其特性,计算其容量,以及在这些信道条件下分析各类通信系统的性能是研究的主要问题。此外,定理解决的是信息传输极限的理论问题,并未给出普遍的信道编码的方法。为此,寻找接近或达到信道容量的信道编码技术、分析其性能,并有效实现编码和解码也是研究的主要问题。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。