信息理论与信息科学的发展历程简述

信息论——通信的数学理论，是在长期的通信工程实践和理论研究的基础上发展起来的。作为一门独立的理论学科，回顾它的发展历史，可以看出理论是如何从实践中经过抽象、概括、提高而逐步形成的。

通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统。古人的“结绳记事”也许是最初期的表达、存储和传输信息的方法。古代的“烽火告警”是一种最早的快速、远距离传输数字信息的方式。语言和文字则是人类社会用来表达和传输信息的最根本的工具。

纵观历史，人类社会的信息传输和传播的手段经历了五次重大变革。

第一次变革是语言的产生。人们用语言准确地传递感情和意图，使语言成为传输信息的重要工具。

第二次变革是文字的产生和纸张的发明。人类开始用书信的方式交换信息，文字成为信息记录、存储和传输的有效手段，使信息传输的准确性大为提高。

第三次变革是印刷术的发明。它使信息能大量存储和流动，并显著扩大了信息的传输范围。

第四次变革是电报、电话和电视的发明。开始了人类的电信时代，使信息传输快速、便利、远距离，再次出现了信息加工和传输的变革，并使通信理论和技术得到了迅速发展。

第五次变革是计算机技术与通信技术相结合，发明了互联网和物联网，使人类进入了高度发展的信息社会。

人类在第四次变革中，即电信时代才逐渐认识了信息的本质，并创立了信息论。

电的通信系统（电信系统）已有近200年的历史了。在其发展过程中，每当物理学中的电磁理论和电子学理论有某些进展，就会促进电信系统的创造发明或改进。这是因为通信系统与现代人类社会的发展密切相关，日常生活、工农业生产、科学研究以及战争等，一切都离不开信息的传输和流动。

19世纪20年代初英国科学家法拉第（M.Faraday）发现电磁感应的基本规律后，不久美国发明家莫尔斯（F.B.Morse）于1832～1835年间发明了电报系统，这是世界上第一个数字通信系统。1876年美国发明家贝尔（A.G.Bell）又发明了电话系统，这是世界上第一个模拟通信系统。从此，人类开启了利用有线通信技术进行信息传输的时代。

1864年英国科学家麦克斯韦（J.C.Maxwell）通过理论分析预言了电磁波的存在，1886～1888年间德国物理学家赫兹（H.R.Hertz）用实验证明了该预言，1895年意大利发明家马可尼（G.Marconi）和俄国物理学家波波夫（A.C.Подов）发明了无线电通信技术。从此，人类又开启了利用无线通信技术进行信息传输的时代。

1907年美国发明家福雷斯特（L.Forest）根据电子运动的规则发明了把电磁信号进行放大的真空电子管之后，很快出现了远距离无线电通信系统；大功率超高频真空电子管发明以后，电视系统就建立起来了（1925～1927年）。

电子在电磁场运动过程中能量相互交换的规律被人们认识后，在1930～1940年间发明了微波电子管（最初是磁控管，后来是速调管、行波管），在第二次世界大战初期微波通信系统、微波雷达系统等迅速发展起来。

20世纪50年代后期发明了量子放大器，60年代初发明的激光技术，使人类进入了光纤通信的时代。

随着通信技术的发展，迫切需要解决通信的理论问题，以提高通信系统的性能，这就促进了相关的信息理论的发展。

1832年莫尔斯电报系统中高效率的编码方法对Shannon编码理论的诞生是有启发的。

1885年英国物理学家凯尔文（L.Kelvin）曾经研究过一条电缆的极限传信率问题，表明了实际物理信道的传输能力不是无限的。

1922年美国学者卡逊（J.R.Carson）对调幅信号的频谱结构进行了研究，并明确了边带的概念。

1924年美国物理学家奈奎斯特（H.Nyquist）和德国工程师屈夫缪勒（K.Küpfmüler）分别独立地指出，如果以一个确定的速率来传输电报信号，就需要一定的带宽。这证明了信号传输速率与信道带宽成正比的关系。

1928年美国学者哈特莱（R.V.Hartley）发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。在s个代码中选N个码即构成s^N个可能的消息。他提出定义信息量为Nlog s，即定义信息量等于可能消息数的对数。其缺点是没有统计特性的概念。他的工作对后来Shannon的思想是有很大影响的。(www.xing528.com)

1936年美国发明家阿姆斯特朗（E.H.Armstrong）提出增加信号带宽可以使抑制噪声干扰的能力增强，并给出了调制指数大的调频方式，使调频实用化，出现了调频通信装置。

1939年美国贝尔实验室工程师达德利（H.Dudley）发明了声码器（声码器是最早的语音压缩系统）。当时他提出的概念是通信所需要的带宽至少应与所传送的消息的带宽相同。达德利和莫尔斯都是研究信源编码的先驱者。

但直到20世纪30年代末，理论工作的数学基础是经典的傅里叶（Fourier）分析方法，并把消息看成是确定事件，这就与许多实际情况不相符合。

通信技术的进步使人们更深入地考虑问题，究竟如何定量地研究通信系统中的信息？怎样才能更有效和更可靠地传输信息？现有的各种通信体制如何改进等等。

20世纪40年代初期，维纳把随机过程和数理统计的观点引入通信和控制系统中，揭示了信息传输和处理过程的统计本质，使通信系统的理论研究面貌焕然一新，引起了质的飞跃。

1948年信息论创始人Shannon在《贝尔系统技术（The Bell System Technical Journal）》杂志上发表了著名长文“通信的数学理论（A Mathematical Theory of Communication）”，用概率度量和数理统计的方法系统地讨论了通信的基本问题，严格定义了信息的度量——熵，又定义了信道容量，得出几条重要而具有普遍意义的结论，并由此奠定了现代信息论的基础。

Shannon理论的核心是，揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠的信息传输，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。

Shannon在1948年论文中提出了无失真信源编码定理（Shannon第一编码定理），给出了简单的Shannon编码。1952年美国学者费诺（R.M.Fano）提出了Fano编码。同年，美国学者赫夫曼（D.A.Huffman）提出了Huffman编码方法，并证明了它是最佳码。70年代后期开始，人们把兴趣放在与实际应用有关的信源编码问题上。1968年前后，埃利斯（P.Elias）发展了Shannon-Fano码，提出了算术编码的初步思路。而芬兰学者里斯桑内（J.Rissanen）在1976年给出和发展了算术编码，1982年与他人合作将算术编码系统化，使其更为简化和易于实现。关于通用信源编码算法——LZ码是于1977年由以色列学者齐弗（J.Ziv）和兰佩尔（A.Lempel）提出的。1978年他们又提出了改进算法，而且Ziv也证明此方法可以达到信源的熵值。LZ码已广泛应用于文本的数据压缩中。正是在Shannon的无损信源压缩编码定理指引下，无损压缩编码技术和算法得到了迅速发展与应用。

在研究Shannon信源编码定理的同时，信道编码的研究工作也取得了很大的进展，形成了一门独立的分支——纠错码理论。1950年美国数学家汉明（R.W.Hamming）首次提出了纠正一位错误的编码方法——Hamming码，目的是使贝尔实验室的计算机具备检测错误能力的运行程序。由此Hamming码的纠错思想成为线性分组码的基本指导思想。接着，瑞士裔数学家戈莱（M.J.E.Golay）提出了纠二位和三位错误的Golay码。1957年E.Prange在线性分组码中找到子类的循环码。人们在对循环码和线性分组码进行广泛、深入的研究基础上，形成了系统的理论，即代数编码理论，使其成为应用数学的又一个分支。但代数编码的渐近性能较差，难以实现Shannon信道编码定理所指出的结果。为此，1955年埃利斯（P.Elias）提出了卷积码的思想，随着卷积码的实用译码算法的提出，卷积码迅速得到广泛应用。然而科学家们并没有停止对构造好码和逼近Shannon极限的优异码的研究，先后提出了级联码（将两个短码串行级联使用）、乘积码及交织技术等新的方法。在20世纪80年代前后，又提出了一种网格编码调制方案，它将编码和调制技术结合起来，在不扩展信道带宽情况下提高了系统的功率，从而增强了系统的抗干扰能力。90年代，Turbo码、LDPC码的提出和研究，发现了这两种码具有误比特率与Shannon极限相差无几的优异性能。因此在工程上可以认为，已经能够实现达到Shannon理论的实际通信系统。目前，Turbo码、LDPC码已经得到了广泛应用。

限失真信源编码的研究较信道编码和无失真信源编码落后十年左右。Shannon在1948年论文中已体现出了关于信息率失真函数的思想。直到1959年他发表了论文“保真度准则下的离散信源编码定理（Coding Theorems for A Discrete Source with A Fidelity Criterion）”，首先提出了信息率失真函数及信息率失真信源编码定理。从此，发展成为信息率失真编码理论。信息率失真信源编码理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础。有关数据压缩、多媒体数据压缩又形成了另一独立的分支——数据压缩理论与技术。

关于保密理论问题，Shannon在1949年的论文“保密系统的通信理论（Communication Theory of Secrecy System）”中首先用信息论的观点对信息保密问题作了全面的论述，使他成为密码学的先驱和近代密码理论的奠基人。由于保密问题的特殊性，直至1976年美国密码学家迪弗（W.Diffe）和海尔曼（M.E.Hellman）发表了“密码学的新方向（New Directions in Cryptography）”一文，提出了公开密钥密码体制后，保密通信问题才得到广泛研究。密码问题与线性代数、初等数论、近世代数等数学方法相结合，形成了独树一帜的信息论分支——密码学理论。

1961年Shannon的重要论文“双路通信信道（Two-Wag Communication Channels）”开拓了网络信息论（多用户信息论）的研究。1970年以来，随着卫星通信、计算机通信网、电信网和互联网的迅速发展，网络信息论的研究异常活跃，成为当前信息论的中心研究课题之一。

信息理论与技术不仅在通信、计算机和自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、人文学、社会学和经济学等各领域。在信息论与自动控制、系统工程、人工智能、仿生学、电子计算机等学科互相渗透，互相结合的基础上，形成了一门综合性的新兴学科——信息科学。

信息科学作为一门独立的学科，是以信息作为主要研究对象，以信息的运动规律和利用信息的原理作为主要的研究内容，以信息科学方法论作为主要的研究手段，以扩大人类的信息功能（特别是智力功能）为主要的研究目标。

信息科学的研究对象是客观事物的信息属性，这是信息科学区别于传统自然科学而具有独立存在性和广阔发展前景的基本依据。

信息科学由信息科学理论、信息应用技术和信息科学方法三者组成。

信息科学理论主要包含信息定性理论、信息定量理论和信息应用理论。

信息应用技术，狭义地说它是扩展人的信息功能的技术。它包括获取信息、传输信息、加工处理信息、存储信息等代替和延伸人的感官及大脑的信息功能的技术。所以，主要包括四个方面：信息获取技术（感测技术）、信息传输技术（电信技术）、信息加工处理技术（计算机技术）及信息控制技术（自动智能控制技术）。

信息科学方法是人类以信息作为窗口去认识世界和改造世界全过程的一整套方法，由信息分析方法和信息利用方法两大部分组成。它包括信息的获取方法、信息的传输方法、信息的加工处理方法、信息的存储方法、信息的描述和度量方法及信息的调控和利用方法。信息科学方法就是信息科学理论的应用手段。它是适应信息科学研究的需要而产生的一种同传统的科学研究方法截然不同的科学研究方法，并将随着信息科学理论的发展而不断完善。

信息科学理论、信息科学技术和信息科学方法三者之间既有区别，又相互联系和作用而构成信息科学的总体。正是它们在这样的相互依赖、相互促进中交相辉映、共同发展，使人类对信息的认识和利用上升到一个新的水平，把人类推入了高度化发展的信息社会。