香农信息论：信息传输领域的革新

早期的无线电通信只是简单地把少量信息通过莫尔斯电码从一个地点传送到另一个地点。人们并不特别关注信息的度量以及通信媒介(即信道)的容量等问题。人们一般认为，在给定频谱带宽和发射功率的前提下，为了在有噪声的信道中实现可靠的通信，唯一的办法是降低数据的传输速率，速率越低则通信越可靠。但是，香农的信息论改变了这一观点。信息论指出，通信信道存在一个容量极限，在这个极限之下，有可能实现无错误的数据传输。

克劳德·艾尔伍德·香农(Claud Elwood Shannon)于1916年出生于美国密歇根州的一个小镇，他的父亲是一名法官，母亲是中学的语言教师。香农1936年毕业于密歇根大学并同时获得了数学和电子工程学士学位。香农1940年获得麻省理工学院(MIT)数学博士学位和电子工程硕士学位。香农1941年加入贝尔实验室并从事研究工作，一直到1972年，其后他一直在麻省理工学院教书。香农在1950年设计的会走迷宫的机械老鼠Theseus如图1-20所示。

图1-20 香农在1950年设计的会走迷宫的机械老鼠Theseus

香农在通信理论、密码学、计算机、数字电路设计、遗传学等很多领域都有很大的贡献。早在1937年，当时还是麻省理工学院研究生的香农就在他的毕业论文中提出了在数字电路设计中采用布尔代数的方法进行逻辑设计的方法，这一方法被电子工程师们用于电路设计，一直到现在。

在第二次世界大战中，香农对密码学进行了深入的研究和分析，并和英国密码学大师图灵进行了非常有成效的交流讨论。香农的数学造诣很高，他擅长运用数学方法去解决某个通信、电子、密码学领域中的问题。

香农最大的成就是他所创立的信息论(information theory)。信息论创立的标志则是1948年7月和8月，香农在贝尔系统技术杂志(Bell System Technical Journal)上连载发表的论文《关于通信的数学理论》(“A Mathematical Theory of Communication”)。

在1948年之前，通信一直是一个基于实验的纯工程的领域，并没有太多的理论基础支持。虽然人们已经发明了一些进行通信的装置(如电报、电话)和技术〔如信号的幅度调制技术、单边带调制技术、频率调制技术、脉冲编码调制(Pulse Code Modulation，PCM)技术、跳频技术等〕，但是关于通信的理论知识比较碎片化和工程化，人们对于通信的认识没有形成一个统一的理论。

与此同时，对信息论的形成起到关键作用的一些基本元素已经出现。例如，人们在电报通信中用到的摩尔斯码，即根据信息源(如英语单词)中的单词出现的频率(概率)进行编码，以使发送效率最大化(即将较长的码分配给出现频率较低的单词，而把较短的码分配给出现频率较高的单词)；又如PCM，即对模拟信号先进行数字化的处理，然后再发送，在香农的信息论中也同样采用了离散的方法来对信息进行描述。

特别值得一提的是，香农在贝尔实验室的同事哈里·奈奎斯特(Harry Nyquiste)、拉尔夫·哈特利(Ralf Hartley)等在20世纪20年代做的一些基础工作。奈奎斯特在1924年对通信系统做过一些非常基础的分析，他在分析中讨论了“intelligence的传输速度”，其中的“intelligence”其实就是香农后来所说的信息。奈奎斯特还在1928年提出了著名的采样定理，即把模拟信号通过离散信号准确表达出来的方法，使得模拟信号可以通过数字信号的方式来实现传输，这成为现代数字通信的基础。哈特利在1928年首次使用了“信息”的概念，来表达接收者区分不同符号的能力。他甚至还建议采用对数(log)函数来度量“intelligence”，即在事件出现等概率时，信息的度量可利用函数H=n log s来进行。不过这些早期的工作局限于各自讨论的问题，并且不全面，也缺乏系统性。

在1948年的著名论文中，香农首先建立了一个通用的通信系统模型(如图1-21所示)。他把通信系统划分为如下几个部分。

图1-21 香农信息论中的通信模型

①信息源。信息源指产生信息的人或机器。信息可以是一个字符、序列(如电报)，也可以是某个时间和其他变量的函数。

②发射机。用于对信息进行某种操作，以得到适当的信号。比如，电话机把语音转换成电流。在现代通信中，复杂的信息可能会经过采样、量化和纠错等操作。

③信道。信道即传输信号的媒体。

④接收机。接收机进行的操作是发射机的逆操作，接收机对信号进行接收、解码，提取有用的信息。

⑤信息目的地。信息目的地是位于发射机另一端的人或机器。

⑥噪声。噪声是现实生活中无法回避的干扰，包含附加信号、随机干扰、静电、电路失真等。在无线电通信的早期，工程师们克服噪声的唯一方法就是加大发射功率。香农解决这个问题的方法则是把信息看作一连串的符号，通过对符号进行编码，使得接收侧可以纠正通过噪声信道出现的错误。

在建立了通信的理论模型后，香农首先从理论上阐述了信息的概念并建立了信息源的模型。他认为，信息的价值在于消除不确定性。因此，信息的量和事件的不确定性有很大的关系，信息源越无序则它所包含的信息量就越大。因此，香农定义了一个叫信息熵(entropy)的概念来度量这种不确定性。

熵原本是物理学家创造出来的一个数学函数，最早由德国物理学家鲁道夫·克劳修斯提出。它与任何一个给定的分子运动模式的数学概率都有联系，表达的是一个物理系统中微观状态的不确定性。根据热力学原理，在一个封闭的系统中，分子的有序运动都有变成无序运动的趋势，所以熵总是向较大的数值方向进行，而且这一过程是不可逆的。

物理学家玻尔兹曼把熵定义为

S=k lnΩ

其中k是一个常数，又被称为玻尔兹曼常数，Ω则代表所有的微状态数目。

在热力学中，熵代表了一个系统的无序度。

在信息论的研究中，香农考虑的是一个函数度量，它可以作为信息的度量单位，即信息事件的不确定性。在信息论中，香农把信息的度量定义为如下的函数，即

其中p i为事件i出现的概率。从熵的定义中我们可以看到，信息量和系统出现的选择与事件数呈单调上升关系。选择越多，事件的不确定性(信息量)也就越大。在事件发生概率为等概率的情况下，这个函数的意义比较好理解。比如，丢一枚硬币有正反面两种等概率的可能性，掷骰子的结果则有6种等概率的可能性，经过计算，前者的熵值为1 bit，后者为2.6 bit，后者所包含的信息量多于前者。在不等概率的情形下，事件发生越接近等概率，则不确定性(熵值)就越大。

之所以在表达式中引入了对数函数，香农的解释如下。

①在工程上具有实用性。在工程上，很多重要的度量都采用了对数函数的表达方式。

②符合人类的直觉。人类的直觉可通过对数函数来描述。

③在数学上易于处理。

我们知道，一个复合事件的概率等于组成这个事件的各独立事件概率的乘积。而对于信息的度量我们则希望它们是加性的关系，即复合事件的信息量是通过多个独立事件获得的信息量之和。这也是在熵的定义中引入了对数函数的原因。

此外，香农年轻时研究过布尔代数和数字电路设计，这对于他采用以2为基底的对数函数也许有一些启发。由于在对数函数中以2为基底，所以香农还把相应信息的度量单位称为比特(binary digit，bit)。现代通信系统都以比特作为度量单位(如每秒传送多少比特)。

要理解熵函数的含义，可以考虑下面这个简单的例子。考虑两支球队比赛，如果一支球队明显强于另一支(比如国家队对校队)，则比赛结果毫无悬念，几乎是确定事件，那么比赛的结果所带来的信息量基本上接近于0。如果两支球队势均力敌，胜负的概率各为50%，那么比赛就具有很大的不确定性，比赛结果的信息量此时达到最大。而当比赛在两支国家队之间展开时，比赛结果的信息量介于以上两种情形之间，即在0～1之间。(www.xing528.com)

如果我们依照香农的定义把球队比赛这一事件的熵函数画出来的话(如图1-22所示)，可以发现，熵函数完美地表达了这一概念。

图1-22 球队比赛这一事件中信息熵和胜负出现概率的关系示意

不过，香农以熵函数来作为信息的度量单位并不是因为受到热力学中熵的启发，虽然两者之间有相似性，事实上，最初他也没意识到他所定义的信息度量和热力学熵之间的内在联系。据说，在信息论的研究过程中香农曾和冯·诺依曼讨论，如何为他所定义的这一信息度量单位取个名字。冯·诺依曼建议他把这一度量单位取名为熵，并且幽默地说：“首先，你所定义的这一信息量的度量和物理热力学中熵的度量是很相似的。其次，世上很少有人真正弄明白了熵到底是什么，以后在学术讨论中如果发生争执的话，他们都得听你的。”于是，香农就采纳了这一建议，把这一信息度量单位称为熵，通常在通信中我们又称之为信息熵，以区别于物理学中熵的概念。

那么，信息量的定义是否是唯一的?或者说，信息是否还可以用其他的度量方法来测量?也许信息量是还可以用其他的方法和数学函数来描述的，这些函数同样可以表达事件的不确定性，不过，它们将无法满足其他的一系列特点和条件，例如，我们会希望信息熵是一个连续函数；在等概率的情形下信息熵应该和事件发生的可能个数成单调上升关系；信息熵允许被分解为一系列子事件等。目前看来，还没有比香农所定义的信息熵更有意义的信息度量。因此，香农对信息熵的定义是自然的。

在确立了信息的度量单位后，香农又分析了信息通过信道的情况，进而提出了信道容量的概念。

香农通过分析信息在经过信道之前和之后的情况，得出如下结论。

具有一定带宽和噪声特性的信道能可靠传送的数据速率R是有容量极限的。信道容量极限C可以表示为

其中B为信道带宽，S是信号功率，N是噪声功率。

只有当信息传输的速率R低于信道容量C时，通过适当的编码处理，才可以使得接收端的错误概率任意小，即实现可靠的通信；反之，当传输速率R大于信道容量C时，要想可靠地实现信息传送是不可能的。这一定律称为香农-哈特利信道容量定律。

对于这个定律，比较直观的理解如下。

·当我们增加传输信道的带宽时，电信号的变化速度可以更快，因此可以传送的数据自然也就多了。

·当接收侧的信噪比S/N增加时，能可靠传送的数据速率自然也增大。

香农-哈特利信道容量定律明确定义了给定的发射功率、信道带宽、噪声和信道容量之间的关系，这一关系的频谱效率表达方式如图1-23所示。

图1-23 归一化的信道容量和信噪比的关系示意

从图1-23中我们可以看出，在信道带宽一定的前提下，信道容量和信噪比之间存在对数关系，因此，靠增加发射功率和提高信噪比可以提升数据传输速率，但是它们之间并非是线性关系。到达一定限度后，发射功率的提升对于频谱效率的提升帮助会越来越小。

通信系统设计师的目标很多时候就是用尽可能少的频谱带宽、发射功率以及系统复杂度来可靠(可靠的指标通常被定义为低于一定的比特错误率)地传送更多的数据。这就常常需要根据具体情况在带宽、发射功率、数据传输率这些参数之间做出平衡选择。此外，通信系统设计师通常会面对各种约束条件，比如，政府可能会对使用的频率、带宽资源，以及允许的最大发射功率做出限定；应用的场景有时候可能会对设备功耗和电路处理的延迟有一定的要求。这些约束条件都是通信系统设计师在设计系统和平衡调制/编码方案时需要考虑的。香农的信息论对通信系统的设计具有很强的指导意义。

香农还证明，在发送信息时巧妙地增加冗余度(从而增大所有可能出现的序列之间的距离测度)，可以大大地提高数据传输的可靠性，甚至可以无限地逼近信道容量的极限。不过香农的证明依赖的是信息的概率分布特性，他并没有指出构造这些码的具体方法。

香农的这一发现触发了信道编码理论的发展。使所设计的通信系统尽可能地逼近信道容量C，是通信系统设计师们孜孜以求想要实现的目标。

早期最简单的BPSK(双相移键控)数字通信系统在没有编码的情况下所能实现的性能比香农极限差了约11.2 dB。后来，人们通过使用信道编码技术，大大地改善了通信系统的性能，尤其在Turbo码出现后，所能实现的性能在原先BPSK系统的基础上有了约10 dB的改善，非常逼近香农极限。在5G中所使用的新型编码如LDPC码和极化码(polar code)则更进一步地逼近了香农极限。

在信息论和通信理论中，很多分析都以加性白高斯噪声(Additive White Gaussian Noise，AWGN)为噪声分布的假设，这是由于大自然中(包括无线通信的信道和电子线路)很多时候噪声的分布确实具有高斯分布的特性。事实上，从统计上也可以证明〔参考概率论的中心极限定理(central limit theorem)〕，大量随机过程的叠加趋于具有高斯分布的特性。此外，高斯分布在数学上也较容易处理推导，适于理论分析，并由此获得有理论意义的结果。

当然，理论并不能涵盖所有的现实场景，实际的无线通信信道是十分复杂的，需要通信工程师们设计各种信号处理的环节才能保证通信的质量。此外，为了完全达到信息容量，需要假定很大的编码块，这在实际中也是不可能的。因此，理论的意义更多地在于建立一个通用的框架，以对实际工作起到指导作用。

除了信息通过噪声信道时的容量问题，香农还研究了如何利用概率分布去除信息源(如英语词汇)中的冗余量，从而达到减少所需要传输数据量的目的。香农还证明了，对某个信息源进行编码，码的平均长度一定会大于信息源的熵值。此外，存在一种编码方式，其编码的平均长度无限地接近信息源的熵。后来，他和Fano一起提出了一种信源编码的方法(Shannon-Fano码)，充分利用了不同符号间的概率差异，达到了减少数据量的目的。这一部分的研究后来成为现代信源编码的基础。三年后，Fano教授的学生大卫·霍夫曼(David Huffman)在此基础上发明了一种更先进的编码方法，即著名的霍夫曼编码(Huffman coding)，后来该编码得到了非常广泛的应用。现在我们所使用的图像语音和文件压缩技术(如jpeg、mp3、zip)都部分采用了这一编码技术。后来，香农开辟了通信中的另一个重要的领域(即信源编码理论)。

香农提出的信息论是现代通信理论的基础，他定义了信息的度量，并开启了信源编码和信道编码两个重要的学术和工程领域，一个通过消除冗余以提高对信息表达的效率，另一个通过巧妙地增加冗余以实现可靠的通信。

香农所定义的信道容量则是一个路标和极限，在他之前人们并不知道通信系统能够达到的潜力。信息论指明了通信系统所能达到的目标和所能实现的潜力。所以，香农被称为现代通信理论的开山鼻祖是当之无愧的。

如果说电磁波及其空间传播特性的发现是无线通信的前提条件，那么信息论的出现则为现代通信的发展提供了完整的理论基础。