信息及其度量方法

信息是消息中包含的有意义的内容，包含相同信息的消息可以有不同的表现形式。例如，分别用语音和文字发送的天气预报，所包含的信息内容是相同的。在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者而言，不同消息包含的信息量是不同的。就像用“货运量”来衡量运输货物的多少一样，在通信系统中，通常用“信息量”去衡量传输信息的多少。消息中所含信息量的多少，不是由消息的多少来决定的，而是与该消息发生的概率密切相关。

举例

如图1-3所示，甲告诉乙两件事，第一件是非常可能发生的事件：“今年冬天的平均气温比去年冬天要高”；第二件是极不可能发生的事件：“今年冬天的平均气温比去年夏天还高”。相比而言，第一件事包含的信息显然要少于第二件事。因为在接收者看来，第一件事很可能发生，不足为奇，但第二件事却极难发生，听后使人惊奇，这表明消息确实有量值的意义。

图1-3 不同消息所包含的信息量不同

概率论告诉我们，事件的不确定程度可以用其出现的概率来描述。即事件出现的可能性越小，概率就越小；反之，概率就越大。因此，消息具有以下特点：

● 消息x发生的概率P（x）越大，信息量I就越小；当概率为1时，即百分百发生的事，

传输此消息毫无意义，所以其信息量为0。可见，信息量和消息发生的概率是相反的

关系。

● 当一个消息是由多个独立的小消息组成时，那么这个消息所含的信息量应等于各个

小消息所含信息量之和，即(www.xing528.com)

I[P（x₁）P（x₂）…]=I[P（x₁）]+I[P（x₂）]+…

在通信领域，通常采用比特（bit）作为信息量的单位。

对于接收者而言，收到的信号包括M种可能形态，每种形态对应一种波形（信号），若每种形态出现的概率是相等的（简称“等概”），即概率P=1/M，则一个波形所传送的信息量为

I=log₂1/P （1-1）

或I=log₂M （1-2）

式中 M——传送的波形种类总数；

P——每一种波形出现的概率；

I——信息量（单位：bit）。

若各种形态出现的概率不相等，则需要用平均信息量—“熵”H（x）的概念来描述信息量。由于信源中的各个波形是随机出现的，所以平均信息量只能用统计平均的方法得到，则H（x）等于各个波形的信息量乘以各波形出现的概率后相加。“熵”的单位为bit/符号。

H（x）=P（x₁）log₂（1/P（x₁））+P（x₂）log₂（1/P（x₂））+…+P（x_n）log₂（1/P（x_n）） （1-3）