消除不确定性的通信作用及概率函数

Shannon还指出：“人们只有在两种情况下有通信的需求，其一是自己有某种形式的消息要告诉对方，而估计对方不知道这个消息；其二是自己有某种疑问要询问对方，而估计对方能给出一定的解答。”

在一般情况下，这里的“不知道”和“疑问”可以归结为在某种知识上的“不确定”。第一种情况是希望消除对方的不确定性；第二种情况是请求对方消除不确定性。所以，通信的作用是通过消息的传递，使收信者从接收到的消息中获取某种东西，因而消除了通信前存在的不确定性。这种东西就是信息。这样就有理由给信息一个明确的定义，“信息就是用来消除不确定性的东西”。进而可以合理地推断，通信后收信者获得的信息在数量上等于通信前后“不确定性”的消除量。这就是信息理论中度量信息的基本观点。

根据常识，不确定性是与“多种结果的可能性”相联系的，而在数学上这种可能性用概率来度量。概率大，“可能性”大；概率小，“可能性”小。显然，“可能性”大，意味着“不确定性”小；“可能性”小，意味着“不确定性”大。由此可见，“不确定性”与概率的大小存在着必然的联系，即是概率的函数。那么，“不确定性”的消除量，也就是狭义的通过通信获取的信息量，也一定是概率的函数。这样就完全解决了作为“通信的消息”来理解的狭义信息的度量问题。这一点与非决定论有相似性。(www.xing528.com)

以上三个观点是信息论的三大理论支柱。信息论的建立在很大程度上澄清了通信的基本问题。信息论以概率论为工具，刻画了信源产生信息的数学模型，导出了度量信息的数学公式，描述了信道传输信息的过程，给出了表征信道传输能力的容量公式，还建立了一组信息传输的编码定理，论证了信息传输的一些基本界限。这些成果的取得一方面使通信技术从经验走向科学，开辟了通信科学的新纪元，另一方面，也为整个信息科学的形成和发展，奠定了必要的理论基础。但是也应该看到，在通信系统的各种模型中，均存在各种各样的前提和假设，致使信息论只能适用于一定的范围，给这个理论带来一定的局限性。