论Shannon信息的优化研究

从上面的讨论可以总结出，信息仅仅与随机事件的发生相关，是一种不确定的东西。用数学的语言来说不确定性就是随机性，具有不确定性的事件就是随机事件。因此，可以用研究随机事件的数学工具——概率论和随机过程来度量不确定性的大小（本书称为不确定度）。从直观概念来说，不确定度可以直观地看作事先猜测随机事件发生的难易程度。

某一事件状态的不确定度与该事件可能出现的不同状态的数目和各状态出现的概率大小有关。既然不确定度能够度量（用概率表征），那么信息也就可以度量（用概率的函数表征）。Shannon充分认识到这一点，创造性地用事件发生概率的对数的负值（当对数底大于1时，该值为正）定义了信息量，即Shannon信息，并用信息量的平均值——熵来表征发信端提供的平均信息量，得到了具有普遍意义的重要结论，由此奠定了现代信息论的基础。

Shannon定义的信息概念是建立在一定的数学模型的基础上，它有许多优点：

1）Shannon定义的信息概念是一个相对科学的定义，有明确的数学模型，其信息度量在一定的程度上是科学的。

2）Shannon定义的信息概念与日常用语中的信息含义并不矛盾，排除了日常用语中对信息一词某些主观的含义。同样一条消息对任何一个收信者来说，所得到的信息量（互信息）都是一样的。

3）与其他的信息定义相比较，Shannon信息具有可以用数学表达的形式，在数学公理和假设条件下，从数学上严格地证明了信息论中所有的定理和性质。因此，Shannon信息论是一门严密的数学理论，同时又与通信工程中的基本问题吻合。(www.xing528.com)

但是，Shannon定义的信息概念也有局限性，存在一些缺陷：

1）Shannon定义的信息概念的出发点是，假定事物的状态可以用以经典集合论为基础的概率模型来描述。它抛弃了一些其他的随机属性，仅仅考虑了单纯的随机不确定性。由于经典集合论也有其本身的局限性，实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。甚至对于某些情况来说，是否存在这样一种模型还值得探讨。

2）Shannon信息没有考虑收信者的主观特性和主观意义，也撇开了事物本身的具体含义、具体用途、重要程度和引起的后果等因素，这就与实际情况不完全一致。例如，当收到同一消息后，对不同的收信者来说常会引起不同的感情、不同的关心程度和不同的价值，这些都应该认为是获得了不同的信息。因此，信息有很强的主观性和实用性。

由此可见，Shannon信息的定义和度量在一定的程度上是科学的，在一定的假设下可以通过严格的数学证明得出，能反映信息的某些本质，但也有局限性。