无知水平与Shannon信息熵的关系

Shannon的信息熵定义如下［91］：

其中，pi是信息类（状态、模式、信息、信号等）的概率，log2是底数为2的对数，并且假定log20＝0。

当人们应用自己的知识对有限集合X＝｛x1，x2，…，xm｝中的事物进行分类时（1＜m＜+），不能区分的事物将被归入一类（处于同一个划分块）。根据Shannon对信息熵假设的第三个假设“如果一个整体选择被分为一系列个体选择，则整体的熵是个体熵的加权和”［91］393，对应于划分B＝｛B1，B2，…，Bn｝的信息熵为

当个事物处于同一个划分块Bj时，这个事物对该划分块中的个位置的占有概率是一样的，都是因此对应于划分块Bj的信息熵为

因此有

比较式（7.12）和式（7.9）可有如下结论：

定理7.3　Shannon的信息熵与本章的无知水平公式是等价的（相差一个常数ln 2），有I＝ln 2·H（B）。(www.xing528.com)

应用本节的公式，基于例7.1的数据，可以讨论张三和李四的信息熵。由定理7.1和定理7.2可有H＝（ln m-K），而例7.1中已经算出了知识水平值，

因此

进而可以通过

算出相对熵差

可以看出张三、李四的相对熵差等于张三、李四的相对知识水平差，这是因为知识水平和熵（无知水平）存在互补关系。

鉴于本章给出的无知水平度量公式与香农的信息熵等价（相差一个常数），因此，本章其余部分也称无知水平［即式（7.9）］为知识熵。