信息量纲的换算关系及其计算方法

6.1.1.1 信息量纲的由来

现代信息学中常用的信息单位是比特（bit），它是Binary Digit（二进制数）的缩写，是克劳德·香农（C.E.Shannon）在其著名的《通信的数学理论》（1948）中首次使用的描述信息量的术语。在信息论尚未作为一门学科建立起来之前，信息的度量一直是一个长期未能得到很好解决的问题，自《通信的数学理论》后，才将信息量的定量描述确定下来。

信息作为自然科学的研究对象，有定量的描述。对某个量做定量表示时，往往将它与某一适当的标准量进行比较。信息量的大小取决于信息内容消除人们认识的不确定程度，消除的不确定程度大，则发出的信息量就大，消除的不确定程度小，则发出的信息量就小。如果事先就确切地知道消息的内容，那么消息中所包含的信息量就等于零。

6.1.1.2 信息量纲的内容

设X代表一组随机事件x₁，x₂，…，x_n，其中p（x_i）=p_i；（0<p_i<1）是x_i出现的概率，且p₁+p₂…+p_n=1，则定义事件x_i的自信息为I（x_i）。或者简写成I，且I（x_i）=-logp_i，在此定义中，没有指明对数的底。自信息量的单位与所用对数的底有关。

其一，当取底为2时，自信息量的单位为比特（bit），如p（x_i）=1/2，则I（x_i）=-log1/2=1bit。

其二，当取底为自然对数e时，自信息量单位为奈特（nat）。

其三，当取底为10时，自信息量的单位为哈特莱（hartley），这是为了纪念哈特莱（L.V.R，Hartley）在1928年最早给出信息的度量方法而取名的。

三者之间的换算关系为：

1奈特=log₂e比特=1.443比特

1哈特莱=log₂10比特=3.322比特

其中，以2为底的信息量单位比特是信息度量的基本单位。

对于信息量的理解，应注意以下问题：(www.xing528.com)

第一，信息量是概率的函数，I=I[p（x_i）]。

第二，p（x_i）越小，I越大；p（x_i）越大，I越小。

第三，信息量的可加性。

6.1.1.3 信息的基本单位

比特是组成信息的最小单位。表示一个比特需要使用两个状态，如开和关，换成交易中的语言，就是交易行为中的买或是不买，就可以被简化理解成为1和0。对一件商品购买与否的决策在没有任何依据的情况下与掷硬币结果是正面和反面是一样的。购买与否的决策可以通过掷硬币的简化方式处理，而投掷一枚硬币结果是正面还是反面所包含的信息量就是一个比特。

假设消费者购买在多种选择当中只能购买一种，交易中的多种选择即可以模拟为多重决策结果，如在六种备选商品中选择一种购买的决策可以被模拟为掷色子，投掷6面体唯一一面朝上的结果。在信息量计算上这一交易行为所包含的信息量为2.6比特。将掷硬币和色子的游戏换成消费者面对一个只有2个品牌或6个品牌的市场，消费者在该市场进行选购的过程和游戏就一致了。

一个特殊的情况是：如果信息使得人们认识的不确定程度更大了，则该信息量为负值。

下面就是一个使用信息量单位对信息进行度量的典型案例：

某人到某单位找一个人，假设该单位共有员工1000人，那么在此人头脑中，目标的可能性空间为1000人，一次就找到这个人的概率是1‰。到了该单位门口，门卫告知“该人是某部门的”，而已知该部门有100人，于是目标的可能性空间就缩小为原来的1/10；到了部门，又得知这个人是某办公室的，而该办公室只有10名员工，至此目标的可能性空间就又缩小为原来的1/10，只需要在10个人中寻找这个人就可以了。

整个找人的过程一共获得了两次信息，每次信息均可度量，而总信息量就是各次信息的总量。在该案例中，目标的可能性空间缩小到原来的1/10，并不是直接用1/10来计量信息，而是以1/10的负对数来表示其相应的信息量（关于度量在随后的研究中阐述）。

值得注意的是，信息量的计算公式恰好与热力学第二定律中熵的公式相一致，只是多了一个负号，熵是系统的无序状态的度量，即系统的不确定性的量度。而信息量与熵所反映的系统运动过程的方向相反，是确定性的量度。因此，信息在系统的运动过程中可以视为负熵。