信息熵

信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率（可能性）大小有关。一个小概率事件的发生，给予人们的信息量就很多。相反，一个大概率事件的出现，给人们的信息量就很少。因此，用 I （A）＝－log p （A）〔 p （A)表示事件A发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有 m 个可能结果（事件），或一个信源可能产生 m 个消息（事件），它们出现的概率分别为 p 1 ， p 2 ，……， p m ，则用 H ＝－ p i og p 来度量一次试验或一个消息所给出的平均信息量。 H 称为信息熵，由于H的表达式与熵的表达式差一个负号，故又称为负熵。