信源熵的七大基本性质

信源熵的基本性质：

1、 非负性：H(X) ≥ 0

熵描述的是某个集合统计意义上的不确定性，是自信息的加权平均。

而我们在一开始寻找描述不确定性的函数，引出自信息量概念的时候，便要求自信息的取值应在[0，+∞]。

故，熵作为自信息的加权平均，自然也是非负的。

2、 确定性：H(1，0)=H(1，0，0)=……=H(1，0，0，…，0)=0

①根据熵的定义式，可知H(1，0)=1*log1=0

②根据熵的意义，当信源发出某个符号的概率为1，则该信源为确知信源，其不存在不确定性

即确知信源的熵等于0。

3、 对称性：熵只与随机变量的总体结构有关。

熵的对称性

4、 扩展性：极小概率事件对熵几乎没有影响

熵的扩展性

5、 熵的链式法则

熵的强可加性

该式称为熵的强可加性。

若X，Y统计独立，则

熵的可加性

该式称为熵的可加性。

进一步推广，可得

N维联合信源熵的链式法则为：

N维联合信源熵的链式法则

6、 极值性：输入等概时，熵最大。

熵的极值性

上式又称为最大离散熵定理。

7、 熵的独立界：条件熵小于等于无条件熵。

条件作用使熵减小

如果统计相关的变量已知，则统计意义上不确定性减少。

即，条件作用使熵减小。

熵的独立界是统计意义上的，对于Y具体取某个值的情况不一定成立。

熵的独立界

该定理称为熵的独立界。

基本信息

信源熵:是信息论中用来衡量信源信息量有序化程度的一个概念。信源熵值与信源有序化程度成反比有序度越高，信源熵值越低，反之亦成立。

定义

信源熵的定义:信源各个离散消息的自信息量的数学期望(即概率加权的统计平均值)信源熵的单位是 Bit/sign