信息论基础码集怎么算

1、将信源符号按概率从大到小的顺序排列，假定p(x1)≥ p(x2)… ≥ p(xn)

2、给两个概率最小的信源符号p(xn-1)， p(xn)各分配一个码位Ŕ"和ŕ"，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n-1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表表示。

3、将缩减信源S1的符号仍按概率从大到小的顺序排列，重复步骤2，得到只含(n-2)个符号的缩减信源S2。

4、重复上述步骤，直至缩减信源只剩下两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。

一）信息论基本计算

1、平均信息量的计算(以高斯分布的信源为例)

根据题目要求，用高斯过程X(t)d的一维概率密度函数服从正态分布的表达式f=1/(u*sqrt(2*pi))*exp(-(x-o)^2/2*u^2来完成信源平均信息量的计算。

平均信息量：平均每个符号所能提供的信息量，也叫平均自信息量。

H(X)= —

高斯分布函数：

[﹣

]