信息論基礎碼集怎麼算

1、將信源符號按概率從大到小的順序排列，假定p(x1)≥ p(x2)… ≥ p(xn)

2、給兩個概率最小的信源符號p(xn-1)， p(xn)各分配一個碼位Ŕ"和ŕ"，將這兩個信源符號合併成一個新符號，並用這兩個最小的概率之和作為新符號的概率，結果得到一個只包含(n-1)個信源符號的新信源。稱為信源的第一次縮減信源，用S1表表示。

3、將縮減信源S1的符號仍按概率從大到小的順序排列，重複步驟2，得到只含(n-2)個符號的縮減信源S2。

4、重複上述步驟，直至縮減信源只剩下兩個符號為止，此時所剩兩個符號的概率之和必為1。然後從最後一級縮減信源開始，依編碼路徑向前返回，就得到各信源符號所對應的碼字。

一）信息論基本計算

1、平均信息量的計算(以高斯分佈的信源為例)

根據題目要求，用高斯過程X(t)d的一維概率密度函數服從正態分佈的表達式f=1/(u*sqrt(2*pi))*exp(-(x-o)^2/2*u^2來完成信源平均信息量的計算。

平均信息量：平均每個符號所能提供的信息量，也叫平均自信息量。

H(X)= —

高斯分佈函數：

[﹣

]