資訊就是不確定性的消除量

資訊是確定性知識的消除量。比如“明天下雨”這個訊息，在今天晚上，明天下雨的不確定性為50%，但如果到了第二天，下雨了，“下雨”的不確定性為0，也就是說不確定性的消除量等於50%，因此，“明天下雨”這個訊息的資訊量為50%。

資訊特點別擔心，資訊雖然是不確定的，但還是有辦法將它們進行量化的。人們根據資訊的概念，可以歸納出資訊是有以下的幾個特點的：

1、訊息發生的概率P(x)越大，資訊量越小反之，發生的概率越小，資訊量就越大。可見，資訊量（我們用I來表示）和訊息發生的概率是相反的關係。

2、 當概率為1時，百分百發生的事，地球人都知道，所以資訊量為0。

3、當一個訊息是由多個獨立的小訊息組成時，那麼這個訊息所含資訊量應等於各小訊息所含資訊量的和