最近在看有關離散輸入的信道容量的相關知識，發現其中的很多概念多不太熟悉了，爲此覺決定重新學習一遍信息論，老師的講解很多都讓我耳目一新，爲此記錄一下學習筆記。
課程鏈接：https://www.bilibili.com/video/BV1Bs411H7Pi?from=search&seid=17858160577741732208
一：信息，消息，信號
信息：是事物運動狀態或者存在方式的不確定性的描述。
消息：是信息的載體；例如包含信息的語言，文字和圖像等等。
信號：是消息的物理體現。
舉個例子，如下圖：
- 當收到0時，可以確定發送的信息是x1-x4。繼續收到01時，可以確定發送的信息是x3，x4。收到011時，可以確定發送的信息是x4。可以看出，通過獲得信息，我們在不斷消除不確定性，，換句話說，信息就是消除的不確定性。
- 上圖中，x1-x8是消息，其中包含信息；碼字輸出000-111是信號，是消息的物理體現。信息我們從上圖中看不見，它涉及到不確定性，但是我們可以感受到。
二.香農信息的定義
由於信息是由不確定描述的，因此可以用概率來度量的。
先介紹幾個概念：
這裏不確定性的大小是指發送端到底選擇發送哪個符號，那麼不確定性的大小一定是關於這個先驗概率的一個函數。