信息論與編碼章節(jié)練習(2020.06.01)

來源：考試資料網(wǎng)

1.問答題 一階馬爾可夫信源的狀態(tài)圖如圖所示。信源X的符號集為{0，1，2}。
（1）求平穩(wěn)后信源的概率分布；
（2）求信源的熵H_∞。

（1）由圖得一階馬爾可夫信源的狀態(tài)為s₁=0，s₂=1，s₃=2。
對應的一步轉移概率矩陣為

2.問答題試證明H（X）是輸入概率分布P（x）的上凸函數(shù)。

3.填空題在多符號的消息序列中，大量的重復出現(xiàn)的，只起占時作用的符號稱為（）。

4.問答題簡述連續(xù)信源的熵的定義。

參考答案：連續(xù)信源的不確定度應為無窮大，是相對熵，或叫差熵。在取兩熵之間的差時才具有信息的所有特性。

5.判斷題離散平穩(wěn)有記憶信源符號序列的平均符號熵隨著序列長度L的增大而增大。

6.問答題 簡要說明下面幾種譯碼準則：
（1）最優(yōu)譯碼準則；
（2）最大似然譯碼準則

7.名詞解釋無記憶信道

在某一時刻信道的輸出消息僅與當時的信道輸入消息有關，而與前面時刻的信道輸入或輸出消息無關。

8.填空題和離散信道一樣，對于固定的連續(xù)信道和波形信道都有一個最大的信息傳輸速率，稱之為（）。

9.問答題 某氣象員報告氣象狀態(tài)，有四種可能的消息：晴、去、雨和霧。若每個消息是等概率的，那么發(fā)送每個消息最少所需的二元脈沖數(shù)是多少？又若四個消息出現(xiàn)的概率分別為問在此情況下消息所需的二元脈沖數(shù)是多少？如何編碼？

10.填空題克勞夫特不等式是唯一可譯碼（）的充要條件。