黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}。設黑色出現的概率為p（黑）=0.3，白色的出現概率p（白）=0.7。
（1）假設圖上黑白消息出現前后沒有關聯，求熵H（X）；
（2）假設消息前后有關聯，其依賴關系為p（白/白）=0.9，p（黑/白）=0.1，p（白/黑）=0.2，p（黑/黑）=0.8，求此一階馬爾可夫信源的熵H₂（X）；
（3）分別求上述兩種信源的剩余度，比較H（X）和H₂（X）的大小，并說明其物理意義。

一階馬爾可夫信源的狀態(tài)圖如圖所示。信源X的符號集為{0，1，2}。
（1）求平穩(wěn)后信源的概率分布；
（2）求信源的熵H_∞。

設是X=X₁，X₂，...，X_N平穩(wěn)離散有記憶信源，試證明：

設有一個信源，它產生0，1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按p（0）=0.4，p（1）=0.6的概率發(fā)出符號。
（1）試問這個信源是否是平穩(wěn)的？
（2）試計算及；
（3）試計算H（X⁴）并寫出X⁴信源中可能有的所有符號。

有兩個二元隨機變量X和Y，它們的聯合概率為

并定義另一隨機變量Z=XY（一般乘積）。試計算：