有一個一階平穩(wěn)馬爾可夫鏈X1,X2,……Xr……,各Xr取值于集合A={a1,a2,a3}。已知起始概率p(Xr)為p1=1/2,p2=p3=1/4,轉(zhuǎn)移概率如下。 (1)求(X1,X2,X3)的聯(lián)合熵和平均符號熵。 (2)求這個鏈的極限平均符號熵。 (3)求H0,H1,H2和它們所對應(yīng)的冗余度。
若有二個串接的離散信道,它們的信道矩陣都是 設(shè)第一個信道的輸入符號Xє{a1,a2,a3,a4}是等概率分布,輸出符號用Z表示。第二個信道輸出用Y表示。求I(X;Z)和I(X;Y),并加以比較。
設(shè)兩連續(xù)隨機變量X和Y,它們的聯(lián)合概率密度是均值為零,協(xié)方差矩陣為C的正態(tài)分布,,在下列幾種情況下,計算I(X;Y): (1)ρ=1; (2)ρ=0; (3)ρ=-1。