《信息论第二章答案.docx》由会员分享，可在线阅读，更多相关《信息论第二章答案.docx（21页珍藏版）》请在三一文库上搜索。
1、2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0. 1,2,3八进制脉冲可以表示8个不同的消息,例如:(0, 1,2,3,4, 5, 6, 7)二进制脉冲可以表示2个不同的消息，例如：0,1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量”(XJ = log/? = log4 = 2 bit/symbol八进制脉冲的平均信息量”(X J = log/? = log8 = 3 bit/symbol二进制脉冲的平均信息量”(X0) = log/? = log2 = l bit/symbol所以：四进制、八进制脉冲所含信息量分别是
2、二进制脉冲信息量的2倍和3倍。2.2 一副充分洗乱了的牌(含52张牌)，试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1)52张牌共有52!种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是:/(占)=-log p(x) = log 52!= 225.581 bit2.3 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下:(a)p(x)=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12
3、/42 * 8/41 * 4/40=1.0568El(b)总样本：其中13点数不同的数量为4*4*4*_*4=4巴 所以，抽取13张点数不同的牌的概率：= 13.208 bitP()=/(x/) = -log/;(x/) = -log2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女 孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大 学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历X xt (是大学生)P(X)0.25X2 (不是大学生)0.75 3 yi (身高 I og6不满足信源烯的极值性。 解：
4、”(x)= -p(z)iogp(X) i= -(0.21og 0.2 +0.191og 0.19+0.181og 0.18 +0.171og0.17 + 0.161og 0.16 +0.171og0.17)=2.657 bit/symbol“(X)log? 6 = 2.5856不满足极值性的原因是p(w)= 1.07 lo i2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求：“3和5同时出现”这事件的自信息；“两个1同时出现”这事件的自信息；两个点数的各种组合(无序)对的燃和平均信息量；两个点数之和(即2, 3,，12构成的子集)的炳；两个点数中至少有一个是1的自信息量。7 7
5、 7 7 7 a(2(3a(5解P(Z)=1111X +X =6 6 6 6118/(xj = -logP(x.) = -log- = 4.170 bit1 o(2)z 1 1 1/?(x.) = -x- =“6 6 36/(x,) = -log p() = -log = 5.170 bit两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11, 22, 33, 44, 55, 66的概率是6 6 36其他15个组合的概率是2x4xL = -L6 6 18/11
6、11 AH(X) = -p(w)log p(xj = - 6x log + 15x log =4.337 bit/symbol36361818 7参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下: 7 7 8 9 10 11 12115 11 116 36 9 12 18 36)=(科3)叫 i2 j3(/)(/)rl i2 /3-1 log2e= 11 i i J1P(x)w R II 5 数(X)=P(W ) log P(x,)1 .11.1.1,1 9 1. 1 9 5 .511=一 2x log + 2x-log一 +2x-log一 + 2x-log-+ 2x log +
7、-log-I 363618181212993636 66)=3.274 bit/symbol(5)z 1 111p(x. ) = x x 11 =16 636I(%,.) = -logp(x-) = -log= 1,710 bit302.8 证明：H(X* V W H(X,) + H(X2) + + H(X) q证明：H(XlX2.Xll) = HXl) + H( H(XJXJ/(X3;X1X2)0= ”(XJ H(XJXLX2)/(X；X)20=(Xn)2H(Xn/X/.X,i):.H(XlX2.Xlt)H(Xl)+H(X2)+H(X5) + .+ H(XJl)2.9 证明：H(XVXiX2
8、) p(/)=2(/)= (/)2(/) = p(/= p(%)p(%2 /x“)P(/) = P(ZRH,3)= (/)(/)=(/).等式成立的条件息1,X?,X3是马氏链2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态, 调查结果得联合出现的相对频度如下：f冷 12 晴f冷8 晴I暖8 忙|冷 27 雨I暖 15 闲冷5 雨若把这些频度看作概率测度，求：(1)忙闲的无条件埼；(2)天气状态和气温状态已知时忙闲的条件燃；(3)从天气状态和气温状态获得的关于忙闲的信息。解：根据忙闲的频率，得到忙闲的概率分布如下： x 1 .忙闲=8 8 .H(Z) = Y
9、)=-信log: + glog= 0.544 bit/symbolP(%)=P(XiZj+p(/J)P(XR)= OP*R)=p(xJ = 0.5。(1)=/&)+/(&) 73P(%4)= p(a) - P(R&) = -0.5 = - ooPU2) = pz2)+ p(x2z2)P()=P(Z?) = J o/1 i 33 i i A(XZ) = p(x,)logp(x4) = - -log-+-log- + -log- =1.406 bit/symbol，(凡)=(见4)+，()2)p(yR) = oP(X4)=() = 0.5P(Zi) = P()3+pg)73p(%&) = p(zj
10、 - p(y】zj = c - 0.5 = w oop(z2) = p(ytz2)+ p(y2z2)p(y2) = pa2) = o1133 11 (yZ) = -22p(yA)logp(%&) = - -log- + -log- + -log- =1.406 bit/symbolp(%y心)=op区 y/l = op(x2 ylz2)=。p(用 % z J + Cg 兑 z?) = (* y J(占九号)=(占%)=1/8p(X%zJ+ p(mxzJ= p(%zj1 1 3p(x】%4)= P(xlzl)-p(xlylz1) = - = - ZooP(Z % zj+ p(x2y1z2) =
11、p(x2y1)3P2yzj = p(x2y) = -oP(&RZj = 0P(x2y2zl) + p(x2y2z2) = p(x2y2)P(x2y2z2)= p(x2y2) = o”(XYZ) =ZPC，匕Z*)log2 p(wyjzk)f 1I 33 33 11 =log- + -log- + -log- + -log- =1.811 bit/symbol18(88888888)Q) # 3, 3 3. 3“(Xy)= _p(w %)k)g2 P(七力)=-log- + -log- + -log- + -log- =1.811 bit/symbol i jO OO OO OO/(x/y)=
12、/7(xr)-/(y)= 1.811-1 = 0.811 bit/symbol/(y/x)= /7(xr)-/(x)= 1.811-1 = 0.811 bit/symbolH(XIZ) = H(XZ) - /(Z) = 1.406-0.544 = 0.862 bit/symbol”(Z/X) = (XZ)- ”(X) = 1.406-1 = 0.406 bit/symbolH(Y/Z) = H(YZ)= .406-0.544 = 0.862 bit/symbolH(Z/Y) = H(yz)-/f(y)= 1.406-1 = 0.406 bit/symbolH(X/YZ) = H(XYZ)-H(
13、KZ) = 1.811-1.406 = 0.405 bit/symbolH(Y/XZ) = H(XYZ)- H(XZ) = 1.811-1.406 = 0.405 bit/symbol/(z/xr)= /(xrz)-/(xy)= 1.811-1.811 = 0 bit/symbol(3)Z(X；r)= Z7(X)-/(X/r)= 1-0.811=0.189 bit/symbol/(X;Z) = (X)- ”(X /Z) = 1-0.862 = 0.138 bit/symbolI(Y;Z) = H(Y)-H(Y/Z) = 1-0.862 = 0.138 bit/symbolI(X;Y/Z) =
14、H(X/Z)-H(X/YZ) = 0.862-0.405 = 0.457 bit/symbol1(Y,Z/X) = H(Y / X)-H(Y / XZ) = 0.862-0.405 = 0.457 bit/symbol/(X;Z/Y) = H(X/Y)-H(xJ-/Z(X4) = 4/(X) = -4x(0.41og0.4 + 0.61og0.6) = 3.884 bit/symbolX的所有符号:0000 00010100 01011000 10011100 11010010011010101110001101111011mi.# .2.14 设X = X1X?XY是平稳离散有记忆信源，试证
15、明：/(X1X2.Xv) = /7(X1) + /7(X2/X1) + /(X3/X1X2) + . + /(X/v/X1X2.Xv_1)o证明：HX,X2.Xn)=- p(%z % )叫 p(,二一%)G J 5)iog p(z)p(% /)(/ /%_)G J 5=-X X-Sp(%) log()-p(% %)log，(%/%)G L 口 5JG J L 5_-SS-S (/% %)/ %. ) 425=一 p(/)log，(%)- ( %)log p(z / /) GG J一 (/马4) igp(%,/)= H(Xl) + H(X2/Xl) + H(X5/XLX2) + .+ H(XN/
16、XlX2.N_L)2.15 某一无记忆信源的符号集为0, 1,已知户=1/4, P(1)=3/4o(1)求符号的平均燧；(2)有100个符号构成的序列，求某一特定序列(例如有勿个“0”和(100 -加个 T) 的自信息量的表达式；(3)计算中序列的熔。解：ri/11 33、H(X) = _ p(x.)log /7(xj = - - log + log-j = 0.811 bit/ symbolQ)100-/n43100-1/(Z) = - log，( ) = 一 log /=41.5 + 1.585/ bit(3)= 100”(X) = 100x 0.811 =81.1 bit/symbol2
17、. 16 一阶马尔可夫信源的状态图如下图所示。信源才的符号集为0, 1, 2)o (1)求平稳后信源的概率分布；解：(1)P(eJ = p(ejp(c /)+ ()(/&) = p(e2)pe2 /e2)+ p(e5)p(e2 /e3)/(A) = P(elp(q /q)+ p(ejp(q /ejP(eI)=P-P(e】)+P-P(e2) p(%)= pp(%)+p, p(%) p(q) = p-p(g) + p,p(g)p(eJ=p(G)=p(q)P(6)+P(4)+P(e3)= lP(eJ = l/3p(ej = 1/3p(q) = l/3P8) = P(eJP&)+ p(e2)p(Z /
18、0) = p , p) + p - p(&) = (P + P)/3 = 1 /3 P(&) = p(e2)p(x2/e2)+ p(q)p(& /q) = p, pg) + p p(s) = (p + p)/3 = 1 /3(/)= P(q)P(/ /q)+ /ej = P - p(q) + p- P(eJ = (p+ p)/3 = 1/3P(X)012(2)(2)求信源的炳区。33“8 = p(e,)p(e, / ) log p(e J，)=一 g P(6 / 4) log P(6 / /) + ； Pg eJ log p(e e J + g p(q / e J log pg 6)+1 P(
19、6 / e J log P(6 / 6) + g P(6 / 6)log (&/&) + Pg &) bg P(G / e2)+ P(6 / G ) log P(6 / s ) + p(g / q ) log p(6 / q ) + p(q / q ) log pg/ e3)-1 - - 1 1 1 - - 1 1 - -=-p-logp + -plogp + -p-logp + -p-logp + -p-logp + -p logp=-(p- log p+ p- log p) bit/symbol2. 17黑白气象传真图的消息只有黑色和白色两种，即信源后黑，白。设黑色出现的概率为 P(黑)=
20、0.3,白色出现的概率为ZY初二0.7o(1)假设图上黑白消息出现前后没有关联，求埼，；(2)假设消息前后有关联，其依赖关系为夕俗囱=0.9, P (黑/白)= 0.P(白/黑) = 0.2, P(黑/黑)=0.8,求此一阶马尔可夫信源的燧是；(3)分别求上述两种信源的剩余度，比较，和耳的大小，并说明其物理含义。解：H(X ) = 一 p(x.)log p(xj = -(0.3 log 0.3 + 0.7 log 0.7) = 0.881 bit / symbol(2)p(SK/.W)=O.Spcs-。-tj0 泊/白)=0.9p(ej= p(el)p(el/el)+ p(0)p(，/e?)P
21、) = P(0 ) P& / 6)+ P(g) p(e? / e Jp(eJ = 0.8p(6)+ 0.1p(R)p(& ) = 0.9 p(& ) + 0.2 p(ejpe)= 2p(ej H2(X)表示的物理含义是：无记忆信源的不确定度大于有记忆信源的不确定度，有记忆信源的结构化信息较多， 能够进行较大程度的压缩。2.18每帧电视图像可以认为是由3X105个像素组成的，所有像素均是独立变化，且每像素又 取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一 个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像 所广播的信息量是
22、多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描述此 图像，广播员在口述中至少需要多少汉字？解：1)”(X) = log = log 12 8 = 7 bit/symbolH(X) = NH(X) = 3x105x7 = 2.1x106 bit/symbol2)H(X) = logw = logl0000= 13.288 bit/symbolHXn) = NH(X) = lOOOx 13.288= 13288 bit/symbol 3)=158037A, ”(X)2.1X106N =”(X)13.288 17 2.19给定声音样值X的概率密度为拉普拉斯分布p(x) = gQ-烟,-
23、GO X ”,(乂) = 1。且主2XX 厂+ V- 厂2. 20连续随机变量才和丫的联合概率密度为：p(x,y)T加，求H(x), H(Y),0 其他，夕和I (X;Y)。(提示：2 logt smxJx = -log2 2)解:.N 产1 . 2yjr2 x2P(x)= rP(今)dy= rrdy=； (-rx r)J-V/-.v-J-7厂-jC 勿一勿一(X) = -1, p(x)log p(x)dx2y1r2 -x2 ,=-p(x)log；-dx 用=-fP(初og-dx- p(初og J，-x2dxJr勿Jr= log= log2加二-j p(初og y/r2 - x2 dx11 -
24、log r +1 log2 e2=log；勿，一 ；log2 e bit/symbol其中：j p(x)log yjr2 - x2dx=2；，log ylr2-x2dx 正=lr2 -x2 log 7r2 -x2 dx加Jo/4 ro 八令1=rcQsO- L r sui log r sui Oclr c os)4 r0=-L r2 sin, dlog rsina/84 二,=f2 sui 81og rsma/e乃Jo44 ri= 2 sui 81og rdO+ sin- eiogsin 田 8乃Jo7Jo：l-cos2 夕de +，E 1-C；s2d bg sm al0=log z*2 dO
25、log z*2 c os2al 8 + log sin 田 6g c os28 log s in 6d 0=log /*-log /*2 i/sni2 + (-ylog2 2)-2c os28 log sin 6d 6=log r-l2 cos2eiogsina/e1 111=logr-l + - log2 e其中：2 22 cos2eiogsina/ei c-=12 log sm 6d sin 20乃Jo=sin 28 log sm 需 一 g sin 26d log sui 01 zf2 2smecos。 乃Jocoslog. eciusin。2 -L=log, e2 cos2 6d0 乃
26、-J。3 i样 l + cos2 j八=log、e Id6冗 J。 21rzir三=log. e2 d6log, e2 cqsIOcIO乃 -Jo 乃 -J。11 = -log2e- -log2sm 2 碟= -log2ep(y) = P*y)dx = dx = 2“ ： (-r yr)J-Q-一厂%-kp(y) = p(x)HC(Y) = HC(X) = log2 -ilog2 e bit/sytnbolHXY) = -jj p(xy)log p(xy)dxdy R=-jj P(肛)logdxdyr m=log m 二 JJ p(xy)dxdy R=log2 m二 bit/symbolMX;
27、Y) = Hc(X) + Hd)-Hg2 欢 cr； +.+ glog2 您 b：1 N= 5log2 很村bx2 0xa0 其他幺/=! 解:1)2.22设有一连续随机变量，其概率密度函数p(x) = 试求信源才的炳；试求丫二才,力”)。的燧。9；试求丫二2%的燃1斤。”,(X) = -Jj(x)log f(x)dx = -/(x)10g bxdx=-log /? /(x)dx - /(x) log x2dx=一 log - 2可R x2 log xdx=_10gb_2b/log 一、bx5 ba5丁尸x(X)= 丁，/x()= 丁 = 103.”(.(X) = -logb-一 log 土
28、bit/symbol3 e/0x0y-A 6/Ay a + A耳(y) = P(Y y) = P(X + A y) = P(X y-A)/(y) = F(y) = b()-A尸,(y)= - Jj(og /(y)办= Jj(v)iogb(y - a尸办= -log/?- Jy)dy- /(y)log(y- A 尸办= -log/?-2/?(y-Ay log(y- A)d(y-A) 21 = -log/?-2ba5log- bit/symbolK，(y) = g(y-A)3，鸟(4+A) =? = i03/. H (Y) = -logblog bit/symbol3 e3)v0x0-6/ 2/. 0 y 2a 4(y) = W ( y) = P(2X y)= p(x |)/(y)=F(y)=(y2 oc (Y) = - Jj(y)iog /力=-Jj(y)iog | y2dy=Tog，f(y)dy- Jj(y) log y2dy= -iog|-)?2iogyT.b 2b. 8/= -log- -log - , 2ba a5 9一 2b/= Togb - -log + z9 e 3耳日)= (儿5(2。)=容=iO 3/. / (X) = - log /? - log +1 bit/symbol3 e