《信息论与编码第三章曹雪虹习题答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码第三章曹雪虹习题答案.docx（9页珍藏版）》请在三一文库上搜索。
1、精品资料可修改3.1设二元对称信道的传递矩阵为3(1)若 P(0) = 3/4, P(1) = 1/4 ,1323求 H(X), H(X/Y), H(Y/X) 和 I(X;Y);(2)求该信道的信道容量及其达到信道容量时的输入概率分布;解：1)H(X)0.811 bit/symbol33 11P(Xi)(4 10g24 Z log2Z)H (Y/X)(40.918p(x)p(yj/为)10gp(yj/xj2,231,11 1,1lg lg lg 3 3 4 3 3 4 3 3bit / symbol12,2、，“lg-)10g 2 10433P(yi)P(xiyi)P(X2yi)P(Xi) p
2、(yi/Xi)p(X2)p(y1/x2)P(y2)P(xiy2)pdy?) p(Xi)p(y2/Xi)P(x2)p(y2/X2)34342313141413230.58330.4167H(Y)I(X;Y)H (X/Y)I(X;Y)p(yj)H(X) H(X)H(X)(0.5833 log2 0.5833H(X/Y) H (Y)H(Y) H(Y/X)H(X/Y) 0.8112)C max I (X;Y) log2 m H mi0.4167log2 0.4167)0.980 bit / symbolH(Y/X)0.811 0.9800.749 0.0620.918 0.749 bit/symbol
3、 bit / symbol11log2 2 (-lg32 2Tg) log210 0.082 bit / symbol 3 3一口，小，、1其最佳输入分布为 p(xi)23-2某信源发送端有2个符号，x , i = 1 , 2 ； p(Xi) a ,每秒发出一个符号。接受端有 3种符号Yi, j=1 , 2, 3,转移概率矩阵为 P1/2 1/2 01/2 1/4 1/4(1) 计算接受端的平均不确定度；(2) 计算由于噪声产生的不确定度H (Y | X);(3) 计算信道容量。1/2 1/2 0解：P1/2 1/4 1/41 H(Y) -log212唠21 .八2log2 32log2取2为
4、底1164logrv1 + a,41 a,4log log41 a 41 aa 1 alog 一411 . _ 1 ,1-log16 -log2441 a2a 1 -log 一114logrvaa,1 alog 一41 aa41 a3 11H(Y) (2 Ilog21V)bit(2) H (Y | X ) a log - a log - 22 223(1 a) i.a log 2 - log 2log 21 a,11al 1log - log -44443 al c-2-log 2取2为底H(Y|X)3 abit2c maxP(Xi)I(X;Y)max H (Y) H (Y | X ) P(X
5、i )maxP(Xi)a _ 11 a 1 a一 log 2 log 2 log 241 a2 4 1a取e为底ln211n2 21In 2 211n2 2=01 2a41 a2a_22(1 a )1.1a-ln4 1 alln4111 a2a1 a1 a1 aln41 aa 1 a-ln a) 4 1 a7(aa)41 a2联合概率P(xyj)XYy1y2y3Xia/2a/20x2(1 a)/2(1 a)/4(1 a)/4则Y的概率分布为Yy1y2y31/2(1 a)/4(1 a)/4精品资料435123 5log2i11log；一941蒜25331log 一54log2 log log 一
6、104162043 .八1 ,53 ,八log 2 log log 210241015log 243.3在有扰离散信道上传输符号0和1 ,在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2 ，信源每秒内发出1000个符号，求此信道的信道容里。解：由题意可知该二元信道的转移概率矩阵为:0.99 0.01 P0.01 0.99为一个BSC信道3-6设有扰离散信道的传输情况分别如图3-17所示。求出该信道的信道容量。可修改所以由BSC信道的信道容量计算公式得到:logs H(P) log2 Pi log 0.92bit/signPiCt1-C 1000C 920bit / sec
7、 t3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e=0和1/2时的信道容量C的大小。XY1 001解：信道矢I阵P= 003001 ee，此信道为非奇异矩阵，又r=s,可利用方程组求解e1e3? P(bj |a)bj = ? P(bj |a。10g P(bj |aj (i=1,2,3) j=1j=112 b eb1 = 0(1- e)log(1 - e)+ elog e elog e+ (1- e)log(1 - e)解得b1= 0b2 = b3 = (1- e)log(1 - e)+ elog e所以C=log ? 2bj =|og2 0+2 X2(1-e)log(1- e)+
8、eloge=logl+2 1-H( e )=logl+2 (1- e)(1-e) ee1- CCP(b)= 2b= 2 C =11+ 2(1- e)(1-e)ee11+ 2 H(e)P(b2)= 2b2-C =(1- e)eee1+ 2(1- e)(1-e)eePQ)= 2b3-C= P(b2)3而 P(bj)=？ P(aJP(bj|ai)(j=1,2,3)i= 1P(6)= P(aJP(a2)(1- e)+ P(a3)eP(a2)e+ P(a3)(1- e),1所以 P(a1)=P(b 1)=ee1+ 2(1- e)( )ee eP(a2)= P(a3)= P(b2)= P(b3)=- He
9、) e1+ 2(1- e)(e当e=0时，此信道为一一对应信道，得 、 、1C=log3,P(ai) = P(a2)= P(a3)=3,一 、11当 e=1/2时，得C=log2, P(a1)= 2,P(a2)= P(a3)=-3.5 求下列二个信道的信道容量，并加以比较p p 2p p 20(i)-(2) 上p p 2p p 02其中p+ p =1解：(1)此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集由于集列所组pp2成的矩阵 p _,而这两个子矩阵满足对称性，因此可直接利用准对pp2称信道的信道容量公式进行计算。2C1=logr-H(p1 p2 p3 )- Nk log Mk
10、k 1其中r=2,N1=M1=1-2N2= 2M2=4 所以C1=log2-H( p ,p- &2 力(1-2)log(1-2)-2 log4=log2+( p )log( p )+(p-)og(p- 9+2 dog2 &(1-2 910g(1-2 -2 dog4 e=1og2-2 dog2-(1-2 )og(1-2 9+( p )1og( p )+(p- 910g(p- )二(1-2 910g2/(1-29+( p )1og( p )+(p- )1og(p-)输入等概率分布时达到信道容量。(2)道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子此信道也是准对称信道，也可
11、采用上述两种方法之一来进行计算。先采用准对称信集列所组成的矩阵为p 20-,这两矩阵为对称矩阵其中p0 2r=2,N1=M1=1-2N2=M2=2,所以_2C=1ogr-H( p- ,p- e,2 -Nk 1og Mkk 1s-(1-2 矶og(1-2 9-2 dog2 =1og2+( p - )1og( p - )+(p- 910g(p- 9+2 dog2=1og2-(1-2910g(1-2 9+( p - )1og( p - )+(p- 910g(p- )=(1-2 910g2/(1-29+2 dog2+( p - )1og( p - )+(p- e)1og(p- e)=C1+2 dog2
12、输入等概率分布(P (a1) =P (a2) =1/2 )时达到此信道容量。比较此两信道容量,可得 C2=C1+2 dog2X 1/21/21/21/21/21/21/21/2图3-17120解：012121 2001 212001 212对称信道C log mH(Y|d)log 42log 2取2为底C 1bit/ 符3-7110条件概率041101ToP仙尸Voi13 )(2) + LogC5j 十 Log -103+ Log(l(J) H3010-1.1751515 U(3)当接收为y2,发为x1时正确，如果发的是 x1和x3为错误，各自的概率为:精品资料P(x1/y2)=P(x2/y2
13、)=53P(x3/y2)= 5其中错误概率为:(4)Pe=P(x1/y2)+P(x3/y2)=平均错误概率为3一 0.85可修改+1H1- - + =15 如 10101510仍为0.733此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率x1-y1x2-y2x3-y3的概率的概率的概率0.50.3有一半失真 有失真严重 完全失真H即 = l烈H(X/Y尸1 ,，、 -Log(2) 611 .一 Log (5) Log1015Log 15一 Log (5) Log1010一 Log (10) 一 Log -1.30130103. 8设加性高斯白噪声信道中，信道带宽3kHz ,又设（信
14、号功率+噪声功率）/噪声功率=10dB。试计算该信道的最大信息传输速率 Ct。解：3. 9在图片传输中，每帧约有2.25 106个像素，为了能很好地重现图像，能分 16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信 道的带宽（信噪功率比为30dB ）。解：H log 2 n log216 4 bit/symbolI NH 2.25 106 4 9 106 bit10I 9 1065Ct1.5 105 bit /st 60Ct Wlog 1 PX5Ct1.5 10W t 15049 Hz,.Pxlog2（1 1000）log 1 Pn3-10 一个平均功率受限制的连续信道，其
15、通频带为1MHZ，信道上存在白色高斯噪声。(1)已知信道上的信号与噪声的平均功率比值为10 ,求该信道的信道容量；(2)信道上的信号与噪声的平均功率比值降至5,要达到相同的信道容量，信道通频带应为多大？(3)若信道通频带减小为 0.5MHZ时，要保持相同的信道容量， 信道上的信号与噪声的平 均功率比值应等于多大？解：(1) C Wlog2(1 SNR)1 10610g2(1 10)3.159Mbps(2) C2 W210g2(1 5) 3.459MbpsW23.159Mlog 2 61.338MHZ3.4590.5(3) C3 W310g2(1 SNR) 3.459Mbps, ，log2(1 SNR)SNR 120