《信息论编码试卷2.docx》由会员分享，可在线阅读，更多相关《信息论编码试卷2.docx（6页珍藏版）》请在三一文库上搜索。
1、信息论编码试卷2一、填空题（共15 分，每空1 分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。3、三进制信源的最小熵为30，最大熵为 log2 bit/ 符号。4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S) ）。5、当 R=C或（信道剩余度为0）时，信源与信道达到匹配。6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。8、若连续信源输出信号的平均功率为2 ，则
2、输出信号幅度的概率密度是高斯分布或正态1x21 log 2 e 2 。分布或 f xe 2 2时，信源具有最大熵，其值为值229、在下面空格中选择填入数学符号“, , ”或“”（ 1）当 X和 Y 相互独立时， H（ XY） =H(X)+H(X/Y)=H(Y)+H(X) 。（2） H2 XH X1X2H 3H X1X2 X 32X3（ 3 ）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0,H(Y/X)=0,I(X。 Y)<H(X) 。二、（ 6 分）若连续信源输出的幅度被限定在【2,6 】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵
3、，并说明该信源的绝对熵为多少。Q f x1 ,2 x640, 其它相对熵 h x6log fx dxf x2=2bit/自由度该信源的绝对熵为无穷大。三、（ 16 分）已知信源Ss1s2s3s4 s5 s6P0.20.20.20.20.10.1（1）用霍夫曼编码法编成二进制变长码；（6 分）（2）计算平均码长L。（4分）（3）计算编码信息率R 。（2分）（4）计算编码后信息传输率R。（ 2 分）（5）计算编码效率。（ 2分）（ 1）1 / 64 10 6 bpsS100.20S210.2S30.2001.01S40.210S50.11S60.11编码结果为：S100S201S3100S4101
4、S5110S61116码元（2） LPi i0.4 20.6 3 2.6i1符号（3） RL log r=2.6 bit符号（4）HS2.530.973bit其中，RL2.6码元HSH0.2,0.2,0.2,0.2,0.1,0.12.53 bit符号（5）HSH S0.973L log rL评分：其他正确的编码方案：1，要求为即时码2 ，平均码长最短四、（ 10 分）某信源输出A、 B、C、 D、 E 五种符号，每一个符号独立出现，出现概率分别为 1/8 、 1/8 、 1/8 、1/2 、 1/8 。如果符号的码元宽度为0.5s 。计算：（ 1）信息传输速率 Rt 。（ 5 分）（ 2）将这
5、些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为 n010 6WHz。试计算正确传输这些数据最少需要的发送功率P。（ 5 分）解：（ 1） Rt1HXH XtYH X1 log141 log188221log81log 2223log21 log 2222 log22bit2 bitRt0.5s2 / 641062 106 log 16P610210（2） 1P222P6W五、 (16分 ) 一个一阶马尔可夫信源，转移概率为P S|S2,P S2| S,P S1|S21,P S2|S0。1111233(1) 画出状态转移图。 (4 分)(2) 计算稳态概
6、率。 (4 分 )(3) 计算马尔可夫信源的极限熵。(4 分)(4) 计算稳态下 H1 , H 2 及其对应的剩余度。 (4 分 )解： (1)1S13S122(2) 由公式 P SiP Si | SjP Sjj 122PS1 PS2P S1P S1 | SiP Sii1321P S2P S2| SiP Si有P S1i 13P S1P S213P S1得41P S24(3) 该马尔可夫信源的极限熵为：22HP SiP Sj | Silog P Sj | Sii 1j 132log 231log 143343310.57811.599240.681bit 符号0.472nat 符号0.205h
7、art 符号3 / 6(4) 在稳态下：23log31log1P xi logP xi0.811bit 符号i 14444H2 H 0.205hart 符号0.472nat 符号0.681bit 符号对应的剩余度为11H110.8110.189H01log 11 log 1222221H210.6810.319H01 log 11 log 12222六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。X1 21 21 21 21 21 21 2Y1 2解：信道传输矩阵如下110022011022PY|X110022100122可以看出这是一个对称信道，L=4, 那么信道容量为C lo
8、g 4 H1 , 1,0,022Llog Lpy j | xi log p y j | xij111log 42log221bit七、 (16 分 )设 X、 Y 是两个相互独立的二元随机变量，其取0 或 1 的概率相等。定义另一4 / 6个二元随机变量Z=XY( 一般乘积 )。试计算(1) HX,HZ;(2) H XY,H XZ;(3)HX|Y ,HZ | X;(4)IX ;Y, IX ; Z。解： (1)Z01P(Z)3/41/4HXH1 , 11bit22H (2)H3 , 10.8113bit44(2)HXYHXHY112bit 对H XZH XH Z|X11H 1,0 1H 1,11
9、.5bit 对222 2(3)HX |YHX1bitHZ | X1 H1,01 H1 , 10.5bit2222(4)IX ,YHYHY | XHYHY0IX ,ZHZHZ | X0.8113 0.50.3113bit八、 (10 分)设离散无记忆信源的概率空间为Xx1x2，通过干扰信道，信道输出P0.80.2端的接收符号集为Yy1, y2 ，信道传输概率如下图所示。5 6x1y11 63 4x2y21 45 / 6(1) 计算信源 X 中事件 x1 包含的自信息量；(2) 计算信源 X 的信息熵；(3) 计算信道疑义度 H X |Y ；(4) 计算噪声熵 H Y|X ；(5) 计算收到消息
10、Y 后获得的平均互信息量。解： (1) Ix1log0.80.322bit0.0969hart0.223nat(2) H X H 0.8,0.2 0.722bit 符号 0.5nat 符号 0.217hart符号(3) 转移概率：x yy1y2x15/61/6x23/41/4联合分布：x yy1y2x12/312/154/5x13/201/201/549/6011/601/5HXY H2,2,3,131520201.404 bit 符号0.973 nat 符号0.423 hart 符号H YH 49/60,11/600.687bit 符号 0.476nat符号 0.207hart符号H X|YH XY H Y0.717bit符号0.497nat符号0.216hart符号(4) H Y|X H XY H X 0.682bit符号 0.473nat符号0.205hart符号(5) I XY; H X H X|Y 0.00504bit符号0.00349nat符号0.00152hart符号6 / 6