《信息论与编码试卷H.docx》由会员分享，可在线阅读，更多相关《信息论与编码试卷H.docx（6页珍藏版）》请在三一文库上搜索。
1、一 填空题 （本题 15 空，每空 1 分，共 15 分）1 互信息量 I(x i。 yj )被定义为（ 自信息量 I（xi ） ）和（ 条件自信息量 I（xi/yj ） ）两个不确定度之差，是不确定度被消除的部分，即从yj 得到的关于（ xi ）的信息量。2 最大后验概率译码指的是（即选取最大的后验概率maxp( yj/ xi )就可使译码差错最课程名称：信息论与编码 B小）。在（输入等概）时，最大后验概率译码即为最大似然译码。BSC 信道的最大似然制作人：陈瑞焦良葆年月日译码即为（求最小汉明距离的一种译码算法）。3 信息传输率的定义为（信道中每个信源符号传输的信息量），经信源编码后，信源符
2、号变成了码元符号进入信道传输，此时信息传输率指的是（平均每个码元载荷的信息量）；信息传输速率被定义为（单位时间内传输的信息量），单位为bit/s。4若同时抛掷一对色子，设每个色子各面朝上出现的概率均为1/6，则 “2和 6 同时出现 ”这一事件的自信息量为（ log218=4.17）bit， “两个点数中至少有一个1”这一事件的自信息量log 2361.715.17 ）bit 。为（11） bit ， “两个 3 同时出现 ”这一事件的自信息量为（5常用的差错控制方法有（ 前向纠错 ）、（ 检错重发 ）和混合纠错。6码距与检、纠错能力之间的关系是（ 检错能力 +纠错能力 dmin+1 ）。所以
3、编码效率为1 / 6二判断题（本题 10 小题 , 每小题 1 分, 共 10 分）12×3×4567×89×10（1） 完备码是一种监督位得到充分利用的码。（ ）（2） (n,k)线性分组码的最小汉明距离dmin n-k。（ ）（3） 由香农公式 CW log(1 SNR) 可以看出，随着带宽无限增加，信道容量也可无限增大。（ ）（4） 任意线性分组码中必包含全0 码字。（ ）（5） 码字集合 1 ，01， 000，0010，0011是唯一可译码。（ ）（6） 信息率失真函数R(D)的值域为 0，H(X) 。（ ）（7） K-L 变换是按均方误差最小准
4、则来计算的一种非正交变换。（ ）（8） 信源的不确定度具有可加性。（ ）（9） 任一非系统码的生成矩阵都可以通过行运算转变成系统形式，结果是映射规则不变，码集发生线性变化。（ ）（10）非平稳有记忆随机序列实际信源，其极限熵是不存在的；解决方法是假设其为离散平稳随机序列信源，极限熵存在。（ ）三 名词解释（本题 4 小题 , 每小题 5 分, 共 20 分）1 全损信道X 与 Y 相互独立，此时 I(X 。 Y)=0，从 Y 中无法提取关于 X 的信息，信道能传输的平均信息量为 0，即信源发出的信息量在信道上全部损失掉了，称为全损信道。2 随机错误错误的出现是随机的，一般而言错误出现的位置是随
5、机分布的，即各个码元是否发生错误是互相独立的，通常不是成片地出现错误。这种情况一般是由信道的加性随机噪声引起的。3 变换编码变换编码是一种限失真信源编码方法，经变换后的信号的样值能更有效地编码，即通过变换解除或减弱信源符号间的相关性，再将变换后的样值进行标量量化，达到压缩码率的目的。4非奇异码2 / 6信源符号和编出的码字是一一对应的，则该码为非奇异码。四 计算题（本题 3 小题 , 共 25 分）1. 已知一个信源包含 8 个符号消息，它们的概率分布如下表：ABCDEFGH0.10.180.40.050.060.10.070.041）设信源每秒钟内发出一个符号，求该信源的熵及信息传输速率；2
6、）对这 8 个符号作二进制码元的哈夫曼编码，并计算编码效率。（4+4=8 分）解： 1）（ 2 分）2 一组 CRC 循环冗余校验码，其生成多项式为（ X 5+X 4+X 2+1）。假设发送段发送的信息帧中所包含的信息是（ 1010001101）。试求附加在信息位后的 CRC 校验码。 （6 分）答：生成 CRC基本原理是：1）信息多项式乘以X 5，得到 X 5×（ X 9+x7+x3+x 2+1）=X 14+x12+x8+x7+x 5；2）除以生成多项式（ X 5+X 4+X 2+1），得到余数为X 3+x2+x 011103）信息帧的 CRC校验码即为 01110，发送的帧为。3
7、 / 63 研究 (8,4)系统线性分组码，其校验方程为：c0m1m2m3c1m0m1m2c2m0m1m3c3m0m2m4 ，其中 m0 3是信息位， C30 是校验位。mC1) 求出此分组码的生成矩阵 G 和校验矩阵 H。（码字排列为 m1m4C0C3）2) 求此码的最小距离 dmin。3) 若输入信息 m=(1010)，试求对应的输出码字。4) 若接收序列 R=（10111010），如何判断接收是否有错？（ 2+2+2+2=8 分）解： 1）由一致校验方程，易得出生成矩阵校验矩阵（2 分）2 ） 16 组码字 为00000000、 00011011、 00101101、 00110110、
8、 01001110、 01010101、01100011 、 01111000、 10000111 、 10011100 、 10101010 、 10110001 、 11001001 、11010010、 11100100、111111111 dmin4 （2分）3）输入信息 m=(1010)，对应的输出码字为10101010。 （2 分）RHT 是否为4）1011 的正确码字应该是 10110011，所以有错，判断是否有错，只需计算零，如为零则无错，不为零则有错。 （ 2 分）五综合题（本题 3 小题 , 共 30 分）Xx1, x2, x33,1,3P(X )1一离散无记忆信源 X 的
9、概率空间为8 4 8求： 1）该信源的熵 H（X ）；X 22）对该信源进行二次扩展的概率空间P(X )，并求 H(X2)；3）由此确定 H ( X 2 ) 与 H (X ) 之间的关系。（ 2+3+3=8 分）H (X)解: 1）pi log 2 pii=1.565 bit/符号 （2分）4 / 62） X1X1 X1X2 X1X3 X2X1 X 2X2 X2X3 X 3X1 X3X2 X3X3 9/64 3/32 9/64 3/32 1/16 3/32 9/64 3/32 9/6421i2piH ( X)p log2i=1.56 （3 分）3） H(X2)=H(X) （3分）2 一个（ 3
10、， 1， 2）卷积码， G（D）=（1+D， 1+D+D 2，1+D2），试：1）画出该码的编码器框图；2）求该卷积码的状态图；3）求该码的自由距离df（用网格图或梅森公式均可）（ 4+4+2=10 分）解： 1）编码器结构图：（4 分）2）状态图为 ：（4 分）3）网格图为：自由距离 df=3+2+2=7 （2 分）5 / 63 设发送端有 3 种等概符号（ x1， x2，x3），接收端收到 3 种符号（ y1，y2，y3），信道的转移概率矩阵为：0.50.40.1P 0.4 0.4 0.20.1 0.9 01）求接收端收到一个符号后得到的信息量；2）计算噪声熵；3）求接收端收到一个符号y2
11、 的错误概率；4）计算发送端看的平均错误概率；5）计算发送端的H（X ）和 H（X/Y ）。 （2+2+2+2+4=12 分）解： 1）由发送符号的概率以及转移矩阵可得出接收端各个符号的概率，分别是：p( y1 )1 (0.50.40.1)133p( y2 )1 (0.40.40.9)17330p( y3 )10.20)1(0.1103I ( yj )log 2 pjjH (X)pi log piiH(Y|X)pi log pijijpij p( yj ) p(xi y j )I ( y j )log2 pj接收端收到一个符号后得到的信息量 :j=5.74bit （2 分）2）噪声熵 =H（ Y） -H（Y|X）=0.21 bit/符号 （2 分）133）接收到一个符号 y2 错误概率为： 1- p( y2 ) = 30（2 分）4）发送端看的平均错误概率3PEp( xi ) pEii1H(X)5）H(Y| X)pi log pii=1.59 bit/ 符号pi log pijij，其中 pijp( y j ) p( xi yj )计算得 H (Y | X ) =1.38 bit/符号 （4 分）6 / 6