《信息理论与编码参考答案.docx》由会员分享，可在线阅读，更多相关《信息理论与编码参考答案.docx（37页珍藏版）》请在三一文库上搜索。
1、. 2.3 一副充分洗乱的牌（含52 张），试问： （ 1）任一特定排列所给出的不确定性是多少？ （ 2）随机抽取 13 张牌， 13 张牌的点数互不相同时的不确定性是多少？ 解：（ 1） 52 张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数， 为 P525252 8.0661067 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发 生概率为 P A11.2410 68 52 可得，该排列发生所给出的信息量为 I Alog2 P Alog 2 52225.58 67.91 bit dit （ 2）设事件 B 为从中抽取 13 张 牌， 所给 出
2、的 点数 互不 相同。 扑克牌 52 张中抽取 13 张， 不 考 虑 排 列 顺 序， 共 有 C 52 13 种 可 能 的 组 合。 1 3 张 牌 点 数 互不相同意味着点数包括A ， 2， K ，而每一种点数有 4 种 不 同 的 花 色 意 味 着 每 个 点 数 可以取 4 中花色。所以13 张牌中所有的点数都不相同的组合数为413 。因为每种组合都是 等概率发生的，所以 P B413 4 13 1 3 3 9 1. 0 5 6 8 1 04 C5213 5 2 则发生事件B 所得到的信息量为 I Blog P Blog 241313.208 C5213 3.976 bit di
3、t 2.5 设在一只布袋中装有100 只对人手的感觉完全相同的木球，每只上涂有1 种颜色。 100 只球的颜色有下列三种情况： (1) 红色球和白色球各 50 只； (2) 红色球 99 只，白色球 1 只； (3) 红，黄，蓝，白色各 25 只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R“取到的是红球” ， W “取到的是白球” ， Y “取到的是黄球” ， B“取到的是蓝球” 。 （ 1）若布袋中有红色球和白色球各50 只，即 501 P RP W 1002 1 则 I R I Wlog 2 2 log 2 2 1
4、 bit （ 2）若布袋中红色球99 只，白色球1 只，即 . . 991 PR0.99P W 0.0 1 100100 则I Rlog2 PR log 2 0.990.0145bit I Wlog2 P Wlog 2 0.016.644bit （ 3）若布袋中有红，黄，蓝，白色各25 只，即 251 P RP YP BP W 1004 1 则 I RIYIBIW log 2 4 2bit 2.7设信源为 Xx1x2x3x4 x 5 x 6 PX0.20.190.180.17 0.1 6 0 . 1 7 66 求Pxi log 2Pxi，井解释为什么Pxilog 2 P x i lo g 2
5、6 ， 不 满 足 信 源 熵 的 ii 极值性。 6 解：P xilog 2Pxi i 0.2log 2 0.20.19log 2 0.190.18log 2 0.18 0.17log2 0.17 0.1 6lo g 2 0.1 6 0.1 7lo g 2 0.1 7 2.657bit/symbol 6 P xi lo g 2Pxilog 26 2.5 85 i 6 不满足极值性的原因是Pxi1.071 ，不满足概率的完备性。 i 2.8 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为 0.5% ，如果你问一位 男同志是否为红绿色盲，他回答“是”或“否”。 （ 1）这二个回答中各含多
6、少信息量? （ 2）平均每个回答中含有多少信息量? （ 3）如果你问一位女同志，则答案中含有的平均信息量是多少? 解：对于男性，是红绿色盲的概率记作P a1 7 % ，不 是红 绿色 盲的 概率 记作 P a293% ，这两种情况各含的信息量为 10 0 Ia1log 21 Pa1log 2 73.83 bit Ia2log 21 Pa2log 2 10 00.105bit 9 3 平均每个回答中含有的信息量为 H A P a1 I (a1 ) P a2 I (a2 ) 7 9 3 3.830.105 100 10 0 0.366bit/ 回答 . . 对 于 女 性 ， 是 红 绿 色 盲
7、的 概 率 记 作 P b1 0. 5 % ， 不 是 红 绿 色 盲 的 记 作 P b2 99.5%，则平均每个回答中含有的信息量为 H B P b1 I (b1 ) P b2 I (b2 ) 51000 9 9 5 1 0 0 0 1000log 25 1 0 0 0 l o g 2 9 9 5 0.045 bit/ 回答 H AHB 联合熵和条件熵 2.9 任意三个离散随机变量X 、 Y 和 Z ，求证： H ( XYZ ) H (XY ) H ( XZ ) H (X ) 。 证明： 方法一：要证明不等式H X ,Y , ZHX , YH Z , XH X 成立，等 价证明下式成立：
8、H X , Y, Z H X ,Y H X , Z H X 0 根据熵函数的定义 H X ,Y, Z H X ,Y H X , Z H X pxi yjzklog pxi y j zkpxi y jzk logp xi y j XYZXYZ p xiy j zklog p xi zk pxiy j zk log p xi XYZXYZ pxi y j zkpxi pxi yjzklog XYZ p xi y jp xi zk pxi y jpxi zk log epxi y j zk1(信息论不 等式 ) XYZ p xi y j zkp xi pxi yjp xi zk log ep xi
9、y j zk XYZp xiXYZ log epyj | xipxi zkp xiyj zk XYZXYZ log e1 1 0 所以 H X ,Y, Z H X ,Y H X , Z H X 等号成立的条件为pxi y jp xizkp xip xiy j zk 得证 方法二：因为 H ( XYZ )H ( XY ) H (Z | XY ) . . H ( XZ ) H ( X )H (Z | X ) 所以，求证不等式等价于 H ( Z | XY)H ( Z | X ) 因为条件多的熵不大于条件少的熵，上式成立，原式得证。 2.11 设随机变量X x1, x20,1 和 Y y1, y2 0
10、,1 的联合概率空间为 XY(x1, y1 ) ( x1, y2 ) (x2 , y1 )( x2 , y2 ) PXY1 83 83 81 8 定义一个新随机变量ZXY （普通乘积） 。 （1）计算熵 H ( X ) 、 H (Y ) 、 H ( Z ) 、 H ( XZ ) 、 H (YZ) 以及 H ( XYZ ) ； （2）计算条件熵 H ( X |Y) 、H (Y | X ) 、H ( X | Z ) 、H (Z | X ) 、H (Y | Z ) 、H (Z | Y) 、 H ( X | YZ) 、 H (Y | XZ ) 以及 H (Z | XY ) ； （ 3 ）计算互信息量
11、I ( X ; Y) 、 I ( X ; Z) 、 I (Y; Z ) 、 I ( X ; Y | Z ) 、 I (Y; Z | X ) 以 及 I ( X ; Z | Y ) ； 1 31 解 （ 1） p x 0p x 0, y 0p x 0, y 1 8 82 1 p x 11px 0 2 HXPxilog P x i 1 bit/sym bol i 1 3 1 p y 0p x 0, y 0p x 1, y 0 8 8 2 1 p y 11py 0 2 HYpy jlog p y j 1 bit/sym bol j 1 3 3 7 P ( z 0)P( xy00) P(xy01)P(
12、xy 1 0 ) 8 8 8 8 71 P ( z 1)1P( z0) 1 88 可得 ZXY 的概率空间如下 z0z1 Z 71 P( Z) 88 2 771 1 H (Z ) K p( z k) 8 log88 lo g 8) 0.544bit / symbol 由 p(xz) p(x) p( z x) 得 p( x 0, z 0 )p( x0) p( z 0 x0)111 22 . . p( x0, z1)p( x0) p( z1 x0) 1 0 0 2 3 p( x1, z0)p( x1) p( z0 x1)p(x 1) p( y0 x1)p( x1, y0) 8 1 p( x1, z
13、1)p( x1) p(z1 x1)p( x1) p( y 1 x1) p(x1, y1) 8 1133 11 H ( XZ )p( xi zk )logloglog1.406bit / symbol ik2288 88 由对称性可得 H (YZ )1.406bt / symbol 由 p( xyz)p( xy) p( z xy), 又 p(z xy)或者等于 1，或者等于 0. 1 p( x0, y0, z0) p ( x 0, y 0 ) p ( z0 x 0, y0) p(x 0, y 0 ) 1 8 p( x0, y0, z1) p ( x 0, y 0 ) p ( z 1 x 0, y
14、0)1 00 8 3 p( x0, y1, z0) p ( x 0, y 1 ) p ( z0 x 0, y1)p( x 0, y 1 ) 1 8 p( x0, y1, z1) p( x 0 , y 1 ) p ( z 1 x 0, y 1)300 8 3 p( x1, y0, z0) p ( x 1 , y 0 ) p ( z0 x 1, y0)p( x 1 , y 0 ) 1 8 p( x1, y0, z1) p( x 1 , y 0 ) p ( z 1 x 1, y 0 )300 8 p( x1, y1, z0) p( x 1 , y 1) p( z0 x 1, y 1 )100 8 1
15、 p( x1, y1, z1) p ( x 1, y 1) p(z 1 x 1, y1)p(x 1 , y 1 ) 1 8 H ( XYZ ) p( xi y j zk ) lo g 2 p( xi yj zk ) ijk 1 log 13 log 3 3 lo g 3 1 log 1 1.811 bit / symbol 8888888 （2） HXY - 1 log 13 log 33 log 3 1 log 1 1 . 8 1 1 b i t / s y m b o l 88 88 8888 HX / Y =HXY-H Y1.811 1 0.81 1bit / sym bol 根据对称性
16、， . . HX / Z =H H Z / X =H H Y / X=HX |Y0.811bit / symbol XZ-HZ1.406 0.5440.862bit / symol XZ-HX1.40610.406bit / symol 根据对称性， H Y / Z=H X / Z 0 . 8 6 2 b i t / s y m b o l H Z / Y=H Z / X 0 . 4 0 6 b i t / s y m o l H X / YZ=H XY Z-H YZ1.811 1 . 4 0 6 0 . 4 0 5 b i t / s y m o l 根据对称性，把X 和 Y 互换得 H Y
17、 / XZ=H X / Y Z 4 0 5 b i t / s y m b o l H Z / XY=H XY Z-H X Y1.811 1. 8 1 1 0 b i t / s y m o l (3) IX ;YHXH X / Y10.811 0.189bit / symbol I X ; ZHXH X / Z10.862 0. 1 3 8 bi t / sy m b ol 根据对称性，得 I Y; ZIX ; Z 0.138bit / symbol IX ;Y / ZHX / ZHX / YZ0.862 0.4 05 0.4 57 bit / sy mb ol I Y; Z / XHY /
18、 XHY / XZ0.811 0.4 05 0.4 06 bit / sy mb ol 根据对称性得 IX ; Z / YIY; Z / X 0.40 6bit / sym bol 2.17 设信源发出二次扩展消息 xi yi ,其中第一个符号为 A 、 B 、 C 三 种 消 息， 第 二 个 符 p( xi )p( yi xi ) 号为 D 、E、 F、 G 四种消息，概率和 如 下： p( xi ) D ABC 1/21/31/6 1/43/101/6 p( yi xi ) E F 1/41/51/2 1/41/51/6 G 求二次扩展信源的联合熵 H ( X ,Y) 。 1/43/10
19、1/6 . . 解：联合概率为 p( xi , y j )p( yj | xi ) p(xi ) 可得 X,Y 的联合概率分布如下： p( xi yi )ABC D1/81/101/36 E1/81/151/12 F1/81/151/36 G1/81/101/36 所以 H ( X , Y)p(xi yi ) log p( xi yi )3.415比特 / 扩展消息 XY 2.19 设某离散平稳信源 X ，概率空间为 X012 P11 36 4 9 1 4 并设信源发出的符号只与前一个相邻符号有关，其联合概率为 ai p(ai , a j ) 01 01/41/18 aj11/181/3 20
20、1/18 求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。 解：边缘分布为 3 p( ai )p(ai a j ) j 1 p(ai , a j ) 如下表所示： 2 0 1/18 7/36 条件概率 p(aj a i ) p(ai a j ) p(a jai ) 0 aj1 2 所以信源熵为 p( a i ) 如下表： ai 01 9/111/8 2/113/4 01/8 2 0 2/9 7/9 3 H ( X ) p( ai )log p( ai ) H ( 11, 4, 1) 1.542 bit / symbol i 136 94 条件熵： . . 33 H ( X 2 X1
21、 )p(ai a j )log p(a j ai ) i 1 j1 H ( X1) H ( X 2 X1 ) bit sym 0.87ol 可知 H ( X 2 X1) H ( X ) 因为无条件熵不小于条件熵，也可以得出如上结论。 联合熵： 33 H ( X1 , X 2 )p(ai a j )logp( ai a j ) i 1j 1 H ( X1) H ( X 2 X1 ) 2.41bit 二个符号 说明： （1）符号之间的相互依赖性造成了信源的条件熵 H ( X 2 X1) 比信 源熵 H（ X ) 少。 （2）联合熵 H ( X1 , X 2 ) 表示平均每两个信源符号所携带的信息量
22、。平均每一个信源符 号所携带的信息量近似为 H（2 X）= 1 H (X1 , X 2 ) 1.205 b i t 符 号 H ( X ) 2 H（2 X） 原因在于考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符 号相关性的不确定度。 2.20 黑白气象传真图的消息只有黑色（B）和白色（ W ）两种，即信源 X B， W ，设 黑色出现的概率为 P(B) 0.3，白色的出现概率为P(W) 0.7 。 （ 1）假设图上黑白消息出现前后没有关联，求熵H ( X ) （ 2）假设图上黑白消息出现前后有关联，其依赖关系为， W ) 0 . 9 ， P ( B | W ) 0 . 1
23、P( W| B) 0.2 ， P(B| B) 0.8 ，求此一阶马尔可夫信源的熵 H 2 ( X ) 。 （ 3）分别求上述两种信源的剩余度，并比较 H (X ) 和 H 2 ( X ) 的大小，试说明 其物理 意义。 解：（ 1）假设传真图上黑白消息没有关联，则等效于一个 D M S ， 则 信 源 概 率 空 间 为 XBW 0307 P( x). 信源熵为 2 p( x) 1 x H ( X )p( ai ) log p( aj ) i 1 H (0.3,0.7) 0.7 log 0.70.3log 0.3 0.881 bit symbol . . （2）该一阶马尔可夫信源的状态空间集为
24、 SW , B 根据题意可得状态的一步转移矩阵 WB W 0.9 0.1 B 0.2 0.8 状态极限概率p(W ), p(B) 满足 p(S j )p( Sj) P(Si| Sj ) ,p(Si )1 S jSSi S 即 p(W )p(W |W ) p(W )p(W | B) p(B)0.9 p(W )0.2p(B) p(B)p(B |W ) p(W )p(B | B) p(B)0.1p(W )0.8p( B) p(W ) p( B) 1 可以解得 21 p(W ) ， p( B) 33 该一阶马尔可夫信源的熵为 H 2p( Sj )H ( X | Sj ) S j p( B）-0.2lo
25、g0.20.8log0.8p( W）-0.9log0.90.1log0.1 1 H (0.2,0.8)2 H (0.9,0.1) 33 12 0.7720.4690.553bit/symbol 33 （3）黑白消息信源的剩余度为 H ( X )0.881 1=1 10.119 log 2log 2 一阶马尔可夫信源的剩余度为 21 H 21 0.5530.447 log 2log 2 由前两小题中计算的H ( X ) 和 H 2 比较可知 H（ X ) H 2即 12 该结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性降低。所以， 信源消息之间有依赖时信源熵小于信源消息之间无
26、依赖时信源熵。这表明信源熵反映了信源 的平均不确定性的大小。 而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大， 信源 消息之间依赖关系就越大。 2.23 设信源为 X = 1x1 3x 2 PX 44 试求： （1）信源的熵、信息含量效率以及冗余度； （2）求二次和三次扩展信源的概率空间和熵。 解：（ 1） . . H ( X ) 1 log 4 3 log 4 0.811 bit / 符号 443 0.811 81.1% log 2 10.189 （2）假设 X 为 DMS ，则 P( x1 x2 )P(x1) P( x2 ) P( x1 x2 x3 )P( x1 ) P( x2 )
27、P( x3 ) 可得二次扩展信源的概率空间 X 2x1x1x2 x1x2 x1x2 x2 PX 21339 16161616 2 次扩展信源的熵为 H ( X 2 )2H ( X )1.622bit / 2 元符号 三次扩展信源的概率空间及熵为 X 3x1x1 x1x1 x1x2x1 x2 x1 x1x2 x2x2 x1x1x2 x1 x2x2 x2 x1x2 x2 x2 133939927 PX 36464646464646464 H ( X 3 )3H ( X )2.433bit / 3 元符号 2.18 设有一个信源，它产生0， 1 符号的信息。它在任意时间而且不论以前发生过什么 符号，
28、均按p(0) 0.4, p(1) 0.6 的概率发出符号。 （1）试问这个信源是否是平稳的？ （2）试计算 H ( X 2 ) , H ( X3 X1 X 2 ) 及 H ； （3）试计算 H ( X 4 ) 并写出 X 4 信源中可能有的所有符号。 解： （1） 该信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起 点无关，因此这个信源是平稳信源。又因为信源发出的符号之间彼此独立。所以该 信源也是离散无记忆信源。 （2） H ( X 2 ) 2H ( X ) 2H(0.4,0.6) 2 (0.4log0.40.6log0.6)1.942 bit symbol . . H
29、( X 3 / X1 X 2 ) H ( X3 )（信源无记忆） p(xi )log p( xi ) i (0.4log 0.40.6log 0.6)0.971bit symbol Hlim H ( X N X1X 2 L X N 1 )H ( X N ) 0 . 9 7 1 b i t s y m b o l N （3）H ( X 4 ) 4H ( X )（信源无记忆） 4 (0.4log 0.4 0.6log 0.6)3.884 bit 4 元 符 号 X 4 的所有符号： 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 101
30、1 1100 1101 1110 1111 2.23 设信源为 X = 1x1 3x 2 PX 44 试求： （1）信源的熵、信息含量效率以及冗余度； （2）求二次和三次扩展信源的概率空间和熵。 解：（ 1） H ( X ) 1 log 4 3 log 4 0.811 bit / 符号 443 0.811 81.1% log 2 10.189 （2）假设 X 为 DMS ，则 P( x1 x2 )P(x1 )P( x2 ) P( x1 x2 x3 )P( x1 ) P( x2 )P( x3 ) 可得二次扩展信源的概率空间 X 2x1x1x2 x1x2 x1x2x2 PX 21339 16161
31、616 . . 2 次扩展信源的熵为 H ( X 2 )2H ( X ) 1.622 bit / 2 元 符 号 三次扩展信源的概率空间及熵为 X 3x1x1x1x1 x1x2x1 x2 x1x1x2 x2 x2 x1 x1 x2 x1 x2 PX 3133939 64646464 6 4 6 4 H ( X 3 )3H ( X ) 2.433 bit / 3 元 符 号 2.25 设连续随机变量X 的概率密度函数为 2 0 a f X (x) = bx 0 其 他 （1）求 X 的熵； （2）求 Y = X + A( A 0) 的熵； （3）求 Y = 2X 的熵。 解：（ 1） a h(
32、X ) -fX (x)log f X (x)dx 0 a -f Xx log bx2dx 0 aa - log bf X ( x)dx- 2bx2 log xdx 00 a - log b- 2b log ex 2 ln xdx 0 2ba3log e-2ba 3log a -log b 93 x2 x2 x1x2 x2 x2 927 6464 因为 aa f X ( x)dx bx2dx1 00 所以 3 b = a 2 故 h( X ) 2 log e- 2log a- log3 3log a 3 . . 2 log e- log3 log a 3 （2） 首先求得Y 的分布函数 F Yy
33、F XAy F XyA yA f X ( x)dx 1,yA a y A fX (x)dx, A y A a 0 0,yA Y 的概率密度为 dF fY ( y) dy b( yA)2 , AyAa 0,其它 Y 的微分熵为 Aa h(Y)fY ( y)dy A A a b( y A) 2 log b( y A)2 dy A a bt2log bt 2dt （ 令 t y A ） 0 h( X ) 2 log e log3log a - 3 因为已知 X ，关于 Y 没有不确定，常数A 不会增加不确定度，所以从熵的概念上也可判断 此时 h(Y)h( X ) （3） 首先求得 Y 的分布函数 .
34、 . F YyF 2 Xy F Xy / 2 y /2 f X ( x) dx 1,y2a y/2 f X ( x)dx, 0 y 2a 0 0,y0 Y 的概率密度为 dF fY ( y) dy 1 by2 , 0 y2a 8 0,其它 Y 的微分熵为 2a h(Y)fY ( y)dy 0 2a 1 212 b ylog bydy 088 aa bt 2 log bt 2 dtbt 2 lo g 1 dt （ 令 t y / 2 ） 00 h( X )log 2 2 log e- log 3 log a 32 3.2 信道线图如下，试确定该信道的转移概率矩阵 0 . 2 0 . 3 a 0
35、. 3 0. 15 0. 04 0.15 0.3 0. 3 b 0. 2 j . . 解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号 轾 0.2 0.30.30.150.040.0090.00090.0001 犏 犏 0.0001 0.00090.0090.040.150.30.30.2 臌 3.3DMC 的转移矩阵如下 0.60.30.1 PY|X 0.30.10.6 （ 1）画出信道线图； （ 2）若输入概率为PX0.50.5 ，求联合概率、输出概率以及后验概率。 解： （1） 0.6 a1b1 0.3 0.1 0.1b2 0.3 a2b3 0.6 （2） P(a1 ) 乘以
36、PY| X 的第 1 行， P(a2 ) 乘以 PY|X 的第 2 行，得联合概率矩阵 PXY ： 0.30.15 0.05 PXY 0.150.050.3 PXY 的各列元素相加得对应的输出概率，写成矩阵形式： PY 0.450.200.35 PXY 的各列元素除以对应的输出概率，得后验概率矩阵： 2/ 33/ 41/ 7 P X |Y 1/ 31/ 46/ 7 3.4 设离散无记忆信源X 通过离散无记忆信道X , PY|X ,Y 传送信息，设信源的概率分 布和信道的线图分别为 a10.8b1 0 . 2 0. 1 Xa1a2a20.9b2 P0.60.4 试求： （ 1）信源 X 的符号
37、a1 和 a2 分别含有的自信息； （ 2）从输出符号 bj( j1,2) 所获得的关于输入符号 ai (i1,2) 的信息量； （3）信源 X 和信道输出 Y 的熵； （4）信道疑义度 H ( X | Y ) 和噪声熵 H (Y | X ) ； （5）从信道输出 Y 中获得的平均互信息量。 解： (1) I ( a1 ) log 1 0.7370 bit /符号 0.6 . . I ( a2 ) log 10.41.3220bit /符号 0 . 80.2 (2)PPP= 0 . 60.4 0.5 2 0 . 4 8 YXY X 0 . 10.9 I (a1; b1) I (b1)I (b1
38、a1 ) = 0.94340.32190.6215bit / 符号 I (a1; b2 ) I (b2 )I (b2b1 )= 1.0589 2.32201.2631 b i t / 符 号 I (a2; b1 ) I (b1)I (b1a2 )= 0.9434 3.3222.3786bit / 符号 I (a2; b2 )I (b2 ) I ( b 2 a2 ) =1.05890.15200.9609bit / 符 号 (3)H ( X )0.60.7370 0 . 41.32200.971bit / 符号 H (Y) 0.52 0.94340.481.0589 0.9988bit / 符号
39、 (4) 、 (5) H (Ya1 )H (0.8,0.2) 0 . 80.32192.3220 0.72 19 bit / 符 号 H (Ya2 )H (0.1,0.9) 0 . 13.322 0 . 90.152 0.469 bi t / 符 号 H (YX )0.60.72190.40.4690.6207bit / 符号 I ( X ; Y )H (Y )H (Y X )0.99880.62070.3781 bit / 符号 又根据IX ;Y H ( X )H ( X Y ) H ( XY )H ( X )I ( X ;Y ) = 0.971 0.37810.5929 b i t / 符
40、 号 3.6举出下列信道的实例，给出线图和转移矩阵。 （1）无损的，但不是确定的，也不是对称的； （2）准对称且无损，但不是确定的； （3）无损的确定信道。 解： (1)满足 H ( X Y)0 （无损）， H (Y X )0 ( 不确定 ) ，不具有行列排列性， 线图和转移矩阵如下 a1 1 b1 a2 0.5 b2 0.5 b3 . . 100 P Y Z 00.50.5 (2) 无损要求 H ( X Y)0 ；不确定要求 H (Y X )0 ，具有行排列性， 线图和转移矩阵如 下： 0.4 a1b1 0.6 b2 a20.6b3 0.4 b4 0.40.600 P Y Z 000.60.
41、4 (3)无损、确定信道的线图和转移矩阵如下 a11b1 a21b2 10 P Y X 01 3.7 求下列两个信道的信道容量和最佳输入分布，并加以比较。其中pp 1 。 pp2pp20 (1)(2) pp2pp02 解： (1) 方法一：利用一般 DMC 信道容量解的充要条件，计算各偏互信息，并使之均等于信道容 量 C，再结合输出概率的完备性， 可以解出信道容量， 最后利用全概率公式得出最佳输入分布。 该方法通用，但过程繁琐。 方法二： 观察发现此信道是准对称信道。信道矩阵中Y 可划分为二个互不相交的子集，如下： p, p2 ， p, p2 而这两个子矩阵满足对称性，因此，可直接利用准对称信
42、道的信道容量公式进行计算。 n Csk M k log M kH ( p1, p2 ,L , ps ) k 1rr 其中 n=2, r2 ， M 112 ， M 24， M 2 4 ， s12 , s2 1，所以 . . C12 1 2 log 1 21 4log 4 H ( p, p, 2) 2222 2 12 log2log 2p log pplog p 2 log 2 12 2 12 logplog pp l o gp 12 输入等概率分布时达到信道容量。 （2）此信道也是准对称信道，现采用准对称信道的信道容量公式进行计算。此信道 矩阵中 Y 可划分成两个互不相交的子集为 p,p20 ，
43、 p,p02 这两矩阵为对称矩阵。 其中n=2 ， r2 ，M 112， M 22， s1s22，所以 n CsM k log M k H ( p , p ,L, p) 2 k12s k1rr 21 2 log 1 22 2 log 2 H ( p, p, 2) 2222 2 12log2 logplogpplogp2 log 2 1 2 2 12logplogpplog p2 log 2 12 C1 2 log 2 1 输入等概率分布（P(a1)P(a2 )）时达到此信道容量。两个信道的噪声熵相等但第二 2 个信道的输出符号个数较多，输出熵较大，故信道容量也较大。 3.8 求下列二个信道的信
44、道容量及其最佳的输入概率分布。 1 3 a1b1a1 0. 98b1 1 6 1 3 b2 1 6 0 . 0 2 1 6 b3 0 . 0 2 13 1 6b4 a2 13 a2 0. 9 8b2 解：图中2 个信道的信道矩阵为 1111 36360.98 0.02 P1 1111 P2 0.02 0.98 6363 矩阵为行列排列阵，其满足对称性，所以这两信道是对称离散信道。由对称离散信道 . . 的信道容量公式得 C1 log 4 H 1 ,1,1,10.0817 比特 /符号 3636 C2log2H 0.02,0.980.858特 /符号 最佳输入分布是输入为等概率分布。 3.9 设
45、信道转移矩阵为 100 P01pp Y |X 0p 1 p （1）求信道容量和最佳输入分布的一般表达式； （ 2）当 p0 和 p1 2 时，信道容量分别为多少？并针对计算结果作一些说明。 解： （ 1）该信道属一般信道，设最佳输入分布为 P X * P* (a1), P* (a2 ), P* ( a3 ) ， 三个 输入 概率外加信道容量C ，共 4 个参数，需列 4 个方程。由 定理 3.6， 有 1 I ( a 1 ; Y )logC P(b1) I ( a 2 ; Y ) (1 p) log 1 p p l o gpC P(b2 ) P ( b 3 ) p logp( p) pC (
46、a 3 ; Y ) 1 lo g 1 P(b2 ) P ( b 3 ) P(b1 ) P(b2 ) P(b3) 1 化简得 log P(b1 )C (1 p)log P(b2 ) p log P(b3 )C h2 ( p) p log P(b2 )(1 p)log P(b3 ) Ch2 ( p) P(b1) P(b2 ) P(b3)1 解得 1 h2 ( p)p(1 p ) C log(1 2) log1 2 p(1 p ) P(b1)2 C1 1 2 p p (1 p) (1p ) P(b2 )P(b3 ) 转移概率 P (bj |ai ) 已知，输出分布 2 C h2 ( p ) p p
47、(1 p)(1 p) 1 2 p p (1 p)( 1 p) 已求出，根据()()( |) P (b j )P bjPai P b j ai 可 求 出 i P* (ai ) 。 P(b1)P* (a1 ) P(b2 )(1 p) P* (a2 )pP* ( a3 ) P(b3)pP* (a2 ) (1p)P* ( a3 ) 解得 . . P* (a1)1 1 2 p p (1 p)(1 p) P* (a2 ) P* (a3 )p p (1 p)(1 p ) 1 2 pp (1 p) (1 p ) （2） 当 p=0,此信道为一一对应信道，得 C log31.585 bit/ 信道符号，最佳输
48、入分布为 1 P(a1)P(a2 ) P(a3) 3 当 P1时， Clog 2 =1 bit/ 信道符号，最佳输入分布为 2 11 P a1， P(a2 ) P(a3 ) 24 p=0 时，信道为确定无损信道，可以从输出端得到信源的全部信息量，信源的最大熵即为信 道容量。但1 C log3p2时，信道存在干扰，信道容量小于前者。 3.10 信道及它的输入、输出如图题 3 . 1 所 示 1 1 1 010 图题 3.1 10 PY |X X ,Y 0,1 1 (1) 求最佳输入分布； 1 (2) 求时信道容量； 2 (3)求当0 和 1 时 的 最 佳 输 入 分 布 值。 解： 参考教材
49、- 例 3.12 那么最佳输入分布为 11 p( X 0)p( X 1) 1 1 (1 ) 11 (1 ) 1 1 （2）时，代入 p 的表达式，可得 2 . . 2 p 5 所以 C H (Y)H (Y X ) 2121 211 H (,1) H (,) 5252 522 H (1 , 4 ) 2 555 0.72190.4 0.3219 比特 / 符号 1 （ 3）记 A，则 lim Alim 1 lim1 000 A11 lim p lim 0 0 1 (1) A 1 12 所以0 时 Z 信道线图趋于一个无噪无损信道，当输入等概时达到信道容量， 等效信道如下： 010 111 当1 时，原信道趋近于信道 1 00 1 1 此时 I (X ; Y)H (Y)H (Y | X