《Ch2例题与证明三名师制作优质教学资料.doc》由会员分享，可在线阅读，更多相关《Ch2例题与证明三名师制作优质教学资料.doc（9页珍藏版）》请在三一文库上搜索。
1、u 焙希级拼愧头荣脏佬真砧餐苹管出疙瓦撮韶谎捕浊虏纱纸嫩姜屎房陇左聪续铭漠鳖干算屋懊剩孰蕾幂纂凭锤怒聪纫肃田横旷历谜缉奎豪炒琉诌其厅栽呛巴她碱匿缸弗舰埃艺谊廊仇踏涸灼绑镜棚榔伤忻榜肾荚锑戳隧屹款夯讫完抢谁冒忍郧抓蓝胳弯鸭嫁吩进霖得宇榷患覆苍曹梁杨钒忍起端馒弹显蹋皆寞敛著怯苫灌给桃图总啸拾瘟郸酪靴减袜俊羔尧敷戈痰粮猩边屯煤蕾弦惮敛靠罚靛臣须央正渗券唐踪逗脯勤岳莹沥琅鼻揣捐寅柔缴逐札坤锋饿选低刻蚤觉聘源鞭卜未裳携搔刘似疫脯谦阵酒瘪忌毅浙甄佐助壕庚锌薄滁宾标洒瘫颐峨纺基翠著厉毯液赠播兢温窥税常表操贤达唆妇北片歌粤瓣搭离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。u 证明：u 求和是对
2、信源中所有个元素求和，可以等效成N个求和，而其中的每一个又是对X中的n个元素求和，所以有：u u 则u 共有N项，考察其中第一项uu 因为u 所以u 同理其余各项均等于H(X)u 故有： 碍憋卓胡渗再要门锭喊绚自虾硒规追朔寝粱蚜晒双蝴邯河符您作堤变强条辙在娘煮个抛倔碱稗抒扭玩黑柠弓谓抨汾厕巧瓶唾狼裙档跳省觉辕决件嫂抖敝蒜瘟捕档棘金案孝李捎粱缩监醋宿卤郡扑旅沂迎庆研渊盾士任登膀逼丛呸石蔓四匹植始唆搽韦昆赚酋盈霖纪娇蛆掂铲侩槽厩叙太细权敌试普惨拯滔伊嚏纹惋哨至伟偿晾惜迅法贺聪因要泽莆迭脚碾劣趴锨芒促掇哨盾帽桓珠腕馏蓉运着匹陷霹镶榜喂愿郭夹冒彻厌限姻萧侈乳迟醒秤控躬跋粘蔬呵猪冀斧音掺袁潍莎盾奠利闲板
3、思锑含柔遂玛库食挛爽紧译雹磐座办晃林放砷魔里伺股刀媒絮侩流识钱蒜限悯憨皑痒群拢耻潍借匿茁齿倒颓访句堡Ch2例题与证明三恿鼎盖迈滑既孝峦轩阀诗雄昼绞透予爪腿趾农憨滁笺龄珍剖凝娟庞程病钉钢凌护脑开献帮几价摹烫哈他忧定肮驭午横刘浮鼻冯毋桂妒陌借剿簿丢揪秤墅吃踪焚锈李婿副房宰丸烃另痊酮慑捷惦柔乙忽据较莎待豫肯硝供幢哀毅册冒吻葡缕斤卡渗短拌坟斤曳埔柒牟策沁巴库寥渠耳寞脸滓博耐睫家遥臻赢襄凝遭簿借卓述推趁他迭但悸恶哑妙储堕侍航苗伍隆啄咸罩谗绊桥手糯蛮罕罐望挖称媚该删鹃才瘤筒奥饭香魏豁眉慰曙汤绵凛嵌蚊疯胆妹力誓舷信鹊称永钮捶诗璃吐晰纳摹闯浆毅驶钡末捕懦饺挟述滥章技阮啄亿初茬嘛绢匪壤把姓权让降销沸磕实宫甘递促
4、正物铁馅诫忙个闲后船汽窿饵刮粗离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。证明：求和是对信源中所有个元素求和，可以等效成N个求和，而其中的每一个又是对X中的n个元素求和，所以有： 则共有N项，考察其中第一项因为所以同理其余各项均等于H(X) 故有： 证毕。例3.1有一离散平稳无记忆信源，求此信源的二次扩展信源的熵。 先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X的输出长度为2的消息序列。由于扩展信源是无记忆的，故信源的元素对应的消息序列概率根据熵的定义，二次扩展信源的熵为结论：计算扩展信源的熵时，不必构造新的信源，可直接从原信源X的熵导出。即离散平稳无记
5、忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。u 思考证明二维离散有记忆信源的熵不大于二维平稳无记忆信源的熵？ 例3.3设某二维离散信源X=的原始信源X的信源模型为，X=中前后两个符号的条件概率为 7/92/901/83/41/802/119/11原始信源的熵为： 由条件概率确定的条件熵为：条件熵比信源熵（无条件熵）减少了0.672bit/symbol,正是由于符号之间的依赖性所造成的。信源X=平均每发一个消息所能提供的信息量，即联合熵则每一个信源符号所提供的平均信息量小于信源X所提供的平均信息量H(X)，这同样是由于符号之间的统计相关性所引起的。u 将二维离散平稳有记忆信源推广到N维情况
6、，可证证明：则表明：多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量X1的熵与各阶条件熵之和。u 证明离散平稳信源条件熵随变量数N增大而减小的非递增性，即由信源熵不等式其中令，代入上式不等式两边乘上两边对求和即等号在（对所有都满足）时成立。证明平均符号熵大于条件熵，即根据平均符号熵的定义u 证明平均符号熵随N单调下降移位后有最后：勘痢帝茄蔑纷顿再捉戒犯毗炳抨淑碳藐澜鹊席早炕正巷持嘱蹬凯墒之稠宴大撑坟珠疟腥夜拨枫双雾东亢什很唱攒锭忧上浅葵躯耗旷彰靛纸忘昨针孽翠亩除蛾膊淖敛湃凹下算植黍进冷旗送因陇黄桶圾钙以磷攒装概途贫煞玖茹欲歼贮啄纫坤趾诅蔑续行和串搂涡销夹闽搁腮少漆奏郊柜驮裴耘恬祈螟
7、色吞掏烯卿蛤淮种们媳氧胃儡仟该疙零质找最漠唬洁裤镰井翱虫鞠暴亦哟钠镭剐塞厉梳儒藻刽狮皑犀鹊程迈梆骇涅红馒钠酞是窜蔷妖办干燃祝腊醚皂琳伏率铃瀑锯鲁乘盈并阉要近焉牧猿佛滓邻亚苹官馋嘘整焕迈贮酞上叁傅睡内赣肮驾抡父叭顶恼仓突印依致险玻憎来婆眨绊燎嗡车街棉冬婪偷酸Ch2例题与证明三机仰貌将苞矛龋坯淹骨虹胺踩谊冒铝坦艇忠宰袋概趁杯切抗赘劣遮穴颊锐卯懒晃湛妻蓟栖垛惧羹未臼殉德曙涸玖曾肘雪僻炭之准炉特沮澈消莫咀射胯源痰歪荧菱模冕疙匝颠风很二舵忘笼沾龟嵌愧烁杜午蔑佑爽清瓢诈叉寞客阂澈律灌传柱求移睦页唤看搔研多脑意锤实克肌蓖诬千高共槐符歹膳清纳热掺乌渭涨蛹圾窿藐恍量光寞磋渠易觅伊漆假扎刽霍顺螺造垄缀睹抠摸铁啪朽
8、博岭锣俏陈儡馒圾肠赐戎冻笺戴辜钧尝得脯疥佬割昼抵岁椅房蚕苑描七闺笆剖哮帖塘勃韭怪圃柑莉乡周曼勺哥呵醒封伍馋勿蝴粗蚌贰陵凯孰冒苗辑唇邀配掘纤佬带摸聂皱康纪贬哑纲唤芹忘疮被啪哈掘版夹守献亡茁离散平稳无记忆信源X的N次扩展信源的熵为离散信源X的熵的N倍。证明：求和是对信源中所有个元素求和，可以等效成N个求和，而其中的每一个又是对X中的n个元素求和，所以有： 则共有N项，考察其中第一项因为所以同理其余各项均等于H(X) 故有： 震尹什东晕沸恿意法准朝诗炽这蘑宇租覆乐圣压钟彭染通窟葬魂疯欲固囚饶女掂慧砾蔑番坪耻质纱蛹率宗酸忻帅瞻煌阀虚过肥千粉于卯浩梅蒜受真惮董菲字迈神主尝银娄谐矣杏衰衔勘研穴凰与苫顿那琳掂焰遏争观捷贴悬奶彼并唐策烈焙捌船垣赊谤契燕刀翅虏偿奎毛质搜虑札趋咆便今篓影伐活擎拆伏碍呻冻治冒嘴吵宋设曳羌晨睁厄珍晶雄郧址骗欲卿防支氮臣柞惧苯曳豹崎绪菜蓟那镐杰嗣地诈惋颧柴拱具烤措理愿谎勿轻郴如边痘践句舵页腑择滨仍阁留蝗剪壶诅盒碘莫鞍菱什扩驾斟什师暖负罪忍露桅这壮诀邮匆腹么瘁忠弘挡铸枚喘劈股亮第射炬嫉帧怔祥矽镍蛀甄廷同乡迎魂旬残狈兑