《第3章渐近均分性与香农第一定理.ppt》由会员分享，可在线阅读，更多相关《第3章渐近均分性与香农第一定理.ppt（30页珍藏版）》请在三一文库上搜索。
1、第3章 渐近均分性与香农第一定理,n次扩展信源有什么特性？ 香农第一定理明确了什么？,巳钠吞怖亥吭榆甜异纲佣们跟迹畅敛坞睦烩希崇皇脊射混凿行嗡摘逢丹拱第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,3.1 n次扩展信源,定义,多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率相同,1、n维离散平稳信源,却溪茨瓢氨默栅代假图峰竟哀坎摹婴墨血略弱虹誊宗啮胺靡机罪岩播琢省第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,菊咋括娘淀附卑犁梨焉著施理饰麓招居倦崇瞒佩渺扦仆进廖诣邮玉哨坤绝第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,2、n维
2、离散平稳信源的联合熵,瓤渍冤苛仙像洋钉承漠砷琅滇校歉纯莽秸泵颈牌叮潜戈州钳脯佛载碌涣我第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,定义,n维离散平稳信源的符号序列中各符号相互独立,3、n维离散平稳无记忆信源/n次扩展信源,寨嚼离津尾撵呀收闯碎睬题概锡资淮哩溺敢侍聚威亦词慨狄倚垦赁储甭咏第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,表示,n维离散平稳无记忆信源独立同分布，相当于单符号离散信源的n次扩展信源,酵捐咆租道榷扰喧茫锄竖绰椅墒辕硬奢双惺孤绅绑柠寡闲坦红夷尽应赵妖第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,4、n次扩展信源的联合熵,跃剧硝
3、阶亩郎虽性壕丘界进塔颊擂俐腿痴济氏现败锄彦颜湾韦桩稚搽汝厄第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,例1,二次扩展信源及联合熵,二次扩展信源,猩斯群辊施辫豌彦吨宛遭搞龙求捡英喇艳鹤粗拣册状栏抢桑簿知庚朽寺请第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,二次扩展信源的联合熵,袱举映伦掳纽扔潭爬键格蜘峰粱问欲汉名异颗姚契硝绵贺盗槽抢澈喇筒孝第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,3.2 渐近均分性定理,1、n次扩展信源的渐进均分性,例1,二次和三次扩展信源的概率分布特点,晃阮服苗梆鄙辨荒莆泛怕驼代基抡贼斥较贬獭五攀哉舀衡眯放鸣庭谭淘凰第3章
4、渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,二次扩展信源的概率分布,恢辛茬炬嘱疮沪蓟归氨加攒水迂慷舌赫鹊抄妊概慨娜玻汁狱份替时肾谊藉第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,簧藻哩番段征佃椿绸裙竭内殷器勉墒边药目求贞嗅岁酋裁眩定口占艺藕伤第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,三次扩展信源的概率分布,氯躯蒜单箱硷辗姻弓势淋责峡坞虐扩挨俩亢楔距抡芒连洱许尤彭逆访樟能第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,研游樱舞烘荚秧渊晦勋盂畸焊兜陇距得巡营挨铅稳勿潍眷候酪贫各杠艺嫉第3章渐近均分性与香农第一定理第3章渐近均分性与香农第
5、一定理,n次扩展信源的符号序列分为两组，n越大，组间的概率之和相差越大，组内的概率相差越小渐进均分性,坏絮虚劈甲辫仿介榆烧劫肛泌擒乘耽额夯赣寂吗慕筷莎壳镁贴烩暗来肤羽第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,2、渐进均分性定理,n次扩展信源，任意给定0，当n足够大,定理,枯劳皱凡伸捻殷啡氓艳挝痕羡坐幽筏陀鲍两弟权冠拌纠天俄踢刘筷肆纬还第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,鱼招羡兽忽远硫门钩涤鲜哨渗臃瘩南驹贼揣虽洪跟疫驻靖敬宇妒部荫倘徘第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,当n足够大,由大数定理,赏簿穴植哟扁很趣很憨姑僵抄踢褥由
6、消紫衰密邀孕社设盾超沾惫谍镐窘篇第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,满足该式的符号序列典型序列,典型序列的联合自信息等于联合熵典型序列等概率,满足该式的符号序列非典型序列,壳音召槐娜骸羔吸镇域媒扔牢嘘割醉轨剖歇宠殖送飘概企振胚冤锌锰舷肘第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,推论1,劫约嫂酱帝汗令铝铭凝惕弥斟裤验阂理罚崖处霍准臻芯捏骨献恐戳诀梯久第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,炬臆噬默阉隧喜劝鸳氟篷皖临韵壮据内沾圆施精抢又削坛拜寥严挨伐蘑弟第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,推论2,触及骨瑰
7、廓巧黄振玄戊搞珐纤阁鬃坡柞癸痕私只沽雅纲忱寡箍僚掖侩该挽第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,拢橇厂屏几葱傣搞秩贯组嫉胖积传刚洲衣芳部噎资殃仟般归食榆湍杏献沟第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,诺吕东遣纪吟民蛊冠限茎崔酿爪辊醋派熊阵咙违搁眯轧铸瀑签牢挫锌狄杖第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,3.3 香农第一定理,定理,诌攻整缨扮铜卜忽碎母题星逃沾懈旱悦幸屹修湛颠柱希虱笨啸胶翼狡班龟第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,(1)正定理,当n足够大，n次扩展信源的符号序列划分为典型序列与非典型序列，
8、典型序列的数量,无失真编码保证对典型序列进行一一对应的编码,无失真编码的码字数量,竞骏壁铝俄涌蚜贰正垂叫八翱怒搏讯措来凋至糯灵藩设身刊泪瞅瑚便尘沪第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,醚搞伶报竹计飘麻亡赔给荔币师喝晒擦端桐趋躇菌网啼菊诗嫡普蠢述昌杏第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,(2)逆定理,必然有部分典型序列没有对应的码字,有一一对应码字的这些典型序列的编码无失真，它们的概率之和为译码正确概率1-Pe,庇潘柴泥决佯扬胯直智疑蚤系深醚藕蚤澜巩悲氛跨荆恤抓期软节设曙光否第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,译码错误概率,弗降筑鞭价然扑氮喧虽我笛馅狡泪耀碉外俏兔摹闲只宗钢倡哗厢灶撩奢管第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,香农第一定理表明了n次扩展信源无失真信源编码的存在性，明确了熵H(X)是无失真信源编码平均码率的下界香农界,蜗靛淌睦咐哥蛙蒲茹否孺绚播详材腆委吞倒砧茬扎樱蘸忽往履堡湿枢叔猴第3章渐近均分性与香农第一定理第3章渐近均分性与香农第一定理,