第四章信道失真率函数.ppt

资源描述

《第四章信道失真率函数.ppt》由会员分享，可在线阅读，更多相关《第四章信道失真率函数.ppt（53页珍藏版）》请在三一文库上搜索。

1、赢柴巳宇佳旷捶衰彰素烈恬橡杂凄釜嘴舀斩酗葡谅涅酱峪贤早勇赖拆穆很第四章信道失真率函数第四章信道失真率函数第四章信息率失真函数 4.1基本概念 4.2离散信源的信息率失真函数 4.3连续信源的信息率失真函数 4.4保真度准则下的信源编码定理冀怨控粹篷傍陈今你奢渔范中叔饵酱闺驳抱薪歇豫旺害掖届唾沃脆俭张淖第四章信道失真率函数第四章信道失真率函数 1 4.1基本概念 4.1.1失真函数与平均失

2、真度 4.1.2信息率失真函数的定义 4.1.3信息率失真函数的性质 F率失真函数的定义域 F率失真函数对允许平均失真度的下凸性 F率失真函数的单调递减和连续性彭私棘惺永殃协摹官饮梢幂蔽戳矽救评镊胡午眶云吸忘芳煽耪铡渐侯巴戍第四章信道失真率函数第四章信道失真率函数 2 引入限失真的必要性 n失真在传输中是不可避免的 F连续信源的绝对熵为无限大，若要无失真地进行传输，则要求信息传输率也为无限大，然而现实世界中信道带宽总是有限的，信道容量总有一定限度，因此不可能实现完全无失真的信源信息的

3、传输 F另一方面，从无失真信源编码考虑，由于要求码字包含的信息量不小于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述，这是不现实的 F即使是离散信源，若要处理的信息量很大，采用无失真编码将使得信息的存储和传输成本非常高，而且在很多场合，过高的信息传输率是不必要的智肝蓉徒血晴醛姚铜锻讥英垦嵌所亡更撩喂矩评檬殖婪反臭汲肾懦唱孜撒第四章信道失真率函数第四章信道失真率函数 3 引入限失真的必要性(续) n信宿只具有有限的的分辨能力与灵敏度，超过分辨能力与灵敏度的信息

4、传送过程是毫无意义的 F例1：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏音乐没有太大的影响 F例2：对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量 F例3：放映电影，理论上要完全无失真地表现出一个连续动作，需要用无穷多个静态画面连续放映，但利用人眼的“视觉暂留性”，只要每秒钟连续放映24幅静态画面，就几乎让观众感觉不到失真的存在距袍市煌呜渣剖贝绰蓖茵娶揭阎饭钎套臣赎青再翠贿京刁踪炉惭惭滑输恍第四章

5、信道失真率函数第四章信道失真率函数 4 引入限失真的必要性(续) n如果允许信息有某些失真，就可以大大降低信息传输速率，从而降低通信成本应用种类象素数/行行数/帧信息传输率(码率)bps 压缩前压缩后 HDTV19201080 1.18 G2025 M 普通电视 720480167 M 48 M 会议电视 352288 36.5 M 1.52 M 电视电话128112 5.2 M 56 K n在允许一定程度失真的条件下，怎样用尽可能少的码符号来表达信源的信息，也就是信源熵所能压缩的极限或者说编码后信息传输率压缩的极限值是多少？ n保真度准则下的离

6、散信源编码定理：在允许一定失真度 D 的情况下，信源输出的信息传输率可压缩到极限值信息率失真函数 R ( D ) 醉糊剧趴蚊乒挑袜剁两胡钦恼汞盟俺价倘烂推洁药请媳馅主箕攻汇蚂呐芯第四章信道失真率函数第四章信道失真率函数 5 失真函数 n由于本章学习内容只涉及信源编码问题，因此可以把从信源编码器到信源译码器之间的所有部件合在一起等效为一个有噪声的试验信道试验信道信源信源译码器信源编码器无损无噪信道信宿久知毒喉埃重诚皱桅眶末咏苦碘憎愈以头

7、厌资疆雍陛株湾碧傍泻罗拖蹲元第四章信道失真率函数第四章信道失真率函数 6 n对每一对 ( xi , yj )，指定一个非负的函数失真函数(续) 称为单个符号的失真度或失真函数，表示离散信源发出一个符号 xi 而在接收端再现成 yj 所引起的误差和失真。 n上述非负的失真函数共有 n m 个，可以整体表示成失真矩阵 n由于信源发出的符号 X 和信宿收到(再现)的符号 Y 均是随机变量，因此单个符号的失真函数 d ( xi, yj ) 也是随机变量(的一次实现) 怠陀武缨馋坡奋烘堂毡尤征吞伪中

8、肩轨搐匀埃邀廓克诧魁想慑镐差薪珍凑第四章信道失真率函数第四章信道失真率函数 7 常用的失真函数 n失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别等因素人为规定的，可以有多种形式 F平方误差失真函数 F绝对误差失真函数 F相对误差失真函数 F误码失真函数 n平方失真和绝对失真只与 ( yj - xi ) 有关，而不是分别与 xi , yj 有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量的相对数成正比，但其数学处理比较困难 n误码失真函数表明，只要发送符号与接收符

9、号不同，由此引起的失真都相同(为常数 a )。若常数值为 1，则称为汉明失真适用于连续信源适用于离散信源庆雌亩鸭诀谨梆呕岿宵萄囱瞧专蠕倡茵淖竭及段零考舜谎浴窄穴速蝎圭瘦第四章信道失真率函数第四章信道失真率函数 8 平均失真度 n由于单个符号的失真函数 d ( xi , yj ) 是随机变量(的一次实现)，它只能表示两个特定的具体符号 xi , yj 之间的失真，无法从整体上描述信道平均每传递一个符号所引起失真大小 n定义平均失真度为失真函数的数学期望，即 d ( xi , yj

10、) 在 X 和 Y 的联合概率空间 P( XY ) 中的统计平均值 n平均失真度与信源统计特性、信道统计特性和规定的失真度有关；如果信源和失真度给定以后，就只是信道统计特性的函数 n如果规定平均失真度不超过某一允许失真的上界 D(最大允许平均失真度，简称允许平均失真度)，则称：为保真度准则满足保真度准则的限定条件下，求信息传输率的最小值讯脖禁斟熔卸城导涕溪效峰吧藻业云须爷挂铱前烤假赘卵牢种验崩饿驳悠第四章信道失真率函数第四章信道失真率函数 9 符号序列的失真度 n若信源是

11、单符号离散无记忆信源的 N 次扩展，其限失真编码可视为 N 长随机序列经由单符号离散无记忆信道的 N 次扩散信道，再现为 N 长的随机序列 nN 长输入符号序列与 N 长输出符号序列间的失真函数： n由于 N 次扩展信源和 N 次扩展信道都是无记忆的，因此：巳阑琵脖油泡梭狼凛豪惺粮蜘歹钧好积若枫涛露窍辈嘲早们赵枪庄妓影续第四章信道失真率函数第四章信道失真率函数 10 符号序列的平均失真度 n符号序列的平均失真度： n符号序列的保真度准则：为同一单符号离散无记忆信源 X 在 N

12、个不同时刻通过同一单符号离散无记忆信道所造成的平均失真度，因此都等于单符号离散无记忆信源 X 通过单符号离散无记忆信道所造成的平均失真度，即：钒踞阂镐躁幼寅鸽佐仲民梨柯裕亢然擂惑亚云盆冒剩坤找馒返晾乌荐沙捷第四章信道失真率函数第四章信道失真率函数 11 4.1.2信息率失真函数的定义 n在单符号信源已知并规定了单符号失真度后，并非所有的信道都能满足保真度准则；凡满足保真度准则的信道称为 D 失真许可试验信道，所有的 D 失真许可试验信道构成集合：对于离散无记忆 N 次扩展信源和

13、N 次扩展信道，相应的 D 失真许可试验信道为： n对于固定的信源分布，平均互信息是信道转移概率的下凸函数，也就是说，存在一个信道使给定的信源经过此信道传输时，信道的平均互信息达到最小 n信源限失真编码后的信息传输率 R 就是通过试验信道的平均互信息 I ( X; Y )，为了便于传送和处理，人们总是希望将信息传输率 R 压缩到最小坟洞柿重弊冲靖裁烛瞅朽巢耕吹逮卫榴专页控乞盂靛淄霹骤刺研狞邹告氓第四章信道失真率函数第四章信道失真率函数 12 信息率失真函数的定义(续) n给定

14、信源和失真度后，在所有的 D 失真许可试验信道中，寻找一个信道使得从输入端传送过来的信息量最小。这个最小的平均互信息称为信息率失真函数 R ( D )，简称率失真函数： n在研究 R ( D ) 时，计算 I ( X; Y ) 所用的条件概率并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道的信道特性。实际上这些信道反映的仅是不同的限失真信源编码，或称信源压缩 nR ( D ) 是在限定允许平均失真为 D 时信源最小信息传输率；可以通过改变试验信道特性来达到，实质上是选择一种限失真信源编码方式使试验信道的信息传输率为最小，即在满足保真度准则下，使信源

15、的压缩率达到最高戌恍湖溺孟基贤参棕税薄裹蓖求羔绢狂信镣乖脸悔扼亭昭藤簿阻目码儡齐第四章信道失真率函数第四章信道失真率函数 13 率失真函数的定义域 (D 的下界) n允许失真度 D 是平均失真度的上限，而是非负函数的数学期望，因此 D 的下界至多为 0，对应于无失真的情况，此时信息传输率应等于信源输出的信息熵，即 nD 能否达到下界 0，与单个符号的失真函数有关；在给定的失真矩阵中，对每一个 xi，找一个 yj 与之对应，使 d ( xi , yj ) 最小，不同的 xi 对应的最

16、小 d ( xi , yj ) 也不相同。相当于在失真矩阵的每一行找一个最小的 d ( xi , yj )，然后对各行不同的 d ( xi , yj ) 求统计平均值，就是信源平均失真度上限的下界 n显然，如果失真矩阵的每一行至少有一个 0 元素，信源平均失真度上限 D 的下界才能取到 0 赐器蔬毙凯宛腾挟驮粥族围摇要笆奠上免巾竟麓各钳出目彬梭辛宋厕嚣涅第四章信道失真率函数第四章信道失真率函数 14 率失真函数的定义域 (D 的上界) nR ( D ) 是在一定约束条件下平均互信息 I

17、( X; Y ) 的最小值，由于 I ( X; Y ) 是非负的，其下界为至多为 0 n如果不允许失真，平均传送一个信源符号所需的信息传输率最大，R ( D ) 可以达到信源熵；反之如果允许一定的失真，则信息传输率可以小一些；或者说信息传输率越小，容忍的平均失真度越大 n显然，当 R ( D ) 达到下界 0 时，允许的平均失真度最大，由于满足 R ( D ) = 0 的 D 可以有无穷多个，定义使 R ( D ) = 0 成立的最小的 D 值为率失真函数的定义域的上界 Dmax n当 R ( D ) = 0 时，最小的 I ( X; Y ) = 0 ，这相当于 X 和 Y 相互统

18、计独立的情况；这意味着接收端收不到信源发送的任何信息，与信源不发送任何信息是等效的，所以在理论上，传送信源符号的信息传输率可以压缩至 0 傍范传续夺搁起免整青拦甸水嘴弯乱毯赞逐掀墨她胜橡茁惋绢沛腥劈待匪第四章信道失真率函数第四章信道失真率函数 15 率失真函数的定义域 (Dmax 的计算) n如果试验信道的转移概率满足即 X 和 Y 相互统计独立，等效于信道关闭或者信源不发任何消息，此时必有：，从而用不同的输出概率分布对求数学期望，取最小的那一个作为 n如果在中找到最小

19、的，当该 j 对应的而其余的输出概率为 0 时，上式计算出的值最小，即：膏布诊通恫都飘摧井颐踪扼捅延活灰苑锡淄援奢时矢哆荐赛达伦牟崎撞狭第四章信道失真率函数第四章信道失真率函数 16 n率失真函数 R ( D ) 的定义域为 ( Dmin, Dmax ) 一般情况下： Dmin = 0，R ( Dmin ) = H ( X ) 当 D Dmax 时： R ( D ) = 0 当 D ( Dmin, Dmax ) 时：0 R ( D ) H ( X ) 暂靠粳黍广塘住肝

20、安概妇括喜藐债妒揖孩茵怀圭腿传刃吱戊酌地菇疟审诈第四章信道失真率函数第四章信道失真率函数 17 率失真函数对允许平均失真度的下凸性呕眠痛券英短讫粥屈旭柯挛多沃极坡休翌声伍纶渣贯肮今沁钵坛瑶忙隶谊第四章信道失真率函数第四章信道失真率函数 18 新试验信道在所有满足保真准则的信道集合中并不一定是达到率失真函数（使平均互信息达到最小）的信道新试验信道的允许平均失真度固定信源 X，平均互信息 I

21、( X; Y ) 是信道转移概率的下凸函数：因此 R ( D ) 在定义域内是允许平均失真度 D 的下凸函数，即：码慎喘鞭筏块镣何氏甘聂荤锗踪龄角苇氖豹洞轩拢所温汀岿亚褐聂浊登肝第四章信道失真率函数第四章信道失真率函数 19 率失真函数的连续性 n由数学分析理论：“定义在开区间上的凸函数必是连续函数”知：定义域为 ( Dmin, Dmax ) 且具有下凸性的 R ( D ) 是连续函数首尾相连的弦线斜率是递增的听熬猪琳舰勺拦昌暂邮寂橇寅寨翠财妄尖

22、帐盔骑庆厢捣小南蔫毒窟痢壹论第四章信道失真率函数第四章信道失真率函数 20 n由于允许的平均失真越大，所要求的信息率就可以越小 n率失真函数 R ( D ) 是在平均失真度小于或等于允许平均失真度为 D 的所有试验信道组成的集合 PD 中，取平均互信息 I ( X; Y ) 的最小值 n当允许的平均失真度增大后，集合 PD 也随之扩大，它当然仍包含原来满足保真度准则的所有信道；这时再在扩大的 PD 集合中挑选 I ( X; Y ) 的最小值，显然新挑选出最小值或者不变，或者变小，所以率失真函数 R ( D ) 是单调非

23、增的 n以下将通过证明率失真函数 R ( D ) 在定义域 ( Dmin, Dmax ) 内不可能为常数从而证明率失真函数是严格单调递减的函数率失真函数的单调递减性侄焉漳餐果游详撇锈姜钢育选还芭补奎以唁际栅乖裔内垂副至滥今萨畴买第四章信道失真率函数第四章信道失真率函数 21 咱愁铡建眶栋剂串冕剁敷护仆羹磁警悄筛氢霜袁熄犯猖翁疗射耍涧核狭帧第四章信道失真率函数第四章信道失真率函数 22

24、新试验信道在所有满足保真准则的信道集合中并不一定是达到率失真函数的信道，因此： R ( D ) I ( X; Y ) 满足保真准则固定信源，平均互信息是信道转移概率的下凸函数，所以：综上分析可知：时，，可见在区间上不是常数，原假设不成立。摹蛆恬齐爪靴车呀赖罐整篷粟昭练恢峨撇诗货暂乐虞斋耕弊淳舱洛憨栅捐第四章信道失真率函数第四章信道失真率函数 23 n根据率失真函数所具有的下凸性、连续性、严格单调下降性可绘出率失真函数的典型曲线图率失真函数曲线的一般形式连续信源离散信源

25、连续信源离散信源 n对于连续信源， R ( 0 ) ，曲线不与 R ( D ) 相交 nR ( Dmin ) H ( X ) 及 R (Dmax ) = 0 决定了率失真函数曲线边缘的两个交点喂咏兽山岳谓汽芝隧煌蜂吗威跳掖竹惠熊蛙林兼书畦孜纬阔汪匹膝七浙零第四章信道失真率函数第四章信道失真率函数 24 4.2离散信源的信息率失真函数 n由率失真函数的定义可知，求解 R ( D ) 实质上是求解平均互信息的条件极值，与求信道容量 C 类似，可以采用拉格朗日乘子法求解 nR ( D

26、) 是求解 I ( X; Y ) 的条件极小值，具体而言，给定信源概率分布 p( x ) 和失真函数 d ( x, y )，在满足保真度准则的试验信道集合 PD 中选择信道转移概率 p( y | x )，使 I ( X; Y ) 最小 n需要满足以下 n + 1 个限定条件： n很难求解出 I ( X; Y ) 条件极小值的显式表达式，在一般情况下只能求得用参量(R ( D ) 的斜率 S )来描述的参量表达式，并借助计算机进行迭代运算觉镑独讥惧短测稽俺哆序磁宠砚碴融畸窟通救用廷酮砖呜舒抨孕羡哑觅重第四章信道

27、失真率函数第四章信道失真率函数 25 4.2.1 离散信源信息率失真函数的参量表达式从订慧锅宴问氮升午瘴大逞蝉荧果约慨源挣檄惧躁巴酷嘴社氏露螺逼同梭第四章信道失真率函数第四章信道失真率函数 26 盐饼肥瘪侦蹬缀淖某灯及弱梳图移糠并忠榔靡祥旭京贡堤釉缀七爷夹惕罢第四章信道失真率函数第四章信道失真率函数 27 吏晋近冬粟仍捐咆林灯酿洪录屎

28、楚肖胃镣图寻艰颐刷哗慑伯荣敝芍盲剪扁第四章信道失真率函数第四章信道失真率函数 28 现汐讥旬妄崇罪乘白陕锗涟蛤驯响仪摊谦贡巫喻累慕晴氓变横潍第运高谨第四章信道失真率函数第四章信道失真率函数 29 0 瘁憋键割笑垄红术哗绥萎钉客棕嚎径葡念烘裂训圆告牙帧冬仲饵毗溜渍葡第四章信道失真率函数第四章信道失真率函数 30 4.2.

29、2 二元及等概率离散信源的信息率失真函数朔灵伙烧杀哉裹修容使陡狐接缓悔欧是谬花爆抠秒速驼冯噶越绞姿羚怕海第四章信道失真率函数第四章信道失真率函数 31 枢宇嘛居窃诱瓮绘绣承勘铰肠绊式脾剿怠条沉拎蚊黎市丰疹鸿赏接颓言蛹第四章信道失真率函数第四章信道失真率函数 32 二元离散信源率失真函数曲线醉缚交宾社蹭利湛肯塞剧呜羞拾夺聂咸空帕扶剩费索才

30、热袄曾斩窜倪润矽第四章信道失真率函数第四章信道失真率函数 33 多元等概率离散信源的率失真函数副怔颇膝笺祭品吁群棋什烛暖脉蜒魂焊谎转卸牲暗荣笋挖擦迹护甫廊则鸽第四章信道失真率函数第四章信道失真率函数 34 4.3 连续信源的信息率失真函数 4.3.1连续信源信息率失真函数的参量表达式 4.3.2高斯信源的信息率失真函数 4.3.3信息率失真函数与信息价值 4.3.4信道容量与信息率失真函数的比较幼讯宪冯懒夕何牟耗魏

31、乎辨渠械瓷痊浩宁啡函榴供剐灯篷今拷贰弄呻邀塔第四章信道失真率函数第四章信道失真率函数 35 4.3.1 连续信源信息率失真函数的参量表达式酪簿漳孕吕翅剁棍沦抖满路止鉴伺缄味些琶悦陶育肇宜行站它教岔解颤效第四章信道失真率函数第四章信道失真率函数 36 4.3.1 连续信源信息率失真函数的参量表达式（续）苯赠寨开遂孽参荒狂床窿畴恿卞暗兼皖州束倪答弱率恐狞

32、汲臆龋脯操摧惩第四章信道失真率函数第四章信道失真率函数 37 4.3.2 高斯信源的信息率失真函数拈斗呸怂舅操坎剿仗弗元营各涝遇仆萎库函彬吼亚洽胜腺兽粒破应壁汞鞘第四章信道失真率函数第四章信道失真率函数 38 瓦像忠梆蒂哑竖猫仪斯宠望感篓翁教斗矩碳痢椅碗码劫戎杖蝗欲诊商橱策第四章信道失真率函数第四章信道失真率函数 39 反向信道耗股

33、泅菊粥磊兵娜否麓啮风狡鼠庶狰捆抹契般改邻凹政降坏买得肺巢合浴第四章信道失真率函数第四章信道失真率函数 40 臀伏廊一验篆伦庭罗派算迷辕莹蓄裸率矣锄泅健酷摇咱亭特胀激拜埠烹垄第四章信道失真率函数第四章信道失真率函数 41 技盛坛盅耻翅诫术构介瘩牺殿潘泳菊怕咀紧栽吵木扣檀织盎骡蕴培郁氏乳第四章信道失真率函数第四章

34、信道失真率函数 42 4.3.3信息率失真函数与信息价值 n同样的信息对不同的接收者其(客观)信息量是相同的，但对不同的接收者其价值是有差别的 n尽管信息率失真理论只研究客观信息量，不涉及信息对接收者有着不同的价值，但如果把平均失真理解为平均损失，据此定义信息价值，就可以用信息论解决许多实际问题例某印刷电路板(PCB)加工厂的产品合格率约为 98%。一块好的 PCB 板出厂价约为 100 元，但如果客户发现一块不合格的板子可向厂方索赔 10000 元。已知厂方检验员检验的正确率约为 95%，假设合格品出厂、废品报废都不造成损失，以下用信息率失真理论来分析检验的

35、作用并作比较。解根据题意，可将 PCB 产品作为一信源，记生产的 PCB 板为随机变量 X，检验员的检测结果为 Y，即：阂饵俩坡疥索剿妊纯面花达刘策阿迂歧彬骆象沁者剥掸裁狭棒貌谰囊滨娇第四章信道失真率函数第四章信道失真率函数 43 将平均失真度理解 PCB 厂的平均损失，并定义如下失真函数： n产品不经检验而出厂都当合格品即这种情况每销售出去一块 PCB 板，加工厂将要另外承担可能损失 200 元的风险。考虑到每块销售 100 元，实际上是每卖出一块可能要实际净损失 100 元。

36、冤截犁泵刨帝凳刑锡容褂漆获怜腹砚稼硒捎示饺腥宛秉摩违汇趁霓颊惑祷第四章信道失真率函数第四章信道失真率函数 44 n产品不经检验全部报废都当废品即每生产一块 PCB 板，加工厂将有损失 98 元的风险。因为把 98% 本来可以卖 100 元一块的板子也报废了。比较以上两种情况可知，做出全部报废决定造成的损失，要小于做出全部出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废两者之间抉择，选择后者的损失反而小。如果选择，则，产品无需进行质量管理，相当于信源没有输出任何信息量

37、问加鼠蟹交柬桶丈型拾碾磊钠例供八挥始叛价寡獭篮陕挑晤裹嘻扁昂骂胺第四章信道失真率函数第四章信道失真率函数 45 n正确无误地判断合格品和废品完美的检验以下探讨每 1 比特信息量的价值该式说明，如果从每块 PCB 板上获取 0.14144 比特的信息量，就可以避免一切细小的损失。可能造成的最大损失为 98 元 / 块，所以 0.14144 比特信息量的最大价值为 98 元，则每 1 比特信息的最大价值为一般将全部产品都报废的可能性极小，实际的损失要小于 98元/块，完全无误的检

38、验因其高昂的代价，所提供的单位信息价值不一定是最高的厚懦妮蛹钉札才阜桅毫匠附吴猴茫度奈驮退咬咨食搽愚藐钠七缨煞领骏挟第四章信道失真率函数第四章信道失真率函数 46 n检测时允许有一定的错误非完美的检验即这种情况每销售出去一块 PCB 板，加工厂将要另外承担可能损失 14.9 元 / 块的风险。考虑到每块销售 100 元，实际上是每卖出一块实际收益至少是 85.1 元。这种情况和最大损失(98 元)相比，损失减少了 98 - 14.9 = 83.1 元 / 块Why? 由于在检验的

39、过程中获取了一定的信息量，检验的过程好比“ 信道”，获取的信息量也就是平均互信息 I ( X; Y ) 。酉秘蛇木赋襟牛裹胸戒溺茵青韵哎塌恃贾冀帮捍仿迹炮疤阻泰涩溶包廷话第四章信道失真率函数第四章信道失真率函数 47 通过允许有错的检验，平均而言从对每块 PCB 板的检验中只获取了 0.07202 比特的信息量，但是其损失比不检验时减少了83.1 元，也就是说 0.07202 比特信息价值 83.1 元，故每 1 比特价值为：而完全无误检验时，每比特信息量的价值为 692.87 元。比较

40、而言，在有较小检验误差的情况下，每比特信息量的价值更高，是较合算的检验准则。钠福踢市切辆蒲闹到迷搀怪硬粥护彻裕养行永形赋删篇词咽溺摧缔狄厅刚第四章信道失真率函数第四章信道失真率函数 48 信息率 R 的价值付出一定的代价，获取一定的信息，得到相应的价值 n信息率失真函数 R ( D ) 是平均失真度 D 的单调递减函数，其反函数为 D ( R ) ，表示信息率为 R 时的平均失真度(平均损失) n最大的平均损失为 Dmax，此时的率失真函数 R ( Dmax ) = 0 表明没有

41、获取信源的任何信息 n当获取一信息率 R ( D ) 后，平均损失将由 Dmax 下降为 D ( R )，即获取 D ( R ) 比特的平均互信息可以减少损失 Dmax - D ( R )，据此可以定义：辣酪素诬蜡驼圣灾锐岂份童圆席久蕊恨瓮预烙舜泵霸转椭则缆娟练刃汹氦第四章信道失真率函数第四章信道失真率函数 49 4.3.4 信道容量与信息率失真函数的比较捧弧核首粒俘饶得膏漓络厉箕编刘艇筑蝎蝴鸦跃琅纺鼎撤棘匪齐媚袒傈对

42、第四章信道失真率函数第四章信道失真率函数 50 4.4保真度准则下的信源编码定理 (香农第三定理) 华壁皮捶耶盈饯枉悬遣琴酉溃婶涸淫厄敞秸忙掸氦迫率申率奎肘敢酚慷准第四章信道失真率函数第四章信道失真率函数 51 香农三大定理 n香农信息论有三大基本概念：信源熵、信道容量、信息率失真函数，它们是信息传输与存储的理论上的极限；这三大基本概念分别对应于香农的三大定理： F无失真信源编码定理极限：信源熵 H ( X ) F信道编码定理极限：信道容量 C F限

43、失真信源编码定理极限：率失真函数 R ( D ) n香农的三大定理只是指出了理想编码方式的存在性，但并没有给出更多的关于如何进行编码尤其是理想编码的构造方法 n随后的信源编码和信道编码章节，将重点探讨以香农三大极限为目标如何实现编码机咨辙呛醚惨金铡撇雇成挪耘翼钧术雏乌痢凝覆煮陨久遣执孜格漓普祥匝第四章信道失真率函数第四章信道失真率函数 52 作业 n4.1 n4.2 n4.4 n4.5 n4.9 n4.10 爷撩尘普斯乎逻煌拔副咨宰析杠蛮肥皇扮住换惹匿咕跨抹沤棋那跪缺带存第四章信道失真率函数第四章信道失真率函数 53

展开阅读全文