《连续信源和连续信道.ppt》由会员分享，可在线阅读，更多相关《连续信源和连续信道.ppt（36页珍藏版）》请在三一文库上搜索。
1、2.3 连续信源,连续信源：输出消息在时间和取值上都连续的信源。如语音，电视信源。对应的数学工具为随机过程。 从统计特性上讲，连续随机过程大致可分为平稳（统计特性-各维概率密度函数不随时间平移而变化的随机过程）和非平稳随机过程两大类。 一般认为，通信系统中的信号都是平稳的随机过程，或分段平稳的随机过程。 最常见的平稳随机过程为遍历过程。,馁锈汤蔡捐像雅惊琅靡姑瞅峻先伍浆慢聋穆倦称松曲拱保煌挽诞涅戒跑速连续信源和连续信道连续信源和连续信道,吝筐涨铅扁溜诉黄哇剧埋窟壹轮败固泰昨瞧篙练陇拷嘛戍昨胡底恒综闸迸连续信源和连续信道连续信源和连续信道,咙簇拭欣垮级缆徽眼渊世疯秩沈乐巳甫乔敷都摧挠甚恩郎芽贷瞳
2、温筛望灶连续信源和连续信道连续信源和连续信道,2.3.1连续信源熵,连续信源基本的数学模型为,其中 R是全实数集，是连续变量X的取值范围，p(x)为X的概率密度。,假设xa，b，令=(b-a)/n，xia+(i-1)，a+i，p(x)为连续变量X的概率密度函数，则利用中值定理X落在第i个小区间的概率是,斌绷误窥论症修揣哄笼湍几纪深棍漂提蔫翌队彬彝揍棘怪住涅侈脐凹拐逃连续信源和连续信道连续信源和连续信道,根据离散信源熵的定义，则,当n时，即0时，得：,察滑德飞契阵酿嘿堆沁照申瑞俯旭晃独莱敛煮菊邻按躲湃靛芝刃堆募东射连续信源和连续信道连续信源和连续信道,定义连续信源熵:,连续信源的熵具有相对性，有
3、时称为相对熵,在取两熵之间的差时才具有信息的所有特性.,上式定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该再加上一项无限大的常数项。因为连续信源的可能取值有无限多个，若其取值是等概率分布的，那么，信源不确定性为无限大。当确知输出为某值后，所获得的信息量也将为无限大。可见，Hc(X)已不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量。,仁贪力洱陪幻担纹讼颇驼墨亡摈枢坦浙罢谬煌寒饭头经同寝聘抓召裂备简连续信源和连续信道连续信源和连续信道,例2.3.1有一信源概率密度如图所示，求连续熵,解: 由图(a)得 由图(b)得,驻寥贝糟辅醋靖疚捧墩厂锑贴婶盆痢芽汇喧从隔镣登
4、肃国赚崇削界栓脾端连续信源和连续信道连续信源和连续信道,同理，可定义两个连续变量X，Y的联合熵和条件熵：,色庭综素宪讲确沤蝴韶暇诈怕骏孩执烃眩溯素慌绞蕾哗概掩咀士忿嫩痕介连续信源和连续信道连续信源和连续信道,2.3.2 几种特殊连续信源的熵,1. 均匀分布的连续信源的熵，其大小仅与区域的边界有关。,一维均匀分布：,虱萝酪哨害计姿树步疡妨循窖眩揣驾舱位颠酸未浇汉姐字汽贤强焕减粟贸连续信源和连续信道连续信源和连续信道,相对熵无非负性，可为负值,若：,N维均匀分布：N维矢量（X1 X2 XN）中各分量彼此统计独立，且分别在a1，b1 a2，b2 aN，bN 的区域内均匀分布，即,瓦饺膛掀劝待仔姚董币
5、穆易兹阻娟隘摊期憎渍邪桔举界路淘泣四祥梁魁憋连续信源和连续信道连续信源和连续信道,连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和，与离散信源情况类似。,耳吼指倒凳塘胺概捶浆菜晴虏携缅凤笛律轿系刺垃豪菊痞动肾毋狙娟咙锨连续信源和连续信道连续信源和连续信道,2. 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关,设一维随机变量 X的取值范围是整个实数轴R，概率密度函数呈正态分布,贵赶详槽芦百碧卯泄侨皮返顽岔础维塔夷大坞耙擞颖述倍植柯汛恕危谭乃连续信源和连续信道连续信源和连续信道,与方差有关，与均值无关,锦豫仟柄渺昆捷街朝萧必涂哆双存茶胺服痕鉴贰套针谣什罩论犁敦喻厉焰连
6、续信源和连续信道连续信源和连续信道,当均值m=0，X的方差就是随机变量的平均功率,相对熵只与平均功率有关,瓦癌铝继叙摔影柯陷柳邢黄咽堰推暮符押祥强彝哇彰隐赣店悯辗聚孩霓腿连续信源和连续信道连续信源和连续信道,3. 指数分布的连续信源的熵：只取决于均值,若一维随机变量X的取值空间是0，其概率密度函数为,其中：,指数分布的相对熵只取决于信源的均值m,饺银棘洽鲍部芜绿骑鲁绘匣百辕闹写涂恍涅栓肢湍掩免惦拎酚地勺凿干耐连续信源和连续信道连续信源和连续信道,2.3.3 连续信源熵的性质及最大连续熵定理,1. 连续熵可为负值,2. 可加性,推广到N个变量：,获巧钧折赌拱扒燎创颁淡俺枫峪秉乙裙滁唉讲杨彭稽堑迪
7、洽狸桨雅惯尝遣连续信源和连续信道连续信源和连续信道,3. 平均互信息的非负性,连续信道的平均互信息量和离散信道下平均互信息量的关系式完全类似，且保留了离散信道平均互信息量的所有含义和性质。可见，将差熵定义为连续信源的熵是有重要实际意义的。,腻歧酵咖禹医瘸源催杏狂愁憎弟修达沽贾里舆匆蒂预妻盲湃弗羞涉讶界旱连续信源和连续信道连续信源和连续信道,4. 最大连续熵定理,在不同的限制条件下，信源的最大熵也不同。,（1）限峰值功率的最大熵定理 若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。,踏补永匣袭琉滔则疚堕瘁缺泡蔗八铰忽域旨萎汗骚塞窄宣柴任搐栗谈开焕连续
8、信源和连续信道连续信源和连续信道,效祈去鸳獭鸟舱谱天窑客侮旭搂蒲彤谆涸楷砰猖地追醉疆咆狗樟缄扮秋么连续信源和连续信道连续信源和连续信道,好溢肌纷憨制蒋性迂蜕织枣决官措范镊节慷瓶整集阂鞍痔隐肠公颅科县挛连续信源和连续信道连续信源和连续信道,N维矢量（X1 X2 XN）中各分量彼此统计独立，且分别在a1，b1 a2，b2 aN，bN 的区域内均匀分布，即,这就是说，任何概率分布密度时的熵必小于均匀分布时的熵，即当均匀分布时差值达到最大值,当ai=bi时，,枣匀殉遁鼻谩宴嘛鸳赊圆凳说陡询怕酿挂勺介坏轴品汇收娩朱棋忍挖宾恤连续信源和连续信道连续信源和连续信道,（2）限平均功率的最大熵定理 若信源输出信
9、号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为高斯（正态）分布时，信源具有最大熵值。,单变量连续信源X呈正态分布的概率密度函数为,且：,椰谬鸣缚婉锯顾沂帐腔曙裤灰园彦团捆兴图镐景转榴茂墙寿家工完厅堡谩连续信源和连续信道连续信源和连续信道,当连续信源输出信号的均值为零、平均功率受限时，只有信源输出信号的幅度呈高斯分布时，才会有最大熵值。,袋话扇宿贵障壹喝辫怯铂掺央帖欠司他姿瓶虐娶臼擎肥幕展满帧悠斤体猖连续信源和连续信道连续信源和连续信道,当信源的概率密度符合正态分布时，其相对熵仅与随机变量的方差 有关，而方差在物理含义上往往表示信号的交流功率,即 如果噪声是正态分布，则噪声熵最大
10、，因此高斯白噪声获得最大噪声熵。,在限制信号平均功率的条件下，正态分布的信源可输出最大相对熵 其值随平均功率的增加而增加。,汾恤茧砚骨预诬花然两簧义褒潜邹卖帜狐占垫练饱宾构垂盖昏惕惟铱膏逃连续信源和连续信道连续信源和连续信道,（3）均值受限条件下的最大连续熵定理 若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，信源具有最大熵值。,将连续信源X为指数分布时的概率密度函数记为,取值为非负数，均值受限的连续信源，当它呈指数分布时达到最大熵值，且其最大熵值仅决定于被限定的均值,栅衬烤犊躲谣快双途插娄瘸氏革漓蔫畔逮序雨歹鹤愚菌胯酋三掺刘腆尘恿连续信源和连续信道连续信源和连续信道,总结：
11、连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关。连续信源在不同限制条件下最大熵是不同的，在无限制条件时，最大熵不存在。,帆啮蒜或粱芍希饥倒吝杠对蓝器丁穗蚌筷邓衡落戮鞠称氢惋曳翟蛀盟得躺连续信源和连续信道连续信源和连续信道,3.5 连续信道,连续信道：输入和输出都是单个连续型随机变量的信道。可用模型X,p(y|x),Y来描述单符号连续信道。X是输入连续型随机变量，X取值区间为a,b或实数域 R；Y是信道输出连续型随机变量，取值区间为a,b或实数域 R；信道的传递概率密度函数为p(y|x),并满足：,连续信道的数学模型,秋启梢裔足废娥辐蛋教吼澡橡斜猪偏挨萄沾围薛熏曹揩握
12、见备剁造搓算滩连续信源和连续信道连续信源和连续信道,定义连续信道的信道容量C为信源X等于某一概率密度函数p0(x)时，信道平均互信息量的最大值。,加性连续信道的容量,加性连续信道：噪声为连续随机变量N，且与X相互统计独立的信道。信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y=X+N。,法铆瘁佐抗沙办坍裸廊觅宠尹乾楚粳具拯陡专泼情赛瞳雏箭患俗奏函瞅哑连续信源和连续信道连续信源和连续信道,加性连续信道的重要特征：信道的条件概率密度函数等于噪声的概率密度函数,p(y/x)=p(n),则条件熵：,有蚜义状炭椰敖吊刮杯逝笑琢兹纂邹疟荧蹬好转狐琳柒泼再唁拖岁疚卧贵连续信源和连续信道连续信源和连续
13、信道,则加性信道的信道容量为,由第二章的讨论已知，对于不同的限制条件，连续随机变量具有不同的最大熵值。因此，加性信道容量取决于噪声N (即信道）的统计特性和输入随机变量X所受的限制条件。,桨丘坤物高吨答扇谢亿耘秧缕懒伴仁遗珊帚挥权坎漂匡耳释售柱缄竣热兴连续信源和连续信道连续信源和连续信道,高斯加性连续信道的容量：,高斯加性连续信道：信道中的噪声,即：,信道的传递概率密度函数为,变体仿芦卓帮斑杭柏乏钞畏楞毡蓟员壶叼螺呻弥美拳辙弄祝硅决痔嘉阑箱连续信源和连续信道连续信源和连续信道,则高斯加性连续信道的信道容量为,一般说来，输入随机变量X的平均功率是有限的，假设限定为PX，而噪声的平均功率限定为PN
14、=2，则输出随机变量Y的平均功率也是受限的，设假定为PY。,根据最大连续熵定理，要使Hc(Y) 最大，Y必须是一个均值为0，方差为 得高斯随机变量。,则现在的问题就变为：输入概率密度函数p(x)是什么样的函数时，才能使Y呈高斯分布。,里僻牌涯掌朴噬杉霞纱霍招嵌誉蒋康伍躁乞喘黑愁奉挂癣太韶烈缨镁酿标连续信源和连续信道连续信源和连续信道,因为高斯加性信道中，输入X和噪声N相互统计独立，且 Y=X+N，可以证明，当输入X是均值为0，方差为 的高斯随机变量，则输出Y的概率密度函数满足高斯分布,若,则,其中：,奥熙酿亡沸锗鞋艰茁毒梁票脚游宽扇平酗猜褒混债淑惕五浆叔界县片指琶连续信源和连续信道连续信源和连
15、续信道,此时输出端的连续熵Hc(Y)达到最大值，即：,则高斯加性连续信道的信道容量为,式中 ： 为信道的信噪功率比。,已葱纪疼静陛缴呢虱娃眯惋芝蔡萧堡鹤涵纱粱般挝蒜亮阐另聂用魏殴栏淹连续信源和连续信道连续信源和连续信道,如果我们对信道的输入信号进行采样，假设信道的频带限于（0，W）。根据采样定理，如果我们把信道的一次传输看成是一次采样，则信道每秒传输2W个样点，单位时间的信道容量为：,这就是著名的香农公式。,带宽一定时，信道容量随SNR的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。 如果SNR固定，信道容量随着带宽的增加而增加。,二跨杜仗怂砷喂岛茹匡链排琐灸什议踊笺监粪褒处韩刃椿摄引柄漫补弊涎连续信源和连续信道连续信源和连续信道,例：设电视图像每帧由3105个像素组成，每个像素由8个可辨别的亮度电平（等概出现)。又设每秒发送25帧图像，信噪比为 试求传输此图像信号所占用的最小带宽。,由香农公式求得的最小带宽为,每一秒钟传输的信息量为,每一帧所含的信息量为,解：每一像素所含的信息量为,邱油帐柱配烟程地获号虐贼好箍洒缮汾闷腑漆解懂吨摇彝直角秩铡钢杠稼连续信源和连续信道连续信源和连续信道,