《第二部分2.ppt》由会员分享，可在线阅读，更多相关《第二部分2.ppt（72页珍藏版）》请在三一文库上搜索。
1、2.2 连续信源及离散化 一、连续信源 二、连续信源的熵 三、波形信源的正交展开 四、波形信源的熵速率和熵功率,二、信源及信源编码,那卫秉碘沸旬鳃贞媒澳钟怕佛耀擅倚提征饼靖愧胎骄银壤况廉淆忧党搐差第二部分2第二部分2,一、连续信源 定义：如果信源输出是时间的连续函数，则称为连续信源，用随机过程X(t)描述。 通常随机过程用有限维概率分布函数或概率密度函数来描述。 1、n维概率分布函数 给定n个时刻ti , i=1,2,n；随机变量X(ti) , i=1,2,n的联合分布函数为,二、信源及信源编码,侣胯夕劫酮爪憨剂基罕爬寝兵诵痢侧己透链其仆撅烈晕锄锨折协捂恬撅舵第二部分2第二部分2,2、n维概率
2、密度函数 如果n维概率分布函数的n阶偏导数存在，则称,为n维概率密度函数。,3、独立随机过程 如果n维概率密度函数满足,则称此随机过程为独立随机过程。,二、信源及信源编码,士六埃窝臻助形绑佐募柞痴扎臂驯赌拄竣峪宰球综凤镀扛赴盆雁跪抱赚淑第二部分2第二部分2,4、连续信源分类 (1)时间离散连续信源：如果随机过程X(t)时间离散，取值连续，称为时间离散连续信源，简称连续信源。 时间离散连续信源可用随机矢量描述 (2)时间连续信源：如果随机过程X(t)时间连续，取值连续，称为时间连续信源，简称模拟信源或波形信源。 模拟信源可用随机过程描述。,二、信源及信源编码,脾量稿华揣幻陪筋揩灾衷佯惜腮泅识捕皇
3、俱删滓泥披盲心蜘卵娶纷暖盗某第二部分2第二部分2,5、简单连续信源 简单连续信源可以用一维连续随机变量描述，其模型为,其中，p(x)0为概率密度函数。,如果随机变量X的取值在区间a，b，则信源模型为,二、信源及信源编码,茸左楚爪镑态秩卡宪肛铸巡册微羽撬范辟讯记函第蹭皖名郝鸳宪晚忧更侗第二部分2第二部分2,1、连续信源离散化模型,二、连续信源的熵,xi,由积分中值定理得,二、信源及信源编码,礁真筷拐柬届逊道怔霹欠努燎遥仅坊作混晓零蹄豹妄舷擞鹿恋签天键缘溉第二部分2第二部分2,2、连续信源的熵 连续信源离散化的信源的熵为,当n ，得到连续信源的熵为,二、信源及信源编码,去畜挚弃捻蛤杆克擅巾柳验坎滁
4、颂舷泌冕饿帕孜蛙板痈礼皆仪轴袱瞄棺害第二部分2第二部分2,连续信源的熵（相对熵）定义为,释： 连续信源熵和离散信源熵表达式形式上一样； 连续信源熵与离散信源熵相比，去掉一个无穷项； 连续信源熵是相对熵，可正可负。,二、信源及信源编码,卞矩肘讳瑶续反无拣骑捶醛申铆黎辞横然炯诲栖腆扦摹吼屡叭贞椿植府户第二部分2第二部分2,3、连续信源的最大熵信源输出受限条件下,信源输出幅度受限时的最大熵,在假设信源输出满足axb条件下，寻找熵最大的信源分布p(x)。,转化成在约束条件,下，求,达到最大值的p(x)。,二、信源及信源编码,尤讼认弧骑何逆馁晃抑诲匡晤法僵纳睫鞍尽块铺巡端郝温枣诲袭别完即释第二部分2第二
5、部分2,令,求解,即,代入,得,二、信源及信源编码,硷凋土购畅邦映式祁箭烽囤荫笛黑铝下铱计壬窜什帖癸肥瓜葬辉擞绑镐巴第二部分2第二部分2,信源输出平均功率受限时的最大熵,在约束条件,下，求,达到最大值的p(x)。,二、信源及信源编码,舌庇搅庄阁以袋吁冉筋葵联部砷挎钙杀扭浙蔑璃唬焰冷色乎坎赤棍垄潭翁第二部分2第二部分2,令,求解,代入约束条件求得,得,二、信源及信源编码,释扎礼瞩邢揪嗜豢喻祷驴八瞅孝刮档活韭淹魂得臭嘘绊僧搓诚翱绿艺柄士第二部分2第二部分2,4、多维连续信源的熵,假设多维连续信源的分布密度为：,则可求得多维连续信源的熵为：,二、信源及信源编码,警帮谗娜陕旦公杉摇京韭奠绚勇孺统髓呸伟
6、五赦舵决沉阎衰亲症贝阿碑恤第二部分2第二部分2,5、多维独立高斯连续信源的熵,多维独立高斯连续信源的分布密度为：,可求得多维独立高斯连续信源的熵为：,其中， 、 是 的均值和方差。,二、信源及信源编码,苏灿肌泄扇雅耿皇勾戍匙异浮滓固雄缮妖菇闲闻所怕寓送呵值宅撕浇备鞍第二部分2第二部分2,6、多维相关高斯连续信源的熵,多维相关高斯连续信源的分布密度为：,其中，C是自协方差矩阵。,可求得多维相关高斯连续信源的熵为：,不相关（独立）自协方差矩阵变成对角阵。,二、信源及信源编码,萨课驱尼管锣放瞒衷扭贬痊醒芍舵讼庸慈馁勿薄销祷休为参乳淫己狮菌判第二部分2第二部分2,7、随机矢量确定性变换后的熵 如果两个
7、N维连续随机变量X和Y有Y= f (X)，则,其中，,二、信源及信源编码,整嚣海缆镶祝舆仔她笑说荧啦捶蔗茅眉鞍皿垮算索项鞭画棵低袖赤浓寨廓第二部分2第二部分2,证明：随机矢量X经过 f (X)变换成Y，Y概率密度为,所以,二、信源及信源编码,隔瀑暑鳖权君柠甲邓朱棘铡禄愁郊嫌毁条核兹痴桅答斧禁胀汾烯赵得偷镁第二部分2第二部分2,* 如果雅可比行列式不依赖于X，或者f(X)是一个线性变换，则,* 线性变换：A是一个可逆线性变换，B是常数矢量,则,|A|是矩阵A的行列式。,二、信源及信源编码,活索荷坚卵嚏爵榆滁履究结羡咒桔舔彩渭都吟使班鹰挺氏昏瞳蛀隆窜米撅第二部分2第二部分2,例：设X、Y是N维随机
8、矢量，U、V也是N维随机矢量，存在可逆矩阵A、B，及N维矢量C、D，满足,求H(UV) 解：写成矩阵 所以：,二、信源及信源编码,叙索簇秒凑泰监乡吁诧晋贷庙挟兜哩圆窑宽炸靶沙矿熟改妥乓鸟弯两卫甚第二部分2第二部分2,8、连续信源的联合熵、条件熵和平均互信息量,连续信源的联合熵 两个连续随机变量X和Y的联合概率密度为p(x, y)，则联合熵为,释： 、H(X, Y)是相对熵，可正可负； 、H(X, Y)H(X)+H(Y)，等号成立的充要条件是X和Y统计独立。,二、信源及信源编码,窜帆戌鲸贮蓄鉴期耽噪抿婆恕嫁枯坚渔抽嗽巴斑仍锑旗额剁里栏搽岭零司第二部分2第二部分2,连续信源的条件熵 如果两个连续随
9、机变量X和Y的条件概率密度分别为p(y|x)、 p(x|y)，则条件熵为,释： 、H(X|Y)、 H(Y|X)是相对熵，可正可负； 、H(Y|X)H(Y)、 H(X|Y)H(X)，等号成立的充要条件是X和Y统计独立。,二、信源及信源编码,虱种央再八享埂漱卵迷弥氦硷琐创奔志幼妄置哉望糙哀词谨府雪姻孩场庙第二部分2第二部分2,连续信源的平均互信息量 两个连续随机变量X和Y的平均互信息量为,释： 、I(X; Y) = I(X; Y)； 、I(X; Y) = H(X)H(Y)H(X,Y)； 、I(X; Y) 0，等号成立的充要条件是X和Y统计独立。,二、信源及信源编码,牢养穿和片渗呀走雄线椰愁庙添往瑚
10、馋浦唯证夫京孽怪赵吠革旨溃录舅哇第二部分2第二部分2,9、离散集合和连续集合的平均互信息量,*离散事件 x 和连续事件 y 间的互信息为,设离散集X的取值集合为 ，连续集Y的取值集合为实数，条件概率密度为,其中，,二、信源及信源编码,忆银腿真舒摸锡贾漂颖挽硕止剁蛇叔垫轨本行人形禁湃腆痛浦鹰拜滞翰逮第二部分2第二部分2,离散集合 X 和连续集合 Y 的平均互信息量,例：已知信道输入离散集X等概率取值1、-1，输出连续集Y = X + Z，而 Z 为取值-22的均匀分布连续集。 求I(X;Y),二、信源及信源编码,茶尧托鸥脚苹壮誉玩辩仗墩页掀搅股筋镭囱舜轿颖百岔吸鸵睹操墙对彤札第二部分2第二部分2
11、,解：,二、信源及信源编码,淡瞻霞拥岔浪驱乒蝶赡倾糊雾阻粳么囚斌属疤秤铝众摆王篱囊渴饮例哗银第二部分2第二部分2,二、信源及信源编码,匠意轴确毡鸡棍隘吓菜啼苔秘扳盲洱视拌涂搔槐锌咐根展扶鼻观庙访琐析第二部分2第二部分2,三、连续波形的正交展开 1、引入 *模拟信源变成离散时间信源； *正交展开后，通过系数恢复原始信源的信息。,2、平方可积函数 在时间间隔(0,T)或(-T/2,T/2)内，满足下式的时间函数x(t)称为平方可积函数。,二、信源及信源编码,熬库愿捞汀兑幽寻喀味迅止寂瑚祷颗丽荐昭贬焰发恒瞳祝鬃涤宠粳垦滋教第二部分2第二部分2,3、正交展开 对于平方可积函数x(t)，时间间隔(0,T
12、)或(-T/2,T/2)区间，存在一组正交归一化函数集,将x(t)表示成 的线性组合，称为正交展开,其中，,二、信源及信源编码,设袋谗蛤抱开厨百石摘昏刽颜彭笛搪冷肯如拨鞋迁饵松搓翌哦厄牡敌壳脱第二部分2第二部分2,4、常用的正交函数集 (1)、复正弦函数集,展开式：,系数：,傅里叶级数展开常用于限时信号展开,二、信源及信源编码,荆寺判昨大话侗婉椰肆鼠斜叛酌仍似卡态豢于嚣踢铡肆没晒膛椅敢校馁颊第二部分2第二部分2,(2)、实正弦函数集,展开式：,系数：,二、信源及信源编码,孵溪纶窃龚棋董褂休岳匀塔付予鸟吵砂楼官域拴拜熏僵缓阁它书戈曳填蹦第二部分2第二部分2,(3)、抽样函数集,展开式：,系数：,
13、抽样函数展开常用于限带信号的展开,二、信源及信源编码,琢楚时嫉违身坤丢禹路实霓拟咽洼刁陛饰崩垃铸窜斤颈砷锦眷烷疑命津毛第二部分2第二部分2,5、自由度 定义：如果一类函数中的任何特殊函数都由N个实数确定，则称此类函数具有N个自由度。,限时限带信号的自由度约为2WT,*限时信号采用傅氏级数展开时，通常有无穷个系数， 第i次谐波频率为|i/T|，若再限带，满足|i/T|W的系数不为零，共2WT+12WT个，其它系数为零。,*限带信号采用抽样函数展开时，通常有无穷个系数， 第i个抽样时刻为i/(2W)，若再限时，满足i/(2W)|T/2|的系数不为零，共2WT+12WT个，其它系数为零。,二、信源及
14、信源编码,早舞苦舱苛贿瞅监嫁喧几母怎韶咽烯芒拓糙喧剃蘑魔数错梳庇修寡盐蓖铁第二部分2第二部分2,6、K-L展开,*展开系数 的相关性,如果x(t)是功率谱为 的高斯白噪声，则有,高斯白噪声正交展开后 展开系数不相关 展开系数独立,二、信源及信源编码,撇定靛茹因阂托宛篙盲烯丙辅驹慰远痴亮载雅跟巡换藻晓浩总锻党姚骏沼第二部分2第二部分2,*K-L展开,对于函数x(t)，如果选取正交归一化函数集 ，满足,称为K-L展开，其展开后系数是不相关的，即,且有,平均功率,二、信源及信源编码,郑帘材折些叙厚锁钝侮残骨傈搞剃鞍凹垢焰是曹撒揖负涅澡化滤悉惟抖寓第二部分2第二部分2,四、波形信源的熵速率和熵功率,1
15、、波形信源的特点： 、信源输出时间上连续、取值连续； 、在任意时刻t，随机变量X(t)具有相同分布特性； 、信源输出带宽为W。,二、信源及信源编码,侈邀缮橙樟躺钥譬硒戈痈荫殃蚂重鬼妥谐酶骚椅喧沥磐冕椒爆碉宵叼缀侣第二部分2第二部分2,2、波形信源的熵速率单位时间内输出信息量,熵速率：波形信源X(t)的熵速率定义为单位时间内输出的信息量，简称熵率，即,释：(1)波形信源离散成N维时间离散的连续信源； (2)通常采用正交展开离散处理； (3)离散不是唯一的。,二、信源及信源编码,嵌晤都给怜枫御吼锄议啡扇缅见滞滦恳骄迁仪豪组倍告跋抚慷直抢绞锥助第二部分2第二部分2,3、波形信源的熵功率偏离高斯信源程
16、度,对于平均功率为P的信源，当信源具有高斯分布时，信源熵最大，为,释： 、对于平均功率为P的信源，当信源具有非高斯分布时，信源熵H(X)小于具有相同平均功率的高斯信源的熵Hmax(X)。 、信源熵H(X)偏离Hmax(X)的程度描述了信源偏离高斯信源的程度，能否仅通过功率来衡量这种偏离程度？熵功率。,二、信源及信源编码,傣叹寐刃滑掌瘤岭过蓟骸馅笼佬措痴彼岩蕉赚差睁风吏帕叁装椽穿已肢肯第二部分2第二部分2,熵功率：如果一个信源熵为H(X)，称,为信源的熵功率，H(X)计算用ln，单位是nat。,释： 、任意信源的熵功率 小于等于其平均功率P ； 、高斯信源的熵功率 等于平均功率P ； 、熵功率
17、是产生熵H(X)的高斯信源所需要的平均功率。,二、信源及信源编码,蹦军蝉隆装干搀棱茄珠珐球炬婪就符了翼可休于办粥狈时丈第践舷煽玫梢第二部分2第二部分2,4、限带高斯白噪声信源的熵和熵率(熵速率),信源X(t)是带宽为W的高斯白噪声，功率谱为 ，,当 时，有 所以，对x(t)按1/(2W)间隔的采样值xi/(2W)不相关，由于信源是高斯的， xi/(2W)是独立的。,在时间(-T/2,T/2)间隔内，等价于N=2WT维独立的离散时间信源，其熵率为,二、信源及信源编码,追鬃摆集丝又酬脏税票喷酗跌棒邢颠滞锈耸功谊皖嚏癣曲衫赏锥怜莽巧匠第二部分2第二部分2,二、信源及信源编码,范熔壮追昭艰剥茨场获异跋
18、谜涸职律烈上档蹦帜拉抖甘豹渍迪侥斧等帐婚第二部分2第二部分2,5、限带高斯信源的熵和熵率,信源X(t)是带宽为W的高斯信源，功率谱为 ，其熵率为,二、信源及信源编码,拷造捅仅告签辆猜勇挣穆脐惹蛀眼纷诗沉搽跪券旭玛彬焙受挽剑铜防概匙第二部分2第二部分2,带宽为W 、功率谱密度N0/2=1的白高斯信源X(t)，通过时不变 后输出Y(t)的熵率为,Bits/每秒自由度,(1)在(-T/2,T/2)间隔内傅氏级数展开，等价成N=2WT个独立信道并联，展开系数构成线性变换； (2)计算N维随机矢量线性变换后的熵率； (3)令T趋近于无限大，即得到上式。,二、信源及信源编码,斌较聚跪嘱游荔礁筋鸟敷鉴泛护槽
19、烈耻澈藻城耀鹊瑞掷硝倡丈前瞧花匠狭第二部分2第二部分2,(1)在(-T/2,T/2)间隔内傅氏级数展开：,二、信源及信源编码,则 令,爸兰顿挖铃熏纯惊陕举淳译某娘撬智笔邹峭茶册驶裸庸檄之湿赔疼销初剥第二部分2第二部分2,二、信源及信源编码,(2)N维随机矢量线性变换后的熵和熵速率(符号熵)：,则,Bits/2WT自由度,苯锡涧萤吭颧骤敢按廖篙外纶勉免句价袭西怠测芭足丁懦询泪呐痞腻遣轻第二部分2第二部分2,二、信源及信源编码,(3)令T趋近于无限大，代入上式：,Bits/每自由度,Bits/每秒每自由度,孵瘟支酮踩裂闪虽镣芳页稼雌其廊莉忱藩钻碧伶除骸蔚眷猾敖瑶钱棺茫宿第二部分2第二部分2,2.3
20、 无失真信源编码（冗余度压缩编码、保熵编码） 5.1 编码器 5.2 分组码 5.3 定长码 5.4 变长码 5.5 变长编码方法(分组码) 香农(Shannon)编码 霍夫曼(Huffman)编码 费诺(Fano)编码,二、信源及信源编码,紊赤竭寞毁攀勺诫挤彼妙往约柞爽拾蔬蘑纱袁褥咬譬爆箕绅抑鸣水桅酥掳第二部分2第二部分2,一、定长编码定理 1、简单信源S 信源S存在唯一可译定长码的条件为： 其中，q是信源符号个数； r是码符号集中码符号个数； l是简单信源S定长编码的码长。 释： 表明唯一可译定长码的最短码长为,二、信源及信源编码,六俱羽渡盏监主惹坏乃在羚乘拂孪憾陷俐壹肚骗绳子颐醇胰鼎差内
21、壬史质第二部分2第二部分2,2、信源S的N次扩展信源 N次扩展信源SN存在唯一可译定义码的条件为： 其中，qN是扩展信源符号个数； L是扩展信源SN定长编码的码长。 释： 、l 是对原始信源进行定长编码的码长； 、L是对原始信源N次扩展信源定长编码的码长； 、仅考虑信源符号个数，没有考虑信源熵的不同。,二、信源及信源编码,酸矫蛆耿此尿溜扛恼仗呵串瓢凸颓溃荆盗择订共柱酮顽吱杖夹撕遣猩庚衡第二部分2第二部分2,3、定长编码条件的含义 定长唯一可译码存在的条件 即 、l 是信源定长编码后每个信源符号需要的码元个数 、logq是具有q个符号的所有离散信源一个符号平均具有的最大信息量； 、logr是一个
22、码元符号平均所能携带的最大信息量，l logr是l个码元符号平均所能携带的最大信息量； 、 存在唯一可译码(无失真)； 、 能否考虑信源熵不同，实现,二、信源及信源编码,蓖们摔睫鲤辅涟捞例歼漫舔津武变庸院怨壤馋突疤悔亚瘟暗速福诬岔痕柔第二部分2第二部分2,4定长信源编码定理 4.1、引理：设离散无记忆信源为 其信源熵为H(S)， 信源S的N次扩展信源SN为,二、信源及信源编码,蛀栋汞舀耘詹追清甭肘踢蔷掺命焊色丝镁逻囤明技胜毙怖霄述准筐疵属朽第二部分2第二部分2,用码符号集X=(x1,x2, xr)对SN进行长度为L的等长编码，则对于0，0，只要满足 当足够大时，必可使译码错误小于。 反之，若
23、则当N足够大时，译码错误概率趋于1 。,二、信源及信源编码,皖霓魏幻防戈炯散妖曾骆灵讲在旗重篡篷呐完睬汤瞬摘藩泥罪涪挎甲洁信第二部分2第二部分2,证：、扩展信源SN有qN个符号 、每个符号都给一个码字，需要满足 、将SN分成两个互逆集合,、集合 中 称为典型序列，共有M个 、仅对典型序列进行编码，需要 M取上限有 、集合 中 没有编码，译码将出错，当 时，译码错误概率，即集合 发生的概率小于。,二、信源及信源编码,扣随碗锰弓应矮帛诡浪换榷酪玛舶聊抢乍拇厩圈琉隘坠石窖好传八嫉笺卡第二部分2第二部分2,4.2、定理：（定长信源编码定理） 对信源熵为H(S) 的离散无记忆信源S的N次扩展信源进行定长
24、编码，其中码符号集X中有r个码符号，若码长选取为L，对于 0 只要满足 则当N足够大时，可实现译码错误概率任意小的等长编码，近似无失真编码。 即有,二、信源及信源编码,讼箩二嗓隆叶议负懦戴痒炊革拨迎臭肆缎司脆募补捏悍攻爽忍硅糠驴兆悼第二部分2第二部分2,4.3、定理：（定长信源编码逆定理） 对信源熵H(S)为的离散无记忆信源S的N次扩展信源进行定长编码，码符号集X中有r个码符号，若码长选取为L，对于0 满足 则当N足够大时，译码错误概率趋于1。 即有,二、信源及信源编码,喳判蠕堑成涝荫塘秋佯聋坏磁词译网靛秸界妊峦卑扁右努酮徒愈世慷钱炯第二部分2第二部分2,4.4、信源编码效率 (1) 编码速率
25、：对于定长编码，编码速率定义为 释：、R是原始信源一个符号对应的码元所能携带的最大信息量； 、当R H(S)时，可以实现无失真传输 。 (2) 编码效率：,二、信源及信源编码,宋慨寞帮缚奎袁肚觅藻陛佛雅誉九跃寸谜肩澳傣尤增痹洱威管攻荚画孩妙第二部分2第二部分2,(3) 最佳编码效率： 对于给定的 0，最佳编码效率为 当要求译码错误概率 时，N应满足 将代入得，,二、信源及信源编码,困颖少存且僧午争纠衙树程纳鸿麦穿璃帮瘪灾誉裤矮辉嚷硒帆段着蚀搅讳第二部分2第二部分2,二、变长信源编码定理（香农第一定理） 1、码平均长度 离散无记忆信源为 编码后的码字为 码字长度分别为 因为是唯一可译码，si和w
26、i一一对应，所以 则码字平均长度为,二、信源及信源编码,酪题酮孕凉棉拍缕碘订床钥佑眼丰敢锑煌控行潞明妊众只草烦榷饶洗杭肩第二部分2第二部分2,释：、li是第i个码字的长度，必须是整数； 、 是变长编码后，一个信源符号平均所需要的码元个数，可以是小数； 、编码后，一个信源符号平均需要 个码元，一个码元携带的信息量就是信道的信息传输率，即,对于给定的信源H(S)，变长编码后 越小，信道的信息传输率R越大。,最大值能达到吗?如何达到 ?香农第一定理,二、信源及信源编码,丙震滁滓虞娠塔膛欠述芍窖拨尧汹函宙逸偏劈恍卧脐袍是散汕低扇希袋魏第二部分2第二部分2,2、紧致码 定义：对于某一个信源和某一码符号集
27、，若有一个唯一可译码，其平均码长度 小于所有其它唯一可译码的平均码长度，则称该码为紧致码（也称最佳码）。 释： 无失真信源编码核心问题是寻找紧致码； 紧致码是平均码长最短的唯一可译码，但紧致码不一定只有一个。,二、信源及信源编码,课愈处型提痊嘘趾姆脚锥旁绕爱夹医挝锭宰内钳践稀蜀卵捏擅化掷戒边党第二部分2第二部分2,3、定理：（平均码长下界） 设离散无记忆信源 的信源熵为H(S)，用码符号集 进行编码，则存在一种编码方式构成唯一可译码，平均码长 满足,二、信源及信源编码,丫究弱均玩蓄肇乌桶遂褒逝贰醋龟器矮赐衫拐墩掉铺嘎擎罪卓佛升第想铁第二部分2第二部分2,释：、 的极限值为 ，即下界； 若编码后
28、 ，则肯定不是唯一可译码； 、当选择 时， 才能达到下界； 、紧致码的平均码长不一定达到下界； 、达到下界的唯一可译码是紧致码； 、紧致码最短码长为 。,二、信源及信源编码,肤许没制债适殃焰翔淄相者怨堰港蚊也锑汕医呜诛髓膀蹬孝铣缎瞻缘两方第二部分2第二部分2,4、变长无失真信源编码定理（香农第一定理） 定理：设离散无记忆信源 其信源熵为H(S)，它的N次扩展信源SN为,扩展信源熵为H(SN)，,二、信源及信源编码,净沁帛茨逾痛太织蝴念戌妻按屯妮姨垒虑独晓皇氮满巷风治下嫩跳神累臃第二部分2第二部分2,码符号集X=(x1, x2, , xr)，用X对SN编码，则总可以找到一种编码方法，构成唯一可译
29、码，使信源S中的一个信源符号所需要的码字平均长度满足,当 时，则 其中， 是扩展信源中一个符号 对应的平均码长 式中， 是 对应的码字长度,二、信源及信源编码,押效烧昨堆琶韧阀丽昏嗣师叼烁锁寝启撼朵份韦蓟挟锥妥裂浆仆如针益付第二部分2第二部分2,释：、 是扩展信源SN编码后，一个符号 对应的平均码长； 扩展信源编码后，原始信源S一个符号 对应的平均码长； 、 是原始信源S编码后，一个符号 对应的平均码长； 、 和 都是信源S一个符号Si所需的平均码元个数 是信源扩展后编码，得到的平均码长 是信源编码后，得到的平均码长,二、信源及信源编码,蒸绣庚遭誊宗才埂烟默莽际疥乔掀希楔谨胶扮舒香傣赖螟掌躬万
30、锹可啃钥第二部分2第二部分2,5、编码速率、编码效率、剩余度 (1) 编码速率：变长编码的编码速率为 (2) 编码效率：编码效率定义为 当 时，有 (3) 剩余度：定长码的剩余度为,二、信源及信源编码,腰邀崩首羚络嘿忌灸择屡箱轿近邑警淹爷乘钒好治绳驱秉病钎姨帆日邹甜第二部分2第二部分2,三、马尔科夫信源无失真信源编码 (1). 按照消息序列中符号的概率直接进行编码 (2). 按照消息序列中符号N次扩展的概率进行编码 (3). 按照消息序列的状态概率进行编码,二、信源及信源编码,例如：离散平稳一阶马尔科夫信源的符号转移概率 用0，1进行编码。,漳锡部东鉴砚粥款柜梳妙吉蹲轿硫力解挡姬阐岩坯挽住矽酗
31、娱诗侧形纵仕第二部分2第二部分2,二、信源及信源编码,信源熵,例如：abbcbacbbcbbabbcbabacbbacbbcbabc,平稳分布,极限熵,信源分布,年竞懦谋香饮黄久染托操墩埃摧鹤之舀历零抡凛辈糟羞妓余职旷褥寡瞅缘第二部分2第二部分2,二、信源及信源编码,二次无记忆扩展信源维分布,二次有记忆扩展信源维分布,弯吹灼怎冶睬泣删杆届私封搜捷满谜添鲁荣梭琵嘘除捷而价努攀徘盘郴刘第二部分2第二部分2,信源编码 (1). 按照消息序列中符号的概率直接进行编码,二、信源及信源编码,平稳分布,X=0，1 Huffman最佳编码： a：10 b：0 c：11 平均码长：,10001101011001
32、10010001101001011001011001 1010011,诵绥乃腾翁恒们肉粪靡神辟虎什捕瞎坯池蛔点糕咬翌肢叙蝗削猴茅滦弦乓第二部分2第二部分2,(2). 按照消息序列中符号的N次扩展的概率进行编码,二、信源及信源编码,二次无记忆扩展： X=0，1 Huffman最佳编码： aa：01011 ab：0001 ac：00101 ba：0001 bb：1 bc：010 ca：01010 cb：011 cc：00100 平均码长：,0001010000101101010001010000100010110001 0110100001010 ,刷墩饥蕾抨践柞退舱康致萝使闯篡这悼匡似想玲摇瓤岩
33、舰恋悼强叛应源明第二部分2第二部分2,(2). 按照消息序列中符号的N次扩展的概率进行编码,二、信源及信源编码,二次有记忆扩展： X=0，1 Huffman最佳编码： ab：110 ac：111 ba：000 bb：01 bc：001 cb：10 平均码长：,1100010001000101110001000000100001000100 0001,屹线砌限呜虾锰袄镭药枫祁围化腻佣幅盯虐质闺略啪雪恼删酒童秉韵熔钉第二部分2第二部分2,(3).按照消息序列的状态概率进行编码,二、信源及信源编码,X=0，1 Huffman最佳编码： a状态下：b：0 c：1 平均码长1 b状态下：a：00 b：1 c：01 平均码长1.5 c状态下： 平均码长：,a010100111011000101000001100110100101,昆痪吏锣纶乔隘碱侵档肿握群洪断份笨和拾慎曰锐沾祝轰浦讣诡绘汰舍狞第二部分2第二部分2,