3.3离散平稳信源.pps

《3.3离散平稳信源.pps》由会员分享，可在线阅读，更多相关《3.3离散平稳信源.pps（43页珍藏版）》请在三一文库上搜索。

1、信息论与编码技术,电子信息工程专业 主讲：孙静 机械电子工程系,3.3 离散平稳信源,3.3.1 离散有记忆信源 实际情况中，离散信源输出的是在空间或时间的离散符号序列，而且在序列中符号之间有依赖关系。 让我们来看两个例子！,【引例1】,中文自然语言： 字符集A=所有汉字,标点符号 根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章 在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的 其他自然语言都一样，如英文、德文等,【引例2】,离散化平面灰度图像： 从XY平面空间上看，每幅画面是一系列空间离散的灰度值符号(像素点) 空间每一点的符号取

2、值是随机的 可以形成不同的图像信息,【分析】,这类信源具有如下特点： 信源输出的消息是按一定概率选取的符号序列可用随机矢量或随机变量序列来描述这类消息 输出序列的符号之间存在或强或弱的相关性有记忆信源研究信源的多维联合概率分布和条件概率分布,3.3.1 离散有记忆信源,离散有记忆信源是指发出的各个符号之间具有统计关联关系的一类信源。 【研究对象】在一般情况下，信源的前后消息之间有前后依赖关系，可以用随机矢量描述： X=X1X2XN 其中，任一Xi都是离散随机变量，它表示 t=i 时刻所输出的符号。,3.3.1 离散有记忆信源,信源在 t =i 时刻将要输出的符号取决于两个方面： 与信源在 t=

3、i 时刻随机变量Xi 取值的概率分布p(xi) 有关 一般t不同，p(xi) p(xj) 与t =i 时刻以前信源输出的符号有关 与条件概率p(xi|xi-1 xi-2)有关 一般情况下， p(xi|xi-1 xi-2) p(xj|xj-1 xj-2),一般来说，离散信源输出序列的统计特性可能会随时间而变化，在不同时刻，其输出序列的概率分布可能不同。,3.3.2 离散平稳信源,【问题】有时离散信源其消息出现的概率，与消息出现的时间无关，即为平稳信源。 【平稳随机序列的特点】 对于平稳随机序列，其序列的统计性质与时间的推移无关，即信源发出符号序列的概率分布与时间起点无关。,一、离散平稳信源的定义

4、,若当t = i，t = j时（i,j为任意整数且ij），p(xi)=p(xj)，则序列是一维平稳的。具有这样性质的信源称为一维平稳信源。 除上述条件外，如果联合概率分布p(xixi+1)也与时间起点无关，即p(xixi+1)=p(xjxj+1) （i,j为任意整数且ij），则信源称为二维平稳信源。 它表示任何时刻信源发出二个符号的联合概率分布也完全相等。,【注意】,平稳信源并非都是有记忆信源。 只要满足完全平稳性的信源都是平稳信源。 如果信源发出的符号之间有依赖关系，则为离散有记忆平稳信源；如果没有，就是离散无记忆平稳信源。 【注意】本节重点讨论的为离散平稳有记忆信源。,一、离散平稳信源的定

5、义,【数学定义】如果各维联合概率分布均与时间起点无关，那么，信源是完全平稳的，并称这种信源为离散平稳信源。这时有： p(xi)=p(xj) p(xixi+1)=p(xjxj+1) p(xixi+1xi+N)=p(xjxj+1xj+N),完全 平稳性,二、离散平稳信源的特点,【分析】 由于联合概率与条件概率有以下关系： p(xixi+1)=p(xi)p(xi+1|xi) p(xixi+1xi+2)=p(xi)p(xi+1|xi)p(xi+2|xixi+1) p(xixi+1xi+N)=p(xi)p(xi+1|xi) p(xi+N|xixi+1xi+N-1),二、离散平稳信源的特点,根据完全平稳性

6、可得： p(xi)p(xi+1|xi)=p(xj)p(xj+1|xj) p(xi+2|xixi+1)= p(xj+2|xjxj+1) p(xi+N|xixi+1xi+N-1)=p(xj+N|xjxj+1xj+N-1),二、离散平稳信源的特点,【结论】 对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。 它表示平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。,二、离散平稳信源的特点,【结论】 如果某时刻发出符号与以前发出的N个符号有关，那么任何时刻它们的依赖关系都是一样的。 p(xi+N|xixi+1xi+N-1)=p(xj+N|xjxj+1xj+N-1) =p(xN|x

7、0x1xN-1),3.3.3 二维离散平稳信源的熵,最简单的平稳信源就是二维平稳信源。它满足一维和二维概率分布与时间起点无关。 【研究二维系统的现实意义】 能表达通信系统发送和接收的关系； 也能表达存储系统的存取关系； 还能向多维系统推广。,3.3.2 二维离散平稳信源的熵,【约束条件】 二维平稳信源中由于只有两个符号有关联，且其关联与时间无关。将信源输出的随机序列分成每两个符号一组（因为相邻的两个符号才有关联），每组构成新信源的一个符号，并假设组与组之间统计无关（实际上，组尾的符号与下一组组头的符号是有关的）。,3.3.2 二维离散平稳信源的熵,【二维平稳信源的数学模型】 设离散一维信源X的

8、概率空间为 且满足,3.3.2 二维离散平稳信源的熵,同时已知连续两个信源符号出现的联合概率分布为p(aiaj) (i, j = 1,2,q) ，且：,3.3.2 二维离散平稳信源的熵,将X等效成一个新的信源X=X1X2，则新的信源空间即为它们的联合概率空间： 且：,3.3.2 二维离散平稳信源的熵,根据信息熵的定义，得： 将H(X1X2)称为二维离散平稳信源X的联合熵。,3.3.2 离散二维平稳信源的熵,【物理意义】 设H(X1X2) 表示原来信源X输出任意一对消息的联合熵，即描述信源X输出长度为2的序列的平均不确定性。,3.3.2 离散二维平稳信源的熵,求信源X的信息熵的近似值 换个角度，

9、进行分析： H(X)= H(X1X2) =H(X1)+H(X2|X1) H(XY) =H(X)+H(Y|X) 熵的强可加性 *【特殊性质】条件熵不大于无条件熵 有 H(X2|X1)H(X2) = H(X),3.3.2 离散二维平稳信源的熵,因此 H(X)= H(X1X2) =H(X1)+H(X2|X1) H(X1)+H(X2) = 2H(X) 当且仅当X1、X2统计独立时，等号才成立。可见，二维离散平稳有记忆信源X=X1X2的信息熵不会超过二维离散平稳无记忆信源的二次扩展信源X2=X1X2的信息熵。,【原因】 二维离散平稳信源X=X1X2的“有记忆”特性使得X1和X2之间存在统计依赖关系，前一

10、个符号发生以后，后一个符号到底是什么虽然是不确定的。但是第一个符号的发生已经提供了第二个符号的部分相关信息，其不确定性与无记忆信源X2=X1X2相比有所下降。,3.3.2 离散二维平稳信源的熵,【例3.4】,某一离散二维平稳信源 其发出的符号只与前一个符号有关，即可用联合概率p(aiaj)给出它们的关联程度。,【例3.4】,联合概率p(aiaj)如下表所示: 求：信源的熵H(X)、条件熵H(X2|X1)和联合熵H(X1X2) 。,【例3.4】,解：根据概率关系 可计算得条件概率p(aj|ai)，计算结果列表如下：,ai,【例3.4】,则,H(X2|X1)H(X),H(X1X2)=H(X1)+H

11、(X2|X1),【例3.4】,【进一步分析】 此时，每个信源符号提供的平均信息量为： H2(X1X2)=H(X1X2)/2=1.205 bit,【例3.4】,【结论】 虽然信源X发出的随机序列中每个符号只与前一个有直接关联，但在平稳序列中，由于每一时刻的符号都通过前一个符号与更前一个符号联系起来，因此，序列的关联是可引伸到无穷的。,【思考】,可以用两种方法去近似二维平稳信源的实际熵： 利用H(X1X2)/2=1.205 bit来近似。 这种方法不太准确。因为它把两个消息看成一组，认为两组之间是统计独立的，实际上它们之间是有关联的。,【思考】,利用条件熵H(X2|X1)来近似，为0.87bit。

12、,【问题】到底选取哪一个值更能接近实际二维平稳信源的熵？ 【解决方法】通过对一般离散平稳信源的分析来解决这个问题。,3.3.3 一般离散平稳信源的平均符号熵,求N维离散平稳信源熵的假设条件 离散平稳有记忆信源X发出的符号序列为X1X2XNXN+1 信源符号之间的关联长度为N,N维离散平稳信源的信源熵 H(X)=H(X1X2XN) =H(X1)+H(X2|X1)+H(XN|X1X2XN-1) 理论依据：熵函数的链规则 该式表明，N维离散平稳信源X=X1X2XN的信息熵等于起始时刻随机变量X1的熵与各阶条件熵之和。,3.3.3 一般离散平稳信源的平均符号熵,N维离散平稳信源的平均符号熵 【定义】N

13、长的信源符号序列中平均每个信源符号所携带的信息量称为平均符号熵，可表示为：,3.3.3 一般离散平稳信源的平均符号熵,【说明】 对于离散平稳有记忆信源X来说，因为有记忆，所以在不同时刻所发符号提供的平均信息量不同。 平均符号熵HN(X)是评估N维离散平稳有记忆信源X=X1X2XN （特别是N时）每发一个信源符号提供的平均信息量，也就是提供信息能力的一个衡量标准。,3.3.3 一般离散平稳信源的平均符号熵,3.3.4 一般离散平稳信源的极限熵,【重要性质】对于一般离散平稳信源，当H1(X)时，有以下几个结论： 条件熵H(XN|X1X2XN-1)随N的增加是递减的。 H(XN|X1X2XN-1)H

14、(XN-1|X1X2XN-2) H(X2|X1)H(X1) 强条件熵不大于弱条件熵,3.3.4 一般离散平稳信源的极限熵,N给定时，平均符号熵条件熵。 HN(X)H(XN|X1X2XN-1) 平均符号熵HN(X)随N增加是递减的。 HN(X)HN-1(X) 【证明】见板书。,若 称H为平稳信源的极限熵，也称为极限信息量，或平稳信源的熵率。 【证明】见自学材料。,3.3.4 一般离散平稳信源的极限熵,【性质4含义】当依赖关系趋于无穷时，平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵。 【说明】对于一般平稳信源，求 H相当困难。但N不很大时有：H HN(X) 或 H H(XN|X1X2XN-1)。因此可以用条件熵和平均符号熵来近似极限熵。,3.3.4 一般离散平稳信源的极限熵,【特例】对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵。,3.3.4 一般离散平稳信源的极限熵,3.3 作业,P70 3.7 【提示】该信源为离散无记忆平稳信源。,