《第二部分1.ppt》由会员分享，可在线阅读，更多相关《第二部分1.ppt（23页珍藏版）》请在三一文库上搜索。
1、二、信源及信源编码,主要内容 2.1 离散信源（核心教材为主） 2.2 连续信源及离散化（随机变量、随机矢量、随机过程描述信源及其熵，连续信源正交展开） 2.3 无失真信源编码（马尔科夫信源编码方法及有效性） 2.4 限失真信源编码（核心教材为主）,二、信源及信源编码,2.1 离散信源 1、设计信源寻找熵最小的信源 3.1 信源的数学模型及其分类 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源 3.6 信源的相关性和剩余度,一、 简单离散无记忆信源 1、定义：设信源输出符号集合 ，每次信源输出一个消息符号，且消息符号之间彼此统计独立，称为简
2、单离散无记忆信源，可用一维随机变量X描述，其数学模型为,例如二元离散信源,二、信源及信源编码,2、简单离散无记忆信源的信息熵 、自信息量精描述 简单离散无记忆信源中，消息符号ai的自信息量为 、信息熵粗描述 简单离散无记忆信源的信息熵为,H(X) 是 p(x) 的函数； H(X) 是信源输出每个符号平均携带的信息量。,二、信源及信源编码,二、离散无记忆N次扩展信源 设X是一个离散无记忆信源，其概率空间为 其中，q 为信源符号个数，p(ai)0, i=1,2,q X的N次扩展信源XN是具有个qN消息符号的离散无记忆信源，其数学模型为,二、信源及信源编码,其中,说明：信源X的符号集合为 N次扩展信
3、源XN符号集合为,二、信源及信源编码,4、离散无记忆N次扩展信源的熵 离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即 其中，H(X)是原始信源X的熵； H(XN) 是原始信源X进行N次无记忆扩展后得到的信源XN的熵，扩展信源的每个符号使用了原始信源的N个符号。 结论：信源无记忆扩展后，熵不变。,二、信源及信源编码,三、N维平稳信源的熵 特性： 信源输出的随机序列是平稳的； 输出序列每N个符号一组； 组与组之间统计无关，组内符号相关； 符号X1XN取值同一符号集A=a1,a2, ,aq 概率空间,二、信源及信源编码, N维平稳信源的熵 联合熵 平均符号熵 ：信源输出为N长符号序列
4、，平均每个符号的熵定义为,二、信源及信源编码,极限熵（极限信息熵） 当信源符号序列长度趋于无穷时的平均符号熵 条件熵,二、信源及信源编码, N维平稳信源熵的性质 (1) 条件熵 随N的增加非递增； (2) (3) 平均符号熵 随N的增加非递增； (4) 极限熵 存在，且,对于平稳信源，极限熵是考虑了符号相关性的最小值,二、信源及信源编码,四、马尔科夫信源 1、状态空间： 如果信源输出符号集合为A=a1,a2,aq，输出当前符号的概率仅于已经输出的前m个符号有关，而与再前面的符号无关，则称这m个符号构成信源的状态Si，所有可能的状态集合S称为状态空间 m称为马尔科夫信源阶数。,二、信源及信源编码
5、,2、马尔可夫信源 满足下列条件的信源称为马尔可夫信源 信源输出仅与当时状态有关 信源状态由当时输出符号与前一时刻信源状态决定 其中，xl 表示输出符号变量，ul 表示状态变量。,二、信源及信源编码,m阶马尔可夫信源的状态空间为 其中，p(Si|Sj)由信源符号的条件概率 确定，,二、信源及信源编码,3、m阶马尔科夫信源熵H(X1X2XN) 通过影射X1X2Xm Sm+1 X2X3Xm+1 Sm+2 XN-m+1XN-m+2XN SN+1 将序列X1X2XN变成Sm+1Sm+2SN+1 *序列X1X2XN中Xi与前m个符号有关：m阶； *序列Sm+1Sm+2SN+1中Si与前面“符号”有关：一
6、阶； *序列X1X2XN与Sm+1Sm+2SN+1 熵一样。 所以有：H(X1X2XN) = H(Sm+1Sm+2SN+1) = H(Sm+1)+ H(Sm+2|Sm+1) +H(SN+1|SN),二、信源及信源编码,对于齐次马氏链 与时刻i无关，记作列向量H(常数)， 而且 所以,二、信源及信源编码,其中，H(i)是i时刻由一步转移矩阵每行元素的熵构成的列矢量。,若Sm+1处于稳态，即,符号熵为,二、信源及信源编码,极限熵为,二、信源及信源编码,4、马尔科夫信源的极限熵 当时间足够长时，遍历的m阶马尔可夫信源可视为平稳信源 其中，p(Sj)是平稳分布 H(X|Sj)是信源出于状态Sj 时的条件熵,二、信源及信源编码,例、二元二阶平稳马尔科夫信源的条件概率为 计算极限熵,二、信源及信源编码,解：状态空间为,一步状态转移概率矩阵为,二、信源及信源编码,平稳分布,二、信源及信源编码,平稳状态下符号熵,二、信源及信源编码,极限熵,