《[PPT制作技巧]信源编码.ppt》由会员分享，可在线阅读，更多相关《[PPT制作技巧]信源编码.ppt（34页珍藏版）》请在三一文库上搜索。
1、信源编码,,定义：信源的相对率（信息效率）为信源实际的信息熵与同样符号数的最大熵的比值； 信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。,信源编码和码的分类 1.编码的定义和基本概念 2.码的分类,码的分类：,定长码： 码中所有码字的长度都相同。,可变长度码： 码中码字的长度不相同。,码字与信源符号一一对应,奇异码： 码字与信源符号不能一一对应。,非奇异码：,唯一可译码：,任意有限长度的码元序列，只能被唯一地分割为一个个码字，则称为唯一可译码。 否则为非唯一可译码。,任何一个码字不是其它码字的延长或前缀,即时码与非即时码：,一个唯一可译码，在接收端收到一个完整码字后，
2、是否能立即译码。 能即时译码，为即时码。否则为非即时码。,即时码与码树：,即时码可用码树来构造。 构造方法的要点。,唯一可译码定理,定理：设信源S的符号集为S：s1,s2,sq，码符 号集X:a1,a2,ar，又设码字为W:w1,w2,wq 其码长分别为n1,n2,nq。则存在唯一可译码的充 分必要条件是：q，r，ni(i=1,2,q)满足克劳夫特（Kraft）不等式，即：,定长编码定理：,（1） 由L个符号组成，每个符号的熵为H(X)的无记忆平稳信源X1X2XL,可用K个符号Y1，Y2，,YK(每个符号有r种可能性）。,定长编码定理：,（2） 反之,对离散单符号信源，符号熵为H(X),对信源
3、进行r元变长编码，一定存在无失真的信源编码方法，,变长编码定理（1）：,对离散平稳无记忆信源，消息长度为L，平均符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法，,变长编码定理（2）：,平均信息率：,编码效率：,最佳编码效率：,香农编码 费诺编码 哈夫曼编码,编码方法：,编码方法的比较：,香农码、费诺码和哈夫曼码均基于信源的统计特性，编码原则均是：出现频率高的信源符号使用较短的码字。 香农码有系统的、唯一的编码方式。但编码效率不高。 费诺码和哈夫曼码的编码方式不唯一。 费诺码适合于分组概率相等或接近的信源。 哈夫曼码对统计特性没有特别要求，编码效率较高，编码方式简单，是一
4、种综合性能较好的编码方式。,思考题：,信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的好处与坏处，及其计算。 码的种类与分类判断； 编码方法和编码效率计算。,例：,设有一连续随机变量X， (1) 求其相对熵Hc(X) (2)求Y1XA(A0)的相对熵Hc(Y) (3)求Y2=2X的相对熵Hc(Y),将六进制信源进行二进制编码：,（1）这些码那些是唯一可译码？ （2） 哪些码是即时码（异前缀码）? （3） 所有唯一可译码的平均码长和编码效率。,解：(1) C1码是定长码，其中没有相同的码字，是非奇异码，所以是唯一可译码。 C2码是唯一可译码，但不是即时码。 C3码没有一个码字是其他码字的前缀，所一是唯一可译码，也是即时码。 C4 码流10010 可以译为s2s1s2,也可译为s5s1,所以不是唯一可译码。 C5 中 s5和s6的码字相同，所以是奇异码。 C6 中的码字“01”不是其他码的前缀，所以是异前缀码（即时码）。,所以 ，唯一可译码有：C1、 C2、 C3、 C6. 即时码有： C1、 C3、 C6. （3）：H（X）2 bits C1的平均码长为3，编码效率为2/3。 C2 和C3的平均码长为2.125 ，编码效率为0.941； C6的平均码长为2.5，编码效率为0.8 。,编码效率：,平均信息率：,