《信源编码基本理论及其应用.doc》由会员分享，可在线阅读，更多相关《信源编码基本理论及其应用.doc（14页珍藏版）》请在三一文库上搜索。
1、本文首先先简单介绍了信源编码和数字通信系统中信源编码的相关作用及实际应用。然后引入信源编码理论的信源研究和其编码方式部分并进行整理分 析，基中涉及非均匀量化和哈夫曼编码的相关应用；应用部分主要是对以GMS系统为首的CELP、AMR、SMV等实例应用系统进行了概述。总体完成对信源 编码及其实际运用的主要性质特点的论述与分析总结。 所用内容主要引自信源编 码理论章节内容，具体主要涉及脉冲编码调制（PCM）和线性预测编码（LPC） 以及图像压缩编码等。关键词：信源编码；基本理论；实例应用摘要I一. 前言1二信源研究2.三信源编码方式及其相关应用23.1脉冲编码调制（PCM） 2.3.2离散无记忆信源
2、编码（DMS）53.3线性预测编码（LPC） 9四信源编码的实例应用 .9.4.1GSM 系统9.4.2变速率码激励线性预测编码（CELP） 104.3自适应多速率编码（AMR ） 1.04.4可选择模式语音编码（SMV） 114.5视频信源编码 H.264 11参考文献12信源编码基本理论及其应用、八、-一. 前言信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香 农在他1948年的著名论文通信的数学理论所定义的，它为信息论奠定了理 论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加 深入的探讨，使得信息论到现在形成了一套比较完整的理论体系。信息通过信道传输
3、到信宿的过程即为通信，通信中的基本问题是如何快速、 准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失 真或允许一定的失真条件下，如何提高信息传输速度；二是在信道受到干扰的情 况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链 路中的第一个环节，其基本目地就是压缩信源产生的冗余信息， 提高整个传输链 路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题， 根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源 编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性
4、和记忆性。 这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对 模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性 和传递性的信息完整性（质量）之间的一种折中手段。实际的信源虽然多种多样，但可归纳为图像、语音、文字、数据等。其中图 像、语音常表现为时间连续的随机波形， 可通过采样变换成随机的时间序列。 无 论那种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源输 出符号序列的统计特性，寻找合适的方法把信源输出符号序列变换为最短的码字 序列。信源编码的基本途径有两个，一是编
5、码后使序列中的各个符号之间尽可能 地互相独立，即解除相关性；二是使编码后各个富豪出现的概率尽可能相等，即均匀化分布。目前去除信源符号之间冗余度的有效方法包括预测编码和变化编 码，去除信源符号概率分布冗余度的主要方法是统计码。 上述方法已经相当成熟，在实际中得到了广泛应用，并被有关压缩编码的国际标准所采用二. 信源研究信息论的创始人香农将信源输出的平均信息量定义为单消息(符号)离散信 源的信息熵：lH(x)=7 p(Xi)log2 p(Xj)i 二香农称信源输出的一个符号所含的平均信息量H (x)为信源的信息熵。通信原理中对信源研究的内容包括 3个方面：(1) 信源的建模信源输出信号的数学描述已
6、有成熟的理论一一随机过程，一般的随机过程理论并不涉及和讨论信号中所携带的信息，而通信原理所关心的中心内容则是信号 中携带的信息。发射器发送1和发送0的概率是不相等的，因此需要讨论发送 1 和发送0的不同概率。(2) 信源输出信号中携带信息的效率的计算：在通信原理中，信源输出信号所携带信息的效率是用熵率或冗余度来表示的。(3) 信源输出信息的有效表示一般地，信源输出信号中携带信息的效率并不很高， 如何用适当的信号有效 地表示信源输出的信息是人们感兴趣的问题，这就是信源编码的问题。三. 信源编码方式及其相关应用信源编码的方式概括为：一、模数转化：脉冲编码调制和增量编码调制PCM/DM二、离散无记忆
7、信源编码 DMS包括有Huffman编码和等长编码三、线性预测编码LPC将信源等效地视为在一个适当输入信号激励下的线性系 统输出。用线性系统的参数及伴随的输入激励信号进行编码。3.1脉冲编码调制(PCM)3.1.1抽样定理低通信号的抽样定理Nyquist抽样定理(均匀采样定理)：一个带限于(0,fm) Hz内的连续时间信号f(t)，如果以Ts< 1/2fm秒的时间间隔进行抽样，贝U f(t)将由得到的抽样值f(kTt)完全确定Ts 二(1) Nyquist 抽样速率：fs(2) Nyquist最大时间间隔:(3) 低通信号的抽样示意图：-WHO 他ff3.1.2量化(1) 均匀量化在整个
8、输入信号的幅度范围内各量化分级间隔相等的量化方式即为均匀量 化。其原理图为：两种均匀最化特性在满足信噪比要求的输入信号取值范围内进行均匀量化时，信号动态范围将受到较大的限制。因此均匀量化的缺陷十分明显。（2）非均匀量化为克服均匀量化的缺点，使小信号的量化台阶减小，大信号的量化台阶增大, 而形成的量化方式为非均匀量化。即根据信号的不同区间确定间隔。 方法：压扩处理，在发送端进行压缩，在接收端进行扩张 非均匀量化框图:发端收端非均匀量化（3）优点 有非均匀的概率密度时，非均匀量化器的输出端能得到较高平均信噪比； 非均匀量化时，量化噪声功率的均方根值基本与信号抽样值成正比，从而 改善了小信号的信噪比
9、；可以做到在不增大量化级数 N的条件下，使信号在较宽 的动态范围内的（S/Nq）dB达到指标的要求。3.1.3非均匀量化的生活中应用：A律13折线压扩技术（我国现在使用）目前应用较多的是以数字电路方式实现的A律特性折线近似。具体实现： 对x轴在01（归一化）范围内以1/2递减规律分成8个不均匀段，其分段点 是 1/2，1/4，1/8，1/16，1/32，1/64 和 1/128 ; 对y轴在01（归一化）范围内以均匀分段方式分成8个均匀段，其分段点是 1/8，2/8，3/8，4/8，5/8，6/8，7/8 和 1。 将x轴和y轴对应的分段线在x-y平面上的相交点相连接的折线就是有 8个线 段的
10、折线。L28(4) DM增量编码调制DM :把过去的信号样值作为预测值的单纯预测编码的方式。 40年代提出的, 是脉冲编码的一种特殊形式，是模拟信号数字化的另一种基本方法。 它的编码设 备比较简单。3.2离散无记忆信源编码(DMS)在DMS®码中，我们给每个符号赋予一定长度的代码表示。因此假设，信源 的输出来自一个由有限个符号组成的集合，p(xj表示符号出现的概率，贝 调整平均数据速率。LH(x) = -送 p(xjlog2 p(xJGog2Li =1由此可以看出，在赋予一定长度的代码时，每个符号的二进制代码平均长度最短 不应小于信源的熵。我们对信源编码的要求是：不仅要使传递编码序列
11、的信息速率尽量变小，还要从该编码序列能无失真的恢复出源信号的输出符号即能正确的进行反变换或 者译码，称此信源编码为无失真离散信源编码。3.2.1等长编码(1)信源编码原理图为：輸入信源编码输出等长编码又称为均匀编码，即不管符号出现的概率如何，每个符号都用N位二进 制代码表示。码长为：N = log2 L或 log2 L1编码效率为：= H (x)只它表示信源的平均每个符号的信息熵H(x)与信源平均每个符号的编码长度R之比值。若信源编码器用不同长度的符号来表示信源的输出符号，则称为变长编码。变长编码的思路是根据信源输出符号出现概率的不同来选择码字，出现概率大的用短码表示，出现概率小的用长码，使平
12、均编码长度K最短，因而可提高编码效 率。变长编码可以无失真编码，无差错编码。使用变长编码可以达到相当高的编 码效率。一般，变长码所要求的信源消息序列长度L比等长编码的小得多。(2)其特点是： 当L为2的整数次幕且等概出现时，编码效率为 100% 当符号等概出现，但L不是2的整数次幕时，编码效率下降，符号平均信息量 与码长N之间最多可相差1比特； L较小时，编码效率较低，因此，可以采用扩展编码的方法，即将连续J个符号进行统一编码，贝N _ Jlog2 L 取整 N 二 J log2 L 1N1即： Nj = _|og 2 L j-JJ也就是说，每个符号所增加的1比特下降到1/J比特，编码效率增加
13、。3.2.2哈夫曼编码在信源编码的变长编码中哈夫曼编码(Huffma n)是无前缀的变长编码，它 没有一个码字是其他码字的前缀，以确保唯一可以码。它能够提供信源熵的编码 序列，其编码效率高，且能无失真的编译码。(1)哈夫曼编码步骤：将信源消息符号按其出现的概率大小依次排列Pl > P2 > ?> P 取两个概率最小的字母分别配以 0和1两个码元，并将这两个概率相加作为一个新的字母的概率，与未分配的二进制符号的字母重新排队。 对重排后的两个概率最小符号重复步骤(2)的过程。 不断继续上述过程，直到最后两个符号配以0和1为止 从最后一级开始，向前返回得到各个信源符号所对应的码元序
14、列，即 相应的码字。平均编码效率:(2)哈夫曼编码的主要特点:哈夫曼编码构造的码字不唯一;哈夫曼编码是变长编码，硬件实现比较困难; 采用哈夫曼编码，要传送编码表，占用传送时间; 哈夫曼编码是变长编码，出错时难以识别；哈夫曼编码方法不唯一，因为编码时的0和1是任意给的，另外在两个符号 有相同概率时的编码过程不唯一，造成编码结果不同，但平均码长相同。其次： 对信源进行缩减时两个概率最小的符号合并后的概率与其他信源符号的概率相 同时，这两者在缩减信源中进行概率排序， 其位置放置次序是可以任意的，故会 得到不同的哈夫曼码此时将影响码字的长度， 一般将合并的概率放在上面，这样 可以获得较小的码方差。对于
15、多进制哈夫曼编码，为了提高编码效率，就要使长码的符号数量尽量少、概率尽量小，所以信源符号数最好满足r -1 n r ,其中r为进制数，n为缩减的次数。例如，要进行三进制编码，那么最好信源有 7个符号，第1次合并后 减少2个成为5个，第2次合并后又减少2个成为3个，这样给每一步赋予三进 制符号就没有浪费了。但如果信源只有6个符号时，为了尽量减少最长码的数量， 则应该在第1次合并时添置概率为零的虚拟符号1个，事实上只合并2个概率最 小的符号，后面每次合并三个，就可以使得最长码的符号数量最少， 也就是长码 的概率最小，从而得到最高的编码效率。3.2.3哈夫曼编码的应用哈夫曼编码现已广泛应用于各类图像
16、编码中， 然而应用最早、最为有效的则 是在传真编码中。在传真编码中应用的是游程编码，它是一类基于哈夫曼编码的 推广。哈夫曼编码被称为最优的变长信源编码，但是这一最佳性能是建立在稳定、 确知的概率统计特性的基础上，一旦统计特性不稳定或发生变化或不完全确知， 变长编码将失去统计匹配的前提，其性能必然引起恶化，实际信源往往不可能提 供很稳定、确知的概率特性，因此人们开始研究比较稳健、 适应性比较强的准最 佳信源编码。而且哈夫曼编码仍然存在一些分组码所具有的缺点。例如概率特性 必须得到精确地测定，它若略有变化，还需要换码表，以及对于二元信源，常需 要多个符号合起来编码，才能取得好的效果，但当合并的符号
17、数不大时，编码效 率提高不多，尤其对于相关信源，不能令人满意，而合并的符号数增大时，码表 中的码字数很多，设备将越来越复杂。当容量设定后，随着时间的增长，存储器溢出和取空的的概率都将增。当T很大时，几乎一定会溢出或损失；由此可见，对于无线长的信息，很难采用变长 码而不出现错误。一般来说，变长码只适用于有限码的传输；即送出一段信息后， 信源就停止输出，例如传真机送出一张纸上的信息后停止。 对于长信息在实际使 用时可把长信息分段送出，也可通过检测存储器的状态调节信源输出即发现存储 器将要溢出就停止信源输出；发现存储器将要被取空就在信道上插上空闲标志， 或加快信源输出。变长码可以无失真的译码，这是理
18、想情况。如果这种变长码是由信道输入的， 一个码子前面有一个码元错了，就可能误认为是另一个码字而断点， 结果后面一 系列的码字也会译错，这常称为差错的扩散。当然也可以采用某些措施，使码元 错了一段以后，能恢复正常的码字分离和译码，这一般要求在传输过程中差错很 少，或者加纠错用的监督码位，但是这样一来又增加了信息率。此外，当信源有记忆时，用单个符号编码不可能是编码效率接近于1,因此信息率只能接近一维熵H1,而H 定小于H1。此时仍需要多个符号一起编码， 才能提高编码效率。但导致码表长，存储器多。3.3线性预测编码（LPC ）预测编码：根据过去的信号样值预测下一个样值，并仅把预测值与当前样值 之差（
19、预测误差）加以量化编码再传输的方式。331基本思想用一个阶梯波逼近模拟信号，只用一位二进制编码表示抽样时刻波形的变化 趋向。3.3.2基本原理首先根据信号的幅度大小和抽样频率（注意抽样频率大于等于2fm）去规定 阶梯信号的台阶，在抽样时刻ti把信号f（ti）与前一时刻的阶梯波形值进行 比较，确定该时刻的输出码字。经过预测编码就可以解除信源的相关性，然后对信源进行编码就不再是记忆的了。四. 信源编码的实例应用在移动通信中，信源编码与有线通信不同，它不仅需要对信息传输有效性进 行保障，还应该与其他一些系统指标密切相关，例如容量、覆盖和质量。4.1GSM系统以GSM系统为例。GSM系统中普通的全速率
20、和版速率话音编码来说，其速率 分别为9.6kbps和4.8kbps，前者的话音质量好于后者，但占用的系统资源是后 者的两倍左右。当系统的覆盖不是限制因素时，使用半速率编码可以牺牲质量换 取倍增的容量，即提高系统的有效性。而当系统的容量相对固定时，可以通过使 用半速率编码牺牲质量换取覆盖的增加，因为半速率编码对于接收信号质量的要 求降低了。除此之外，移动通信中的信源编码的设计和实现还要考虑其他一些因素。由于移动终端是由电池供电，其运算处理能力悠闲，因此信源编码就要在保证质量 的前提下尽可能地降低复杂度。另外考虑到信宿处理能力的差异，编码后的数据 流量应该也包含不同质量的信息，以适应不同终端的需求
21、。考虑到移动通信信道 的差错特性和一些话音、多媒体业务的实时性，这类业务通常要求移动通信中的 信源编码能够容忍一定的差错而无需复杂的传播。2G/3G中的话音信源编码的基本原理是相同的，都采用了矢量量化和参数编码的方式。4.2变速率码激励线性预测编码（ CELP）IS-95 中的CELP技术通过四个等级的变速率编码实现话音激活，即使用者 发声时进行全速率（9.6kbps ）编码，而不发声时仅仅传递八分之一（1.2kbps） 的背景噪声，以降低功耗和对其他用户的干扰。4.3自适应多速率编码（AMR）数字蜂窝系统自适应多码率语音传输解编码器（Adaptive MultiRate SpeechCode
22、c:AMR是欧洲电信标准化协会（ETSI）下属的SMG11（Special MobileGroup11）制定的语音编解码标准，提供了一种自适应的解决方法来跟踪快速变 化的无线信道情况和本地流量情况。AM编码器实时根据信道类型（全速率或半速率）选择多种码率中的一种，从而达到语音编码和信道编码的最优组合以满足 瞬时的无线信道条件和本地容量需求。AM提供了从4.75kbits/s到12.2kbits/s 的多种码率选择。AM凭借其优异的性能成为UMT和ITU第三代系统的语音编码方ARM!音编码器的原理：AR编码器由多个固定速率的语音编码器、信源控制 器的速率方式、能够有效克服传输错误和丢包的错误对消
23、器组成。多速率的语音 编码器是一种单个集成的，它有8个固定的信源速率模式，从4.75kbps到12.2kbps,此编码器能够根据命令在每20M语音帧中改变它的速率.语音仍然是 第三代移动通信系统中最重要的业务之一，问题在于：如何在优化频谱资源的同 时增强灵活性和语音质量，尤其是在用户密集的区域。一个好的解决方案必须能 够在无噪信道条件下提供最好的质量，而且能够在干扰严重的信道条件下保持较 好的质量。WCDMA用的自适应多速率（AMR语音编解码器，能够根据通信信道 的改变而动态地在信源编码和信道编码之间调整比特分配。4.4可选择模式语音编码（SMV ）SMV于CDMA2O0演进系统中，其基本原理
24、与前述两种基本相同，它也是可 变速率的，从速率等级上看与IS-95中的CEL一样，有9.6kbps、4.8kbps、2.4kbps、 1.2kbps四种，不同的是SM允许有四种模式供系统侧选择，即 MODE0高品质模 式）、MODE1标准模式）、MODE（经济模式）、MODE3容量节省模式），不同的 模式实现不同程度的话音质量和平均速率的折中，通过调整不同等级速率所占的比例实现不同的模式，从而调整平均数据速率。4.5视频信源编码H.264在3GPP的R6、R7以及3GPP2的高演进版本中，视频通信业务采用了 H.264/AVC（高级视频编码）视频压缩标准。H.264从某种程度上看是 MPE啲扩
25、 展，在H.264中，一幅图像可编码成一个或者若干个片（slice，此处与帧的含 义相同），每个slice 包含整数个MB（macro block），相当于一个完整图像中的 不同区域，编码片（slice ）共有5种不同的类型，包括I片、B片、P片、SP 片、SI介于I与P之间，但考虑了更多数据片之间的相关性，进一步压缩了数 据速率。NAL的工作模式分为SSM（孤立片模式）和DPM（数据分区模式），在SSM模 式中，属于同一数据片的所有编码信息在一个RTP数据包中通过网络进行传输、在DPM中,每个slice找那个的MB间彼此联系，利用相邻MB存在空间相关性来 进行帧内预测编码。将图像数据分成动态
26、矢量数据以及剩余的信息。每个数据片的编码视频信息首先被分割成三部分并分别放到A、B、C数据分区中，每个数据分区中包含的信息被分割封装到相应的 RTP数据包中通过网络进行传输。其中， part A中包含最重要的slice头信息，MB头条信息，以及动态矢量信息；part B 中包含帧内和SI片宏块的编码残差数据，能够阻止误码继续传播；part C中包含帧间宏块的编码残差数据，帧编码数据模块的编码方式信息和帧间变换系统。信源编码的主要应用就是在移动通信系统中的使用。 实现了模拟信号的数字 化传输即完成A/D变换，提高信号传输的有效性。即在保证一定传输质量的情况 下，用尽可能少的数字脉冲来表示信源产生的信息。参考文献:1 李白萍现代通信理论西安：西安电子科技大学出版社，2006, 53-632 张辉 曹丽娜通信原理北京：科学出版社，2007, 79-803 常青.数字图像处理教程.上海：华东理工出版社，2009, 14-224 徐长梅.Huffman编码的一种实现方法.1997 李亦农.信息论理论基础.北京邮电大学出版社.2005 周荫清.信息理论基础（第3版）.北京：北京航空航天大学出版社，2006,265-268