关于Shannon信息论的几点讨论信息论与通信的几个基.ppt

《关于Shannon信息论的几点讨论信息论与通信的几个基.ppt》由会员分享，可在线阅读，更多相关《关于Shannon信息论的几点讨论信息论与通信的几个基.ppt（88页珍藏版）》请在三一文库上搜索。

1、1,关于Shannon信息论的 几点讨论（一） 信息论与通信的几个基本问题,西安电子科技大学 ISN国家重点实验室 报告人：王育民 Tel: 8201016 E-mail: 2004年12月,2,目 录 一、 Shannon信息论的划时代意义 二、Shannon信息论的几个基本概念 三、关于Shannon通信系统模型的合理性和局限性 四、信息的广义性 五、Shannon信息论在研究方法上的启示 参考文献,3,Shannon信息论的几个基本问题,一、 Shannon信息论的划时代意义 众所周知，信息是构成任何系统的三大要素之，另外两个要素是物质和能量。信息虽然是无形的和抽象的，但它是系统的灵魂

2、。 1948年C. E. Shannon发表了他的划时代文章，即通信的数学理论，宣告了一门崭新的学科信息论的诞生。 文章给出了可以概括一切通信系统的数学模型，如图1所示；用概率统计数学工具描述了模型中各组成部分：信源、信道、信宿、干扰源、编码器和译码器；给出了信息量的定义，使人们可以定量地研究信息的传输、处理和存储。,4,Shannon信息论的几个基本问题,信 源 编码器 信 道 译码器 信 宿 干扰源 图 1 通信系统,Shannon信息论不仅建立了信源和信道编码定理，给出了有效性的极限，而且为人们明确地指出了实现有效而可靠通信的必由之路是数字化和编码。这是通信技术领域革命的数学或理论基础，

3、而半导体和计算机技术则是这一革命的物理或物质基础。值得指出的是，信息论和晶体管都同时诞生在Bell电话实验室。,5,Shannon信息论的几个基本问题,Shannon所给出的编码定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。经过无数科技工作者50年来的努力奋斗，不仅在数学上已严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。现在已可实现几乎无差错地经由Gaussian信道传信，其传信率可达信道容量的80%（A. J. Viterbi, 1998），对于非白Gau

4、ssian信道，Shannon的注水定理和多载波调制（MCM）技术也可接近于理论限实现的有效和可靠通信。这在当代CDMA、CM(COFDM)、TCM、BCM、Turbo码、LDPC(Low Density Parity Codes)、空时编码、各种均衡技术、对消技术、以及信息存储编码调制技术中都充分体现了Shannon定理的作用。,6,Shannon信息论的几个基本问题,当今，人们不仅在理论发展了Shannon信息论，而且在实际上逐步实现了某些信道下的Shannon理论所指出的理想传信。信息论这一抽象而完美的理论，在几十年后会有如此巨大丰富的技术成果，实在令人惊叹！ 信息论对实际通信系统的设计

5、已产生了深刻的影响，通信工程师在信息论方面的基础对他们事业的发展有重要的作用。 自1948年已来，已过了半个多世纪。IEEE的信息论学会曾在1973发表了系列文章，纪念信息论诞生25周年，出版了Shannon著作集，在1998又举行了一系列纪念活动，纪念信息论诞生50周年，并出版了专集。伟大的学者Shannon也已于2001年2月24日在纽约谢世。,7,Shannon信息论的几个基本问题,五十年后的今天，通信、计算机和半导体技术的发展已将人类社会推进到一个崭新的信息时代。信息在现代社会中的作用愈来愈大，社会对信息的需求愈来愈大。通信、广播、影视、出版等正在从模拟到数字，从单一媒体到多媒体，从人

6、工、机械化到智能化、从局部联网到全球通信网。 七、八十年代完成了通信与计算机的结合（C & C）。Internet的出现，为人类交换信息，促进科学、技术、文化、教育、生产的发展，提高现代人的生活质量提供了极大的便利，大大加速了人类信息化社会的进程。再加上九十年代又开始了通信、计算机和消费电子（3C Communications, Computer, Consumer electronics）的三结合。,8,Shannon信息论的几个基本问题,信息高速公路或全球信息基础设施（GII）的提出和建设，构成了人类生存的信息环境，即信息空间(Cyberspace)。这个虚拟空间的形成和发展将人类社会推进

7、到一个新的发展阶段，即信息化社会阶段。为人们提供了更方便、更舒适的工作和生活环境，它对人类社会的发展将产生巨大的影响。 信息化社会导致经济全球化和知识化。互联网已成为社会资源重新分配的根本工具。 信息化社会导致第三次军事革命，联合作战和信息化作战成为重要作战型式，数字化部队和数字化战场也跟着诞生。,9,Shannon信息论的几个基本问题,信息化社会中，人们的一切活动都将在信息空间中进行竞争和接受检验。 信息化社会中，许多有形的东西开始向数字的、无形的方向转变。 信息化社会也使人们越来越忙碌、越来越浮躁，在信息的大洋中有弄潮儿，也有溺水者。 在信息化社会中，一个国家、一个地区、一个单位、乃至一个

8、家庭和个人，除了要有能力在物理空间中生存外，还必须建设好信息基础设施，学会能在无形的数字化信息空间中生存。否则，它在现代信息社会的激烈竞争中，就会落后和失败。预计到2025年，所有的传输都将数字化，灵巧的个人终端将为人们提供各种各样的服务，个人终端将通过几十米至几公里的无线信道与光纤等骨干网连通，通向世界。,10,Shannon信息论的几个基本问题,人类已进入二十一世纪。数字化、信息化、网络化正在冲击、影响、改变我们社会生活的各个方面。从科学研究、生产制造、产品流通、商业运作、超市购物、医疗服务、教育培训、出版印刷、媒体传播，到文化生活、娱乐消闲、人际交往、法律规范、伦理道德、乃至军事作战等等

9、，无一不将受到信息网络的挑战，无一不在信息技术这一最新高科技生产力的作用下迅速变化。 为了表彰信息论的创始人Shannon的伟大功绩，2000年10月6日IEEE Information Society 的25名成员在Claude Shannon的儿童时代的老家Michigan的Gaylord举行了Shannon塑像的落成典礼。 塑像底座正面刻文如下：,11,Shannon信息论的几个基本问题,Claude Elwood Shannon Father of Information Theory，Electrical engineer, Mathematician, and native son

10、 of Gaylord. His creation of information theory, the mathematical theory of communication, in the 1940s and 1950s inspired the evolutionary advances in digital communications and information storage that have shaped the modern world. This statue was donated by the Information Theory Society of the I

11、nstitute of Electrical and Electronics Engineers, whose members follow gratefully in his footsteps. Dedicated October 6, 2000. Edgene Daub, Sculptor,12,Shannon信息论的几个基本问题,著名信息论和编码学者Richard Blahut 博士(将是2005年Shannon Award 获得者)在Shannon塑像的落成典礼时的题词说： “在我看来，两、三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国的总统。他们也不会记

12、得谁曾是影星或摇滚歌星。但是仍然会知晓Shannon的名字。学校里仍然会讲授信息论。”,13,Shannon信息论的几个基本问题,二、Shannon信息论的几个基本概念 1. 通信和通信系统。 2. 信息 3. 信息量 4. 信息速率与率失真函数 5. 信源编码 6. 信道容量 7. 信道编码,14,Shannon信息论的几个基本问题,1. 通信和通信系统 “信息论”或者称为“通信的数学理论”，是研究信息的传输、存储和处理的科学。通信的基本问题是在彼时(存储情况)或彼地(通信情况)精确地或近似地再现此时此地发出的消息。信息论研究的主要问题是在通信系统设计中如何实现信息传输的有效性和可靠性。 实

13、现有效和可靠通信的主要困难是什么？是系统中的干扰，如何克服这类困难？也就是如何抗干扰是通信理论的中心课题。 通信系统的数学模型,15,Shannon信息论的几个基本问题,通信系统的数学模型 信 源 编码器 信 道 译码器 信 宿 干扰源 通信系统模型,16,Shannon信息论的几个基本问题,通信系统的数学模型 信源是产生消息的源，可以是人、生物、机器或其它事物；消息可以是文字、语言、图像等。它可以是离散的，也可以是连续的，但都是随机发生的，即在没有收到这些消息之前不可能确切地知道它们的内容，否则通信将失去意义。可以用随机变量或随机过程来描述消息。信源研究的主要问题是消息的统计特性和信源所产生

14、消息中的信息速率。 编码器是将信源发出的消息变换成适于信道传送的信号的设备。一般包含几个部分，如信源编码器、纠错编码器和调制器、加密器、隐密器、同步器等。,17,Shannon信息论的几个基本问题,信源编码器是在一定的准则下，对信源的输出进行变换，目的在于求得有效性。纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力。调制器将信编码器的输出变成适合于信道传输要求(带宽/波段.功率/通信时间等)的信号形式。不一定每个系统的编码器都含有这三个部分，有的只有其中的两个或一个组成部分，也有的将其中的两个合并起来由一个组成部分实现。 纠错编码器和调制器的组合又称作信道编码器，因为它们

15、主要是针对信道情况进行设计的，目的在于充分利用信道的传信能力可靠地传送信息。,18,Shannon信息论的几个基本问题, 信道是将信号从发端传送到收端的媒质或通道，它是包括收发设备在内的物理设施。信道的种类很多，如架空明线、电缆、表面波、声纳、光束、电离层反射、对流层散射、卡片、磁盘、磁鼓、书籍等都可看作是信道。信息。 干扰源。为了分析方便，我们将整个通信系统中各部分引入的各种干扰，如衰落、多径、码间干扰、非线性失真、可加噪声等都集中于一个方框作用于信道。这种干扰源的统计特性是划分信道的重要因素，并且是决定信道传输能力的决定因素。信道的中心课题是研究信道的统计特性和它的传信能力，即信道容量。,

16、19,Shannon信息论的几个基本问题,实际干扰可分成两大类。 加性干扰由外界引入的随机干扰，如天电干扰、设备内部的噪声，它们与信道输入信号统计无关，信道的输出就是输入和干扰的和。 乘性干扰是信号在传播过程中由于物理条件的变化(如温度、电离层位置随机变化等)引起信号参量(如频率色散、幅度衰减、相位偏移等)随机变化，此时信道的输出信号是输入与某些随机变量相乘的结果。 为了实现可靠通信，就要与各种干扰作斗争，这是通信系统设计中的一个基本问题。信息论要对干扰进行数学上的定量描述，以确定它们对传信能力影响的大小，从而给出有干扰下信道的传信能力。,20,Shannon信息论的几个基本问题, 译码器是编

17、码的逆变换，它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，应尽可能精确地恢复信源的输出，并将它们递送给信宿。中心问题是研究各种可实现的解调和译码方法。 信宿是信息的接收者，可以是人或物，且与信源处于不同地点或存在于不同时刻。它要对传过来的消息提出可接受的条件，即提出一定的准则，发端将以此来确定对信源处理时所要保留的最小信息量。 信宿本身的主观因素，在Shannon信息论中不加过问。,21,Shannon信息论的几个基本问题,系统的模型不是不变的，可根据实际情况而定前图就是原图中的编、译码器作了更细致的划分，目的是使信源编码的研究主要和信源及信宿发生关系，此时信道编、译码器和信道的

18、组合可等效为一个离散无扰信道。而信道编码的研究可和信源、信宿无关，而只与信道有关，此时信源和信源编码器组合成一个对于信道编码器来说的等效离散源，它的输出可近似地看成是无记忆、等概的数字序列。这种划分可使信源编码集中于解决传输有效性问题，而信道编码则集中于解决抗信道干扰和失真问题，即解决传输可靠性问题，从而简化了研究。,22,Shannon信息论的几个基本问题,23,Shannon信息论的几个基本问题,这样划分是否会对发挥通信系统的传信潜力有根本性的限制呢？研究表明，在很一般的条件下，对大多数理论结果没有太大限制。这样划分也不一定总是合理的，有时将信源编码和信道编码统一考虑进行设计可能更有效些，

19、有人已进行了这方面的探讨，如信源和信道联合编码、加密与纠错联合设计的研究。,24,Shannon信息论的几个基本问题, 信息是一个抽象的概念，但它可以定量地描述。信息、物质和能量被认为是构成一切系统的三大要素，它包含在其载体消息（通信语言）或数据（计算机语言）之中，消息或数据是系统中传送(或存储、处理)的对象。 消息是比较具体的概念，但也不是物理的，如语言、文字、数字、图像等。消息中载荷有信息，但同一信息可以由不同的消息载荷。例如，同一信息可以用不同类型的消息，语言、图像、文字等表达。 信号是表示消息的物理量，如电信号可通过幅度、频率、相位的变化表示不同的消息。可以用不同类型的信号，如声、光、

20、电等信号传递同一消息。,25,Shannon信息论的几个基本问题, 信息 消息 信号 物质 材料 货物 能量 能源 能流,26,Shannon信息论的几个基本问题, 在网通信情况下，可能有很多分开的信源、信道和信宿相互进行信息交换。为了研究网通信系统中的信息传输和处理问题，要对上面给出的单路系统进行拓广，而引入多用户通信系统，并将单路通信的信息论发展成为多用户信息理论，这是由Shannon所开创的Shannon 1961，在20世纪的7080年代得到广泛研究的信息论的一个新分支。,27,Shannon信息论的几个基本问题,2. 信息 信息是一种抽象的、存于具体消息（信息的载体）之中的东西；它是

21、无形的，但可以定量描述的（至少有些类信息）；且又与具体信宿的接收消息空间有关。 信息的产生、传送、接收、处理、存储等都离不开物质的运动，但它不是物质运动本身，而是藉助于物质运动递送系统所关心的系统状态和变化的不确定性。 信息与内容有区别； 信息与知识有区别； 消息或数据中含有信息、内容、知识。,28,Shannon信息论的几个基本问题,3. 信息量 为了定量地研究通信系统，首先要建立信息量的概念，以便度量各种通信系统中最本质的东西，即信息量的大小。信息的量度与我们最熟悉的能量的情况很类似。大家知道，能量可以从一种形式转换成另一种形式，在很多情况下可以存储和传输，且有用能量常常因为热损耗而减少，

22、但绝对不可能增加。与此类似，在通信系统中信息的概念也是很重要的，含有信息的数据可以处理、存储和传输，但由于干扰的影响，不管对接收到的数据怎样处理，其中的信息只会减少，绝不可能增加。,29, 非平均互信息,Shannon信息论的几个基本问题, ,被称作是事件与事件之间的互信息量。上式正反映了互信息的对称性。两个事件之间的互信息量可正、可负、也可能为0。,30, 非平均自信息,Shannon信息论的几个基本问题, ,它是对信源输出直接做观察（不经传输、存储和处理，没有干扰和失真下）所能获得的最大信息量。它由信源本身的统计特性所决定，因此称之为信源输出符号的自信息。,31,Shannon信息论的几个

23、基本问题,自信息量I(xk)是为了确定事件xk的出现所必须提供的信息量，它也是任何其它事件所能提供的关于事件xk的最大信息量，即任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。 由0q(xk)1可得， I(xk)0， 即自信息量是非负的。 自信息量还可解释成出现事件xk的先验不确定性的大小。一个事件不常出现，它的概率就小，当我们知道该事件出现时获得的信息就多，它的自信息就大，反之就小。所以自信息可以认为是随机事件的一种固有特征。,32, 平均自信息量熵,Shannon信息论的几个基本问题,集X的平均自信息量，又称作是集X的信息熵，简称作熵。描述集X中事件出现的平均不确定性。 某次通

24、信所获得的信息量通常是非平均的，它可以是正面的，有助于对某一特定事件做出判定；也可以是负面的，使我们更难对某一特定事件做出判定。 对于通信系统设计来说，关心的是对信源输出集的传输和处理，因此需要研究统计平均量。,33,Shannon信息论的几个基本问题,Shannon信息论研究的是消息或数据的群体行为，而不是孤立的个别消息或数据的行为，正如我们从宏观来看物质或材料时，我们所关心的是大量原子或分子的群体行为一样。 当我们关心个别消息的传输问题时，或当我们不掌握整个消息空间的统计特性时，我们就需要求助于其他的信息定义或理论了。,34,Shannon信息论的几个基本问题,热熵 在19世纪，统计力学的

25、奠基者们发展了后来称为热熵的知识，以解释热力学的诸定律。乍一看，热力学和信息论是两个分离的范畴：一个用来描述蒸汽机，另一个使通信最优化；然而，熵这个热力学量又正比于物质内由分子的位置与速度所记录的比特数。 20世纪的量子力学将这一发现置于坚实的定量基础之上，并使科学家具有明确的量子信息概念。组成宇宙的各比特值是量子力学比特，或称 “昆比特”（qubits），较之于普通比特，它具有远为丰富的性质。,35, 平均互信息量熵差,Shannon信息论的几个基本问题, 非负性 I(X；Y)0 当且仅当集合X和集合Y统计独立时，上式等号成立。 对称性 I(X；Y)=I(Y；X) 平均互信息可用熵和条件熵之

26、差表示如下: I(X；Y)=H(X)H(X|Y) =H(Y)H(Y|X) =H(X)+H(Y)H(YX),36,Shannon信息论的几个基本问题,当把X 作为系统的输入集，Y 作为系统的输出集时，互信息I(X；Y)等于输入集的平均不确定性H(X)减去在观察到输出Y后，集X还保留的不确定性H(X|Y)。H(X|Y)常称作含糊度、疑义度或存疑度。在给定集X下，含糊度越大，得到的信息量就越小。,37,Shannon信息论的几个基本问题,注意，互信息是熵差，而不是熵。熵是不确定性的量度，而熵差经过通信所解除的不确定性才是所能得到的信息量。 熵是潜在的可以产生和可以提取的最大信息量。,38,Shann

27、on信息论的几个基本问题, 凸函数与互信息的凸性 互信息的定义式 它是输入分布q(x)及转移概率分布p(y|x)的函数。 当条件分布(或条件密度)给定时，平均互信息是输入分布(或密度)的凸函数。 当集X的概率分布(或概率密度)保持不变时，平均互信息量是集R上所有条件概率分布(或密度函数)的凸函数。,39,Shannon信息论的几个基本问题,4. 信息速率与率失真函数 两个基本问题。 如何描述信源的输出，即如何计算它产生的信息量。 如何表示信源的输出，即信源编码问题。 这两个问题都与信宿对通信质量的要求有关。 无失真源编码：要求精确地重现信源的输出，保证信源产生的全部信息无损地递送给信宿。 限定

28、失真的信源编码：在很多实际情况下，我们并不要求完全精确地复制出信源的输出，而且在有干扰下传输时，要精确地复制信源的输出也是不可能的。,40,Shannon信息论的几个基本问题,不同的信宿对精确度的要求是不同的，例如在电话通信中，有的只要求可懂度足够高就满意了，而有的如广播系统则要求语调和音色也要好，即还要求有足够高的清晰度才行。图像通信中，军用电视和传真电报只传送地图，公文等，而电视广播是为了欣赏而要求更高的质量。一般一对信源-信宿要定出可接收准则或保真度准则。准则定了之后，就可计算为达到这一要求至少要保留多少有关信源输出的信息量，以及如何表示它们。Shannon在1959年给出了研究这一问题

29、的理论框架，即率失真理论（Rate distortion theory）T. Berger在1971年出版了世界第一本研究率失真理论的专著。,41,Shannon信息论的几个基本问题,率失真函数 信息速率-失真函数，简称率失真函数的概念：早在Shannon1948年的经典论文中就已提出，但当时未受到人们的重视。1959年Shannon进一步发表论文奠定了它的理论基础，以后才受到广泛的注意，取得了较大的进展。 数据压缩是当前信息传输和处理中的重要研究课题；对于提高硬件和软件的效率有重要作用。率失真理论研究有失真时的数据压缩，即信源编码问题。四十多年的研究主要集中在两个方面：一是理论工作者提出的率

30、失真理论；是实际工作者提出的各种具体压缩技术。现在这两方面正互相结合在起，以实现压缩比高的、接近最佳的各种可行方案。,42,Shannon信息论的几个基本问题,信道的失真度d ：定义为信道输入空间U和信道输出空间V上的非负函数d(u, v), 其中uU, vV。 d(u, v)可根据具体情况规定。有了失真函数d(u, v)后就可以计算平均失真。因为u和v都是随机变量，故d(u,v)也是随机变量，计算平均失真只要对它求数学期望即可：,由I(X; Y)是集R上所有条件概率分布(或密度函数)的凸函数知此极值存在。R(D)不小于0，但小于H(U)。,信息速率-失真函数,43,Shannon信息论的几个

31、基本问题,5. 信源编码 有失真时的逆信源编码定理：当速率R小于率失真函数时；我们无论采用什么编译码方式，其平均失真必大于D。 有失真时的离散无记忆信源编码定理：给定失真D，令P*为使且I(P)达到极小的条件概率，则存在长度为N的分组码C，它的平均失真d(C)满足,它当R R(D)时恒大于零。定理表明，随着分组长度N 的增加，我们总能找到一种编码方式，它在速率时可使失真任意接近D。,44,Shannon信息论的几个基本问题,Shannon的率失真理论在连续消息和离散消息之间架上了一座桥梁，从而给数字化提供了一个基础和有效的工具。(Shannon 1959, Berger 1971)。 关键理论

32、进展：关键理论进展的十个里程碑Kieffer 1993 (1) 无扰信源编码的诞生(1948, C. E. Shannon, B. S. T. J. Vol.27, pp.379-423 pp.623-656. 1948)。 (2) Huffman算法的发现(1952, D. A. Huffman, Proc. IRE, Vol.40 pp.1098-1101, 1952)。 (3) 建立Shannon-McMillan定理(1953, B. McMillan, Ann, Mach. Stat. Vol.24, pp.196-219, 1953)。 (4) 发现Lloyd算法(1957, S.

33、 P. Lloyd 1957年写出，1982年发表在IT-28, pp.129-137, 1982)。,45,Shannon信息论的几个基本问题,(5) 率失真理论系统化(1959, C. E. Shannon, IRE Nat, Conv, Rec, Part.4 pp.142-163, 1959)。 (6) Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov, Problem of Information Transmission, Vol . 1, pp.4-7, 1965)。 (7) 通用信源编码理论系统化(1973, L. D. Davi

34、ssion, IT-19, pp.783-795 1973)。 (8) 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf, IT-19, pp. 471-480, 1973)。 (9) 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976博士论文, IBM Res Dev, Vol.20 pp.198-203, 1976)。 (10) 发现Lempel-Ziv码(1977, J. Ziv和A. Lempel, IT-23 pp.337-343 1977)。,46,Shannon信息论的几个基本问题,技术进展和标准 技术进展：解决

35、了传输和存储资源所需要的数据压缩方案。 (1) 未压缩时各类信号所需的数据率。参见表1,47,Shannon信息论的几个基本问题,表1 未压缩时各类信号所需的数据率 类 型 频 率 范 围 采 样 速 率 bit/样点或象元 未压缩bit率 语音 窄带语音 2003200 Hz 8 khz 16 128 kb/s 宽带语音 507000 Hz 16 kHz 16 256kb/s 声频 CD声频 2020000 Hz 44.1 kHz 162路 1.41Mb/s 静止 FAX 17002200 1 3.74 Mb/页 VGA 640480 8 2.46 Mb/页 图像XVGA 1024768 2

36、4 18.87 Mb/页 NTSC(4:3) 480483 29.97帧/s 16# 111.2 Mb/s 电 PAL(4:3) 576576 25 帧/s 16 132.7 Mb/s CIF(4:3) 352288 14.98 帧/s 12# 18.2 Mb/s QCIF(4:3)176144 9.99 帧/s 12 3.0 Mb/s 视 HDTV(16:9)1280720 59.94 帧/s 12 622.9 Mb/s HDTV(16:9) 19201080 29.97 帧/s 12 745.7 Mb/s,质,48,Shannon信息论的几个基本问题,* 基于4:2:2彩色子样格式，每4个

37、亮度采样中对Cb和Cr各有两个色度样点 # 基于4:1:1彩色子样格式，每4个亮度采样对Cb和Cr各有一个色度样点,49,Shannon信息论的几个基本问题,(2) 已制定的有关话音编码标准和压缩后bit率 PCM(G.711)，64 kb/s高质量话音编码。 ADPCM(G.726, G.727)，32 kb/s话音编码。 宽带编码器(G.722)，2-band ADPCM，用于7 kHz带宽话路，高质量低延时, 64, 56和48 kb/s。 LD-CELP(G.728)，低时延、编码激励、线性预测声码器，3个差分线性预测器，第50阶预测下一个采样值，第10阶引导量化过程，一个感知加权滤波

38、器用来选择声带激励信号，16kb/s。 CS-ACELP(G.729)，共轭结构、代数CELP，为前向自适应分析/综合声码器。8 kb/s，用于SVD(Simultaneous Voice and Data)Modem。,50,Shannon信息论的几个基本问题,MPC-MLQ(G.723.1)，多脉冲编码，最大似然译码，自适应分析/综合声码器，但速率较G.729低，为6.4和5.3 kb/s，已用于Internet电话中。 VSELP(IS-54)矢量和激励线性预测声码器，前向自适应分析/综合声码器，是北美数字蜂窝电话编码标准，8 kb/s。 这些标准的恢复语音质量如图1所示。其中纵座标为M

39、OS (Mean Opinion Scores)值，从图1可以看出，自1980年到1990年话音压缩声码器的质量有相当大的进步。目前2.4kb/s的声码器已有多家产品，如Qualcomm的Q 4413，可从1000b/s到13.3 kb/s，固定速率为6.2 kb/s和13.3 kb/s，全双工，4.8 kb/s以上达长话水平。又如DVSI(Digital Voice System, Inc)的IMBE-1000 TM可提供2.49.6 kb/s，MOS达3.4左右(1995年)。 GOOD(4) G723.1 IS-127 G.726 G.711 G.729 FAIR(3) MELP FS1

40、016 1990 FS10 POOR(2) BAD (1) 1980 1 2 4 8 16 32 64 图2 话音编码的主观质量与bit率的关系 (3) 声频编码标准和压缩后数据率 MPEG-1声频编码器，采用感知编码法，单声道信号96 kb/s时可提供高质量恢复信号。 MPEG-AAC声频编码器，每路为8 kb/s192 kb/s在64 kb/s时的立体声编码可以达到原始声频信号的CD质量。 (4) 图像编码标准和压缩后数据率 Group 3 FAX，采用游程长度编码，逐行扫描。一维编码，200 dpi，压缩比为20:1，Group 4 FAX，采用游程长度编码，二维编码，较G3 FAX改善

41、25%。 JBIG-1，根据局部相邻元进行像元预测，采用算术编码法，有动态自适应性，用于FAX可与G4 FAX相竞争。 JBIG-2分段软图样匹配方式，用于字母图像组合文件。 JPEG，采用DCT、感知量化、熵编码，8(像素)8(像素)组，保证恢复图像质量好的条件下，压缩比可达32:1。 JPEG-2000，已有软件产品，可提供低bit率图像，质量优于已有JPEG标准。 (5) 电视标准 H.261(p64，p为正整数)，H.262和H.263，采用动态补偿帧内编码，H.261为基准(baseline)编码器。变长编码器的熵编码。 MPEG-1分组传递和压缩声频视频和数据。类似于H.26X，主

42、要差别是采用了全向和双向运动补偿。用于CDROM媒体存储动态图像，1.4 Mb/s。 MPEG-2，可适应于多信道，宽带网传送多媒体信号。 MPEG-4，面向对象的、适用于多媒体信号传送的压缩和处理的标准。各对象可独立编码、交互组合、综合集成于一体。Video的码速率可从8k b/s1 Mb/s。 MPEG-7，增加了多媒体大型数据库中对于对象的搜索、索引和认证的能力，尚在修订过程中。,51,Shannon信息论的几个基本问题,6. 信道容量 信道容量定义为 C=Max I(X; Y) p(x) 即C为改变输入分布时，使每个符号所能含有的平均互信息量的最大值。相应的输入分布称为最佳分布。 I(

43、X；Y)是输入分布的凸函数，因而上述极大值一定存在。 信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义。,52,Shannon信息论的几个基本问题,7. 信道编码 信道编码定理：传送的信息速率R 必须小于信道容量C，否则传送过程中将会造成信息损失，出现错误。若RC，就可通过编码方法保证将全部信息几乎无误地传送给收端。 是估计译码错误概率的关键，称之为错误指数。Gallager1965详细研究分析了的特性。在0 的整个范围内，是有界恒正、且为R的单调减的凸函数。N为编码字长。因此，只要传信速率小于信道容量，随着编码字长增加，就可使平均译码错误概率指数地减小。,53,Shann

44、on信息论的几个基本问题,信道编码定理是信道编码理论基础，指出了有效利用信道资源实现可靠通信的途径和所能达到的理论极限性能Shannon极限。 RC 不存在有编码方法实现满足pb要求的速率为R的传信。 Shannon 证明码长N大时，随机选择的码以很高概率为好码。,54,Shannon信息论的几个基本问题,问题： 1 Shannon的证明是非构造性，如何构造好码实现定理目标? 2 实现ML译码的复杂性随N 呈指数增长。,55,Shannon信息论的几个基本问题,译码复杂性(ML译码) GexpNR 故 Pr(E)GE(R)/R 虽然寻求渐近特性好的长码不容易，但实现趋近于信道容量C的传信，其实

45、际困难和障碍是实现ML译码的复杂性。 (通俗定理(Folk Theorem)：除了我们找到的码外，所有码都是好码)。,56,Shannon信息论的几个基本问题,2关键理论进展： 信道编码定理，1948，C. E. Shannon。 发现Hamming码，1950，H. W. Hamming。 发现Golay码，1954，M. J. E. Golay。 发现Reed-Muller码，1954，I. S. Reed and D. E. Muller。 发现卷积码，1955, P. Elias。 线性码、群码的系统描述，1956，D. Slepian。 发现循环码，1957, E. Prange。

46、卷积码的序列译码算法，1957, J. M. Wozencraft; 1964, R. M. Fano。,57,Shannon信息论的几个基本问题, 发现BCH码，1960, R. C. Bose and D. K. Ray-Chaudhuri, 1959, A. Hocquenghem。 发现Reed-Solomon码，1960, I. S. Reed and G. Solomon。 纠错码作为信息论的分支出现，第一本书Error-Correcting Codes, W. W. Peterson, MIT Press, 1961。 Berlekamp- Massey译码算法分组码实用代数译码

47、算法，1966, E. R. Berlecamp, 1969, J. L. Massey。 发现级连码，1966, G. D. Forney。 卷积码的Viterbi 译码算法，1967, A. J. Viterbi。 发现Goppa码和代数几何码，1970, V. C. Goppa。1982, M. A. Tsfasman, S. G. Vladut, and Th. Zink,58,Shannon信息论的几个基本问题, 发现欧氏几何码，TCM, 1976, G. Ungerboeck；BCM, 1977, H. Imai and S. Hirakawa。 发现格码，1989，R.deBuda。格(lattice)码可趋近频带受限高斯信道容量。Loeligerz在1992年已证明，这是Zp上的欧氏空间群码。 发现Turbo码，迭代自适应译码算法，1993, C. Berrou and A. Glavieux。 L