《信息论基础.ppt》由会员分享，可在线阅读，更多相关《信息论基础.ppt（25页珍藏版）》请在三一文库上搜索。
1、信息论基础,参考书： Elements of Information Theory，Thomas M. Cover 清华大学出版社影印版 应用信息论基础 朱雪龙，清华大学出版社 信息论-基础理论与应用，傅祖芸，电子工业出版社 课程网站: 引论,第一章 引论,1.1 通信系统模型 1.2 信息论研究的中心问题及发展 1.3 shannon信息论的局限性 1.4 信息的广义性,1.1 通信系统模型,通信系统模型,通信系统的基本任务要求 可靠: 要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端 有效: 用尽可能短的时间和尽可能少的设备来传输最大的消息,通信系统模型进一步细分
2、,等效离散信道,等效离散信源,等效信宿,信道编码器,信道译码器,信息、消息和信号,信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号 表示消息的物理量，电信号的幅度，频率，相位等等,1.2 信息论研究的中心问题和发展,Shannon信息论的基本任务,1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统,信息论的研究内容,狭义信息论（经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪
3、声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学,Shannon理论,Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。 几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MC
4、M(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术,信息论几个方面的主要进展,信源编码与数据压缩 信道编码与差错控制技术 多用户信息论与网络通信 多媒体与信息论 信息论与密码学和数据安全 信息论与概率统计 信息论与经济学 信息论与计算复杂性 信息论与系统、控制、信号检测和处理 量子信息论 Shannon的其它重要贡献 参见课程网站:信息论进展50年,I信源编码与数据压缩-关键理论进展的十个里程碑Kieffer 1993,无扰信源编码的诞生(1948, C. E. Shannon)。 Huffman算法的发现(1952, D. A. Huffman)。 建立Shann
5、on-McMillan定理(1953, B. McMillan)。 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 率失真理论系统化(1959, C. E. Shannon,)。 Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 通用信源编码理论系统化(1973, L. D. Davission)。 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976 博士论文)。 发现Lempel-Ziv
6、码(1977, J. Ziv和A. Lempel)。,信道编码与差错控制技术 1Shannon信道编码定理和Shannon极限。 Shannon编码信道定理: RC 不存在有编码方法实现满足误码率要求的速率为R的传信。 Shannon 证明码长N大时，随机选择的码以很高概率为好码。 问题：Shannon的证明是非构造性，如何构造好码实现定理目标? 实现ML译码的复杂性随N呈指数增长。,多用户信息论与网络通信,(1) 理论基础。两路通信系统(Shannon 1961)。 (2) 理论进展。 Cover, Schalkwijk, Van. der Meulen, Alswede, Slepian,
7、 Wolf, Wyner Liao(Universty of Hawaii), Han等。 (3) 技术成就。 CDMA(Virerbi, Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(rate splitting)、功率检测控制等(Verdu, Shamai and Rimoldi)。 STC(Space time code)，源于信息论考虑。 线性网络编码 合作编码技术,过去50年中Shannon信息论已取得巨大、丰富的理论和技术成果，在未来的50年中，Shannon信息论将继续繁荣还是趋向衰落和消亡? 在过去50年中也曾几次出现过类似的争论。如果信息论继续推动技
8、术的发展，则在未来的几十年中就会继续繁荣下去，否则会象近30年来的物理学所经受的萧条。 当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才。 Internet通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。,未来的趋势,Shannon信息论在研究方法上的启示 1. 理论与实际的关系。五十年信息论发展的历史证明，理论必须结合(扎根于)实际才有旺盛的生命力。 2简化模型。理论的作用是浓缩知识之树， “简单模型胜于繁琐的现象罗列”， “简单化才能显现出事物的本质，它表现了人的洞察力”。 好的性
9、能量度和复杂性的量度（信息量、熵、信道容量、商品等），常会引导出优秀的理论结果和令人满意的实际应用。,1.3 Shannon信息论的局限性,如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。 语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境” 不同的接收者对同一个东西得到的信息可能是不同的 Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。,1.4 信息论的广义性,信息论常被理解为包括更广的领域 语义学 语言学 神经生理学 心理学 组织学 信息的不同属性的定义产生不同的信息论 模糊信息论 量子信息论 生物信息论 信息复杂度的信息理论,课程内容,Chap2:信息的定义与性质 Chap3:DMS无失真编码定理和编码方法 Chap4:channel Capacity Chap5:channel coding theorem Chap7:Block coding Chap9:Rate Distortion Chap10: Multi-user Information Theory,