《《信息论与编码》复习大纲.doc》由会员分享，可在线阅读，更多相关《《信息论与编码》复习大纲.doc（8页珍藏版）》请在三一文库上搜索。
1、信息论与编码复习大纲本课程核心内容：一、信息论基础信息量、信息熵、互信息、信息率失真函数以及信道容量的定义、性质与计算二、编码定理及编码技术1、三大编码定理（无失真信源编码定理、有噪信道编码定理，限失真信源编码定理）2、信源编码：无失真和限失真信源编码方法方法香农编码、费诺编码、哈夫曼编码、算术编码；其他编码方法3、信道编码：矢量空间与码空间、信道译码方法(最小汉明距离译码)、增加纠错能力的措施、线性分组码(汉明码)及其标准阵列译码表、循环码的构造方法章节重点内容：第一章：通信系统模型第二章：信源与信息熵1、马尔可夫信源：状态转移图转移概率矩阵：符号条件概率矩阵：稳态分布概率：例2-2；类题2
2、-1, 2-22、自信息量 I(xi)=-log p(xi) 联合自信息量：I(xi, yj)=-log p(xi, yj) 性质及计算 条件自信息量：I(xi|yj)=-log p(xi|yj) 3、平均自信息量及信源熵（极值条件）信源熵：条件熵： 联合熵：三者之间的关系：H(X,Y)=H(X)+H(Y|X) H(X,Y)=H(Y)+H(X|Y) 类题：例2-8，2-9 习题2-7，2-10，2-124、互信息： (极大值和极小值)结论：当p(yj|xi)一定时，互信息I(X;Y)是信源分布p(xi)的上凸函数，有极大值(信道容量)；当p(xi)一定时，互信息I(X;Y)是信源分布p(yj|
3、xi)的下凸函数，有极小值(信源压缩极限)。5、熵的性质：非负性、对称性、确定性、香农辅助定理、最大熵定理、条件熵小于无条件熵6、离散序列信源的熵：(1) 无记忆信源：(2) 无记忆平稳信源：H(X1)=H(X2)=H(XL)(3) 离散有记忆信源序列的熵（马尔可夫信源极限熵）： 例2-11及其结论 (4) 极限熵： 马氏链极限熵的计算：例2-12 ，2-29，2-32其中：为状态符号熵7、连续信源最大熵定理：限峰功率及限平均功率第三章：信道与信道容量（基本概念）1、两个概念：信道容量： 比特/符号信息传输率：信道在单位时间内平均传输的信息量 R=I(X;Y)=H(X)H(X/Y) Rt=I(
4、X;Y)/t 比特/秒2、离散单个符号的信道容量：(要求：掌握达到信道容量时的信源分布)(1) 对称DMC信道的信道容量例： (2) 准对称信道的信道容量：将转移概率矩阵划分成若干个互不相交的对称的子集：3、连续信道及其容量 (1) 连续单符号加性信道：信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 (2) 加性非高斯噪声信道的信道容量的上下界：(3) 限时限频限功率加性高斯白噪声信道 信道容量：单位时间的信道容量 (香农公式)：增加信道容量的措施 达到香农限的条件：输入信号是平均功率受限的高斯信号，非高斯信号信道容量小。3-5, 3-6, 3-10第四章：信息率失真
5、函数（基本概念）1、失真矩阵及平均失真函数2、保真度准则：3、信息率失真函数： 对于离散无记忆信源：(1) R(D)的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R(D)。(2) 离散R(D)函数的定义域和值域： Dmin=0 (3) R(D)的曲线图性质4-2, 4-3, 4-4 第五章：信源编码1、奇异码、非奇异码、唯一可译码、即时码的判定、Kraft不等式、码树图、平均码长的计算2、无失真信源编码：(1) 定长编码定理：(基本概念)由L个符号组成的，信源的符号熵（平均符号熵）为HL(X)的平稳无记忆离散信源序列X=(X1, X2, , Xl, ,
6、XL)，可用K个符号Y1,Y2,YK（每个符号有m种可能值）进行定长编码。对任意0，0，只要平均信息速率满足： 则当L足够大时，必可使译码差错小于； 反之，当时 译码差错一定是有限值。而当L足够大时，译码几乎必定出错。 编码效率：(2) 最佳变长编码定理(香农第一定理)：最优码的平均码字长度满足： (单符号)或 (符号序列)其中为变长编码后的平均信息速率(3) 掌握四种编码方法：香农码、费诺码、哈夫曼编码及算术编码(累计概率的计算)及编码效率的计算：例5-10，作业5-1, 5-5, 5-12第六章：信道编码1、基本概念：差错符号、差错比特；差错图样；矢量空间、码空间及其对偶空间；有扰离散信道的编码定理：（掌握信道编码定理的内容及减小差错概率的方法）；线形分组码的扩展与缩短（掌握奇偶校验码及缩短码的校验矩阵、生成矩阵与原线形分组码的关系）。2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G和H、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码。6-1, 6-3, 6-4, 6-5, 6-6, 6-7, 6-8