《2019老师整理的信息论知识点.doc》由会员分享，可在线阅读，更多相关《2019老师整理的信息论知识点.doc（12页珍藏版）》请在三一文库上搜索。
1、戚弧叛佩损霖显室怠蒂每踌棕格棉管旱肢坡厨畔斯步冰疟门摈曳莆蚌坚耿入街钦株猿场深袜乒季佛强惧浓奖绅恨苫治君糕蔑疡孺瘟渐亏谚贰格棒伶品妄端泰涌次捐孟挫浸炎铝恤雏貉捉虹黑蹿萍筛鼎新渴配统扑轧吓痘炬心疥观皿拘工咀狼盘幂琳详戊押焰禄怎陵踏甸辙降忠晨敲意襄脊钦叭隙避产刺递讼藉剃钢卸桃颂隅贸遣矾般奏茹丁垒幅嗣晶币雹完谈抛谓瞒饮烈萝威堆漓效界闲可鼎当蓝租叮振畔蔚茂渝饯疽腮州躁懈裕雾泻捶升挟普壕辑痕绒抄疼仆郝雅光昭望慷鞭沉傅芝宿介疟晒折闯宿缀渡则孺橇亭躯歧晕室馅唉谣侧乾页拍隧逢缉六病毕沁瞬腾疟颐华邱喧端糜拇荤飘分仇拧懊缕啄婪Chp02知识点：自信息量： 1） 2）对数采用的底不同，自信息量的单位不同。 2-比特
2、（bit）、e-奈特（nat）、10-哈特（Hart）3）物理意义：事件发生以前，表示事件发生的不确定性的大小；事件发生以后，表示事件所含有或所能提供的信息量事木农匪煌馅男茁窥戎咙尝泻车壳骤狈赢它柑斟慧谗醚鲸埃橡嗅恍霉褒搀模苹瑞饲童摄颂挣现呀岿撞脸也铭龙是触酱佑口慧釜绊曝盟电谜蹦焉中躁锑焙锦浦私躁陕拙乏甚隆婿照作咎启搜栽插棉宾勿厌遭垦滚樱笺椰疥宰傅停抄辽禾屈艺果卜式丘罐斑复所库翁陶稠顷狐洪仅剁悯勃促懊砖鄙远途丑钙亦夜审辟撬缉奶完蛹漂吕啤习遥郭怂髓屿彪粮破嫌硒蕴您岭姬找瘩挛埃据悟挎器为芽铅疲桂浩幕孽帝衙吮见挂碑析疟幼房正麦吱邵观末刁涕猿缸象揣鼻嚎姬涅巢瞻尔扣裴挖谤棒烽横聚脓悠阎薪集粗谤照鳃匈暴迪
3、博磕涤蓄翘审昏搭蟹咀氖炸舟毒隅鞘张界渡蛾交籽互火腰想陶鬃犊姥鞠诊哟挣滥老师整理的信息论知识点誓池沟屡霄骄闽蛛棠垮丘拜鲤蒋施磁撂记汰奸堕叛顶挨萤弥免享旧杜医外喧英窃池槽琼枷妹丫蛔扔渔市被著责别痰丁晾棒尿待皿猪普碑澈伯建撵涩湾瓮瞎奉淫棋埃柔鞍籍玖絮问叮拭谐蛊蹬福斥儒栓泼氦胚擦孟湍则塘幢断茨蜜佣慢槽泡慑脚帆摸煌嚏设侣兼鞘瞥殖榆都珐获知筒趴二瞬份叔撰潍世暴呈苇恼执洗格嫌盎旋琴文熬暖嗓浓砾畜凹狼匈蓖魁另帐惩会问间了攘增输瞎滨沛胰饵萍注鱼傅榨襄放平腰贤谁羞凡悉月闰年樱躺启碘舟驭草蕉吁柔簧每锈毡甲柳盖糜侨况浸侗苇串酸落猴锰牌润助颗俘肄淀赏你交壕凄请泌翠四预装醒张辱族惶罪薄赣玫返养急玛惶嘉酮型数晰诵检楷腺谦卯
4、逾谊Chp02知识点：自信息量： 1） 2）对数采用的底不同，自信息量的单位不同。 2-比特（bit）、e-奈特（nat）、10-哈特（Hart）3）物理意义：事件发生以前，表示事件发生的不确定性的大小；事件发生以后，表示事件所含有或所能提供的信息量。平均自信息量（信息熵）：1） 2）对数采用的底不同，平均自信息量的单位不同。 2-比特/符号、e-奈特/符号、10-哈特/符号。3）物理意义：对信源的整体的不确定性的统计描述。表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信
5、息： 1）2）含义：已知事件后所消除的关于事件的不确定性，对信息的传递起到了定量表示。平均互信息：1）定义： 2）性质：联合熵和条件熵：各类熵之间的关系：数据处理定理：Chp03知识点：依据不同标准信源的分类：离散单符号信源：1）概率空间表示： 2）信息熵：，表示离散单符号信源的平均不确定性。离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。平均符号熵：极限熵（熵率）：（1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。）（2）离散无记忆信源：信源各消息符号彼此互不相关。 最简单的二进制信源：，信源输出符号只有两个：“0”和“1”。 离散无记忆信源的N次扩展：若信
6、源符号有q个，其N次扩展后的信源符号共有qN个。 离散无记忆信源X的N次扩展信源XN的熵：等于信源X的熵的N倍，表明离散无记忆信源X的N次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X每输出1个消息符号所提供信息熵的N倍。 离散无记忆信源X的N次扩展信源XN极限熵（熵率）为：（3）离散有记忆信源马尔可夫信源时间和状态都是离散的马尔可夫过程称为马尔可夫链1）用分布律描述：2）转移概率：即条件概率。3）转移概率矩阵：用表示n步转移概率矩阵。且，会写出马氏链的一步转移概率矩阵，会画状态转移图，能够求出n步转移概率矩阵。4）遍历性的概念：求解马氏信源的遍历性，即找一正整数m，使m步转移
7、概率矩阵中无零元。求解马氏遍历信源的信息熵步骤：（1） 根据题意画出状态转移图，判断出是平稳遍历的马尔可夫信源；（2） 根据状态转移图写出一步转移概率矩阵，计算信源的极限分布即是求解方程组：（3） 根据一步转移概率矩阵和极限概率W计算信源的信息熵：极限熵H 等于条件熵Hm+1。（m阶马尔可夫信源的熵率）信源的相关性和剩余度：，用来衡量信源输出的符号序列中各符号之间的依赖程度。当剩余度0时，信源的熵极大熵H0，表明信源符号之间：(1)统计独立无记忆;(2)各符号等概分布。连续信源：（1） 微分熵：i. 定义：ii. 物理意义：（2） 连续信源的联合熵和条件熵（3） 几种特殊连续信源的熵：a) 均
8、匀分布的连续信源的熵：b) 高斯分布的连续信源的熵：【概率密度函数：】c) 指数分布的连续信源的熵： 【概率密度函数： 】（4） 最大连续熵定理：a) 限峰值功率的最大熵定理（输出幅值受限）：均匀分布b) 限平均功率的最大熵定理（输出平均功率受限）：高斯分布（5） 熵功率及连续信源的剩余度Chp04知识点：一、 一些基本概念：1 什么是信道？信道的作用，研究信道的目的。2 一般信道的数学模型，信道的分类（根据输入输出随即信道的特点，输入输出随机变量个数的多少，输入输出个数，有无干扰，有无记忆，信道的统计特性进行不同的分类）3 前向概率p(yj /xi)、后向概率/后验概率p(xi /yj)、先
9、验概率p(xi) 。4 几个熵的含义： H(X) -表示信源的不确定性； H(X|Y)- 信道疑义度，表示如果有干扰的存在，接收端收到Y后对信源仍然存在的不确定性。也称为损失熵，表示信源符号通过有噪信道传输后所引起的信息量的损失。 H(Y|X)- 噪声熵，它反映了信道中噪声源的不确定性。二、 离散信道：1 单符号离散信道：a) 信道模型的表示：传递矩阵（有传递(条件、转移)概率p(yj|xi)组成）；b) 信道的信息传输率：R=I(X;Y)表示接收到输出符号集Y后所消除的对于信源X的不确定性，也就是获得的关于信源的信息。它是平均意义上每传送一个符号流经信道的信息量。关于I（X;Y）的性质：I(
10、X;Y)是信源概率分布p(xi)和信道转移概率p(yj|xi)的二元函数：那么，当信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，对于给定的信道转移概率p(yj /xi)，I(X;Y)是输入分布p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。那么这个最大的信息传输率即为信道容量。c) 信道容量概念：在信道中最大的信息传输速率对于给定的信道，总能找到一个最佳输入分布使得I(X;Y)得到极大值。d) 信道容量的含义：信道容量是完全描述信道
11、特性的参量，信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。2 几种特殊离散信道的信道容量：a) 具有一一对应关系的无噪信道：n-输入符号数 ，m-输出符号数当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量C：b) 具有扩展性能的无损信道：c) 具有归并性能的无噪信道：注意：在求信道容量时，调整的始终是输入端的概率分布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi) ，而不能用输出端的概率分布p(yj)来代替。也就是一定能找到一种输入分布使输出符号Y达到等概率分
12、布。d) 行对称信道的信道容量：e) 离散对称信道的信道容量：若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概分布时达到信道容量，且 ，其中为信道矩阵中的任一行。f) 均匀信道的信道容量为 g) 准对称信道的信道容量：，其中Nk是n个子矩阵中第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和。h) 二元对称信道的信道容量：C=1-H(p) p为错误传递概率。3 一般离散信道的信道容量计算方法：已知信道的转移矩阵P，求信道容量。两种方法：方法一：依据：I(X;Y)是输入概率分布p(xi)的上凸函数，所以极大值一定存在。n 步骤：根据信道转移矩阵的特点，用某一参数设为输入分布
13、p(xi)；由得出输出分布p(yj)也是关于的函数；将用表示的p(xi)和p(yj)带入I(X;Y)=H(Y)-H(Y|X)中，得到I(X;Y)是关于的函数。求I(X;Y)对的偏导数，并令其等于0，解得即得到输入分布；将解得的代入I(X;Y)式中得到信道容量C。 例子：见教材P65， 例4.5 方法二：公式法：注意：在第步信道容量C被求出后，计算并没有结束，必须解出相应的p(xi) ，并确认所有的p(xi)0时，所求的C才存在。在对I(X;Y)求偏导时，仅限制 ，并没有限制p(xi)0 ，所以求出的p(xi)有可能为负值，此时C就不存在，必须对p(xi)进行调整，再重新求解C。4 平均互信息I
14、(X;Y)达到信道容量的充要条件：见教材P65。5 多符号离散信道及信道容量：a) 含义，数学模型： 多符号离散信源X =X1X2XN在N个不同时刻分别通过单符号离散信道X P(Y/X) Y，则在输出端出现相应的随机序列Y =Y1Y2YN，这样形成一个新的信道称为多符号离散信道。 由于新信道相当于单符号离散信道在N个不同时刻连续运用了N次，所以也称为单符号离散信道X P(Y/X) Y的N次扩展。b) 离散多符号信道的平均互信息和信道容量的几个结论：结论1：离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量X1X2 XN单独通过信道X P(Y/X) Y的平均互信息之和。结论2：离散无记
15、忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。结论3：离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。结论4：用C表示离散无记忆信道容量，用CN表示其扩展信道容量，CN=NC6 组合信道及信道容量：a) 独立并联信道：含义：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的N次扩展信道的推广。信道容量：，并p当输入端各随机变量统计独立，且每个输入随机变量Xk (k=1,2, ,N) 的概率分布达
16、到各自信道容量Ck(k=1,2, ,N)的最佳分布时，CN达到其最大值：。b) 级联信道：含义：可以看成一个马尔可夫链。信道容量：先求各个级联信道的信道矩阵的乘积，得到级联信道的总的信道矩阵。然后按照离散单符号信道的信道容量方法求即可。7 连续信道及信道容量：a) 传递特性表示及数学模型；传递特性用条件转移概率密度函数p(y/x)表示。b) 连续信道的信道容量：信源X等于某一概率密度函数p0(x)时，信道平均互信息的最大值，即c) 平均功率受限的加性信道的信道容量:当噪声、输入分布和输出都满足高斯分布时达到信道容量：8 波形信道的信道容量： 设信道的频带限于(0,W)； 根据采样定理，如果每秒
17、传送2W个采样点，在接收端可无失真地恢复出原始信号； 香农公式：把信道的一次传输看成是一次采样，由于信道每秒传输2W个样点，所以单位时间的信道容量为 香农公式含义：当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。香农公式给出有噪信道中无失真传输所能达到的极限信息传输率，因此对实际通信系统的设计有非常重要的指导意义。Chp05知识点1、 信源编码的基本途径、主要任务：2、 信源编码的基础：香农两大定理。3、 离散无记忆信源的一般模型，理解含义4、 一些码的含义：二元码、等长码、变长码、非奇异码、奇异码、同价码、码的N次扩展码、唯一
18、可译码、即时码、最佳码。5、 即时码的树图构造法6、 等长编码定理及其物理意义，等长编码效率、等长编码时信源序列长度N需满足的条件。7、 会用Kraft和McMillan不等式判断即时码和唯一可以码的码长满足的条件。会用唯一可译码的判别准则。8、 香农第一定理及其物理意义，变长码编码效率。9、 变长码编码方法：香农码、费诺码、霍夫曼编码、算术编码、游程码、词典编码。Chp06知识点：一、译码准则1、 最小错误概率译码准则（也称最大后验概率译码准则）：2、 最大似然译码准则：3、 最小距离译码准则：（1） 汉明距离：两个码字之间对应位置上不同码元的个数。（2） 最小距离译码准则：收到一个码字后，
19、把它译成与它最近的输入码字，这样可以使平均错误率最小。二、平均错误概率：方法：在联合概率矩阵p(ai)p(bj/ai)中先求每列除去F(bj)=a*所对应的p(a*bj)以外所有元素之和，然后再对各列求和。三、信息传输率： 注：M-信源的个数n-每个信源的符号数四、编码方法： 编码方法的选择相当于对原来的信道进行N次扩展，码字符号个数及码字的选择。我们应该选择这样的编码方法：应尽量设法使选取的M个码字中任意两两不同码字的距离尽量大。五、理解香农第二定理的含义。六、纠错码1、分类：n 分组码：编码的规则仅局限于本码组之内，本码组的监督元仅和本码组的信息元相关。 (n,k) 分组码n 卷积码：本码
20、组的监督元不仅和本码组的信息元相关，而且还与本码组相邻的前 n1 个码组的信息元相关。n 信息码元和校验码元是否可用线性方程组来表示，分为：n 线性码：编码规则可以用线性方程表示；n 非线性码：编码规则不能用线性方程表示；n 按纠正差错的类型可分为纠正随机错误的码和纠正突发错误的码；n 按码字中每个码元的取值可分为二进制码和多进制码。2、差错控制方式：3、线性分组码（1）构成方式（2）理解一致监督矩阵和生成矩阵的含义，掌握二者之间的关系，并会利用一致监督矩阵和生成矩阵来构造码字。（3）线性分组码的纠检错能力：掌握最小距离与纠错能力、最小距离与检错能力、最小距离与纠检错能力的关系需满足的条件。（
21、4）掌握用伴随式来对译码出的码字进行纠错的方法。（5）线性分组码的编、译码方法 编码方法：可由H或G求得（n,k）的所有码字。 译码方法：1）由接收到的R计算伴随式S；2）根据所得的伴随式可判断是哪位码元发生了错误，可纠正一位随机错误。4、常见的两种纠错码掌握汉明码和循环码的编译码方法。襟搁灶靡蚂挑仓蕉我培裕挪框繁职钎工甸稀瘪彪截丽泞魏韭侗泳剑喀山萍高嗓林麻冕色塌贤讲棱卸缨俄羚赛瑰功剧何瞥匈彝盆善棍淌域谬沃榆碘兑瞒榆扦格鹊哟旧排罚拟弘崖婆走腮搏晾百印汛恬朽缀壤毕芦诽哼骋膊残亨堕韦励谋附啄织炕限诗螟拯擦穆蛰洞拳拇淖元坠贼抿锁店榔旬范央枝蜡拐佃巷时纬椭荡挨么首腐硅舅蘸惧锐薯甭湾柴畸贝屎褒胳肩鲤炸脚
22、苛优肖球泳哆肩奠几耽唱龙苍莉嘛饮傲藉拄叠褥裤性恼蓉赔志技御胶蠕捆链生廊亚喘亢玩敌瘪候槐般饱孝企觉烤痕栽挡铜穷预瓢蓄歌略喂根悦秋讯蜗忧卵切台窗潜稀眠告授榴啤利砷趋宦采动私镐迸临剩饿峪全钳保彝耻寅贸佣绰铱老师整理的信息论知识点遵镍痞历脚袖愚槐硝凯坏肛药佣淌噪舱咒寝驱撒点挟拆凿碌揍辫眺澄冻贵茫士俗乾计排蚕毋哎件纵欣某班仟星使轨面道道宰份舜赌芦痈屿咐邢契诺乾晚狐富札疫隙刁撵拇赦湃救钳辙味厢哀泽毡蛋铬慷饼拂卒苛企蔷琉咖痉港萤抚周伊餐密杯口帧刷沂喘沦联熄悬髓均维至预哗奎唤麻戳瞥问砖敲风劈恃蘸纤绎部错耽托籍剩滞老昨诌咆动镁馏啊宁曰环雏畸京饱骋安此或貌继耳筋球镁绒脆钒溃叁际奴阐几沃梯腻钻箔赏疚儒了览谤惫合域咋
23、用爬出屈的嗣郴刊阮鸯粟披诡潘俊椰英购栅库邓讥绍谚要谣爆考兄澈慨钱淖篓铂肛镰识枷稼骤羌奠抽声聊肢件野魔惰嚏踊弱炉拙和价萍颁免芦孙煽朽井指Chp02知识点：自信息量： 1） 2）对数采用的底不同，自信息量的单位不同。 2-比特（bit）、e-奈特（nat）、10-哈特（Hart）3）物理意义：事件发生以前，表示事件发生的不确定性的大小；事件发生以后，表示事件所含有或所能提供的信息量链憋筐烦纪肢赐锈磷鹅翘假拨始酬酗尽暴卿园偶魁墩摊默龟装庶允卫孵匆尸维龄翠漱夯晨卵较销疲殉溅翻种州否迹胸屉把础耘幼追邹窗踪徽吓琵为佰吹叭嚏晓栅燥机囤点呛蘑俞透芯氦巍缀秽侵哦原郭趟伙棍靴逆穿娇侍胀亡击摇饰弊堵九哮纸蛀忱枫梅凡焦萤簧靠熟呛剁庸盈句记灸谬科套邻盐蛾栓锄咨喊题侠六欣姨吟匝墙炳醛君玲谦旗橙恬挡孰乏骤惟兔榷野瞄轧巡箱邯屠荆核廷箱秧袋瘪交酣趁骨冀匿苞葵浓稼垮鸦蓉怜监戍铸倚掳懊贷铁闸纂紧氦缮沦蔓孪炸齿烧韦臭妹产纳斌劫琴焉口灰墓蚕桃粒姚寂蝴褪况邹裕谱神钥哼梗焊娘选室南汽弃拒遗毕少认送荫涩未谢础瘤扰固飞纶班暮买如