《新信息论与编码-ch7.ppt》由会员分享，可在线阅读，更多相关《新信息论与编码-ch7.ppt（44页珍藏版）》请在三一文库上搜索。
1、信息论与编码第七章 网络信息论,7.1 概述,“However, information theory has not yet made a comparable mark in the field of communication networks, the sister field and natural extension of communication theory, that is today, and is likely to remain for many years, the center of activity and attention in most informati
2、on technology areas.”,-Anthony Ephremides, Bruce Hajek, “Information Theory and Communication Networks: An Unconsummated Union,” 1998.,网络信息论研究面临的问题： 网络的模型构建 多用户信息论 多源接入信道 缺乏参考体系 如何选取理论分析的变量，容量域的维数高 如何保证全网的效率和用户之间的公平 理论分析的困难 网络的分布式造成困难 主观因素的复杂导致理论分析的边界模糊不清,信息论与编码第七章 网络信息论,研究现状 多址接入信道：研究较为完善，具有反馈的多址接入
3、信道的容量域的确定存在问题。 双向信道：双向信道容量域尚未完全解决，已经得到了可达速率区域的内外界。 串扰信道：串扰信道尚未完全解决，在某些情况下可以给出上界。 中继信道：可以给出信道容量的上界。 广播信道：一般广播信道的容量域尚未解决，只解决了一些特殊问题。,信息论与编码第七章 网络信息论,信息论与编码第七章 网络信息论,7.2 通信网信道分类,多址接入信道 广播信道 中继信道 串扰信道 双向信道 多用户通信网 具有反馈的信道,多址接入信道：多个不同信源的信息经过几个编码器编码后，送入同一信道传送。收端仅仅由一个译码器译出不同信源的信息，送给不同的信宿。 特点：多入单出,信息论与编码第七章
4、网络信息论,信息论与编码第七章 网络信息论,信源1,信源2,信源M,编码器1,编码器2,编码器M,多址接入信道,译码器,信息论与编码第七章 网络信息论,信息论与编码第七章 网络信息论,广播信道：信源信息经过一个公用编码器后，送入信道传送，信道输出通过不同的译码器译码后送给不同信宿 特点：单入多出,信息论与编码第七章 网络信息论,信源1,信源2,信源M,译码器1,译码器2,译码器M,广播信道,编 码 器,信息论与编码第七章 网络信息论,中继信道：一对用户之间经过多种途径中转所进行的通信信道。,信息论与编码第七章 网络信息论,串扰信道：有两个发送端和两个接收端，通过一个公共信道传送信息。 特点：两
5、路通信间会产生相互干扰。,信息论与编码第七章 网络信息论,信息论与编码第七章 网络信息论,信源1,译码1,编码1,串扰信道,译码2,信源2,编码2,主路,串扰路,串扰路,主路,双向信道： 信道有两个发送端和两个接收端。其中信源1与接收端2在一端，信源2与接收端1在另一端。信源1可根据接收端2所接收到的符号决定其下时刻发送什么符号，信源2也可利用接收端1所接收的符号决定其发送符号。,信息论与编码第七章 网络信息论,信息论与编码第七章 网络信息论,信源1,接收端2,译码1,双向信道,编码1,译码2,编码2,信源2,接收端1,多用户通信网：由多个相关信源和信宿组成的多信道的通信。,信息论与编码第七章
6、 网络信息论,信息论与编码第七章 网络信息论,信源1,信源2,信源M,编码1,编码2,编码S,译码1,译码2,译码T,信道,具有反馈的信道：系统的译码器输出有部分信息反馈传送到编码器，这种信道称为具有反馈的信道。,信息论与编码第七章 网络信息论,信息论与编码第七章 网络信息论,信源1,信源2,编码1,编码2,译码,信道,信息论与编码第七章 网络信息论,7.3 相关信源编码,相关信源编码定理 相关信源编码逆定理,信息论与编码第七章 网络信息论,信源S1,信源S2,编码器1,编码器2,译码器1,译码器2,S1,S2,R11,R22,R12,R21,若两信源相关，则：,两个相关信源和信宿的模型：,信
7、息论与编码第七章 网络信息论,信源S1,信源S2,编码器1,编码器2,译码器,S1,S2,R1,R2,最有意义的一种,对于单信源，编码信息率,对于两用户，编码信息率,因此，只要,这种S2所提供关于S1的信息，或S1 所提供关于S2的信息，称为边信息,信息论与编码第七章 网络信息论,编码规则：信源S1输出N长的信源序列,由编码器（1）一一映射到整数集,而信源S2输出N长的信源序列,由编码器（2）一一映射到整数集,编码是分别独立进行的，编码器输出一对整数,其中 ，这对整数传输到一个共同的译码器，经过译码重建信源序列,信息论与编码第七章 网络信息论,即，编码函数为：,译码函数为：,译码重建的平均译码
8、错误概率：,信息论与编码第七章 网络信息论,若存在一种压缩编码方法 ，使得,任意小，则速率对 称为可达速率对。,所有可达速率对集合的闭包称为可达速率域。,相关信源编码定理（SelpianWolf定理）：对于任意离散无记忆信源，所有的可达速率对满足,信息论与编码第七章 网络信息论,可达速率域 R,定理证明思路：采用随机编码方法，译码规则为寻找对应的典型序列对，当R1和R2满足定理条件时，当N足够大时，错误概率将任意小。,信息论与编码第七章 网络信息论,自学严格证明。,信息论与编码第七章 网络信息论,相关信源编码的逆定理：对于任意离散无记忆信源对，不满足条件,的任何速率对是不可达的。,信息论与编码
9、第七章 网络信息论,证明思路：利用范诺不等式。,自学严格证明,信息论与编码第七章 网络信息论,7.4 多址接入信道,离散多址接入信道,多址高斯接入信道,信息论与编码第七章 网络信息论,信源M1,信源M2,编码器,编码器,译码器,信道,假设信道离散无记忆，对信源符号序列进行N长编码，有：,信息论与编码第七章 网络信息论,信源1的消息集：,信源2的消息集：,编码函数：,译码函数：,信息论与编码第七章 网络信息论,假设消息独立等概分布，则在其联合空间上也是均匀分布的，即,平均译码错误概率为：,信息论与编码第七章 网络信息论,定理1：具有两个发端的多址接入信道,其信道容量域由满足下述凸壳的闭包给定：,
10、其中,信息论与编码第七章 网络信息论,容量区,A,C,D,B,0,当两信源独立时：,信息论与编码第七章 网络信息论,对于多址接入高斯信道，设有m个发送端，每个输入端的信号平均功率为 ，而信道干扰是均值为零，方差为 的高斯噪声。信道输出:,信息论与编码第七章 网络信息论,因Z与X1，X2统计独立，而X1，X2也统计独立，有：,因为平均功率受限，正态分布的熵最大，所以有：,信息论与编码第七章 网络信息论,由定理1可得：,A,C,D,B,0,信息论与编码第七章 网络信息论,E,信息论与编码第七章 网络信息论,7.5 中继信道,源节点 S,中继节点 R,目的节点 D,信息的中继传输分为两种模式： 第一
11、种模式：信源发出信息到达R与D，这个阶段称为广播阶段模式（BC）； 第二种模式，S，R都发消息给D，这是一种多址模式（MAC）。,信息论与编码第七章 网络信息论,半双工中继与全双工中继： 如果中继不能在同一波带上同时发送和接收则称为半双工中继，否则称为全双工中继。 半双工中继意味着发送和接收的信道必须是正交的；,中继协议：如果源和中继共享其资源，则对于任何已知的编码方案都有可能获得最高的流量，这种共享协作策略被称为中继协议。 DF（Decodeand-Forward）协议：中继对源信号进行译码然后再对信号进行编码转发。当源与中继间信道质量较好时，该协议的是近最优的。,信息论与编码第七章 网络信息论,EF（estimate-and-forward ）协议：中继节点不必对源信号进行译码，但是它会对源信号进行估计，并将这种估计结果传送到目的节点以帮助目的节点进行译码。适用于源与中继节点和源与目的节点信道质量相同，而中继节点与目的节点信道理想的情况。AF（amplify-and-forward） 协议是上述策略的特例 。,信息论与编码第七章 网络信息论,D,该中继信道由条件概率 描述,定理: 对于任意的中继信道，其信道容量的上限为：,信息论与编码第七章 网络信息论,