《第10章 信息论基础讲义.doc》由会员分享，可在线阅读，更多相关《第10章 信息论基础讲义.doc（16页珍藏版）》请在三一文库上搜索。
1、第10章 信息论基础运用概率论与数理统计方法研究信息的度量、传递、变换等规律基本概念：1) 熵度量消息中的不确定性；2) 互信息度量传递信息的多少。基本结论：1) 通信的效率可以借助信源压缩编码来提高压缩信源的极限是信源的熵；2) 噪声信道中可以借助信道编码来实现无差错的通信无差错通信的速率上限是信道的容量。本章目录：10.1 熵与互信息10.2 离散信道与信道容量10.3 相对熵与高斯信道容量10.4 离散信源编码与压缩算法10.5 *率失真函数与限失真编码定理10.1 熵与互信息10.1.1 熵及其特性“无记忆”各时刻的符号独立同分布离散无记忆信源（DMS）字符集为取值概率熵所蕴含的不确定
2、： 是自信息量的平均值熵的范围为：1) 最小值为0：消息完全确定（某个）2) 最大值为：消息完全随机（取值等概）；采用原因：（1） 只依赖于概率，与取值无关；（2） 的非负、连续函数，它的取值；（3） 独立性对应可加性例10.1 二进制DMS： 的二种取值为，概率分别为与10.1.2 联合熵与条件熵随机变量：取值为，概率为，条件概率为1） 联合熵： 与共同蕴含的不确定性，因此，与独立时，取等号2） 条件熵：给定总是减少的不确定性：基本性质：（1）（2） 时，；（3） 与独立时，；例10.2 证明：推广到多多元： 链式公式 总（联合）熵 =第1个符号的熵；+ 在第1个符号的基础上，第2个符号新增
3、的熵+ 在第1与2个符号的基础上，第3个符号新增的熵；熵速率（Entropy rate）每个符号平均熵例10.3 DMS的熵速率。解：DMS熵速率：（单个符号的熵）。10.1.3 互信息互信息（Mutual information）：基本特性（1） ；（2） ；（3） 与独立，无法获得信息，（4） ，获得全部信息，双方共享的部分，信息是在“互动”中获得的，信息的本质是熵的减少量。 与独立 与少量关联 例10.4 二元信息传输中的互信息。0 00.90.360.420.8571 00.10.060.1430 10.10.040.580.0691 10.90.540.9310 00.360.857
4、0.0801 00.060.1430.1680 10.040.0690.1541 10.540.9310.056（bit） （bit）（bit）10.2 离散信道与信道容量10.2.1 离散信道模型信道 = 通道 = 把输入映射为输出离散无记忆信道（DMC）（1） 输入M元，字符集记为；（2） 输出J元，字符集记为；（3） 映射关系（条件概率）：，共个二进制对称信道（BSC）：条件概率是对称的：例10.5 AWGN中的2PSK系统。解：传输二元序列的BSC信道，10.2.2 信道容量信道传递的信息： （1） 取决于信道自身（2） 取决于如何输入符号（使用信道）。信道容量（Channel cap
5、acity） （比特/信道使用） 例10.6 BSC的信道容量（假定错误概率为）。解：首先, 于是， 信道编码预先调整输入符号的特性，以充分运用信道编码效率，信道编码定理：假定信源按（sym/s）的速率产生消息符号，而传输系统按（的频次使用容量为C的信道，如果，则存在一种编码方法，使信源能够以任意小的错误概率在信道中传输。只要信息率不大于信道容量，就可以实现无错误的可靠通信香农第二定理10.2.3 *典型序列二进制独立同分布序列，中任取长段：1）典型序列（Typical Sequence）1与0的个数分别在与左右的2）非典型（或稀有）序列其他的特点：（1） 典型序列是“模糊”的（2） 大致等概
6、，概率约为，（3） 总数约为典型与非典型序列集合：与， 与 （足够大）结论：当充分大时，的种可能中，几乎只有种会出现。传输，接收到：错误序列在充分大时，只有约，设法避开，就实现可靠传输。10.3 相对熵与高斯信道容量10.3.1 连续信号的相对熵与互信息连续随机变量在任何一单点处的取值概率为零，相对熵（Differential entropy）连续取值的信源， 联合相对熵与条件相对熵为：互信息仍然为：例10.7 随机变量在上均匀分布:解：注意，相对熵是相对量，可以为负(如：时)例10.8 高斯随机变量：解：首先，高斯分布具有最大相对熵：任意方差为的X， （bit）10.3.2 高斯信道的容量背
7、景：传输信号的带宽、功率，AWGN信道高斯信道模型：满足，与独立。其容量是高斯时，可使是高斯，进而最大。注意，（）高斯信道容量（香农第三定理）: 例10.9 设电话线路频带为3003300，信噪比为30。解：易见，于是，（）10.3.3 信道容量公式的讨论增加系统带宽：1）有助于提高传输速率；2）更多的噪声会进入接收机无限地增大信道容量时：频带利用率与信噪比：（，）即， （1） 带宽充足时，可尽量小，降低发信功率，无限地增加使。香农极限（Shannon limit）：，（2） 带宽受限时，采用多元调制系统，加大信号功率，很高。实际通信系统中（视为可靠通信）：10.4 离散信源编码与压缩算法10
8、.4.1 定长编码与信源编码定理信源编码（Source coding）将消息信号表示为规范、有效的形式。信源编码常常能够缩小数据量，因此也称为数据压缩（Data compression）。基本要求：（1） 无失真（或无损）编码过程应该绝对可逆；（2） 占用的资源要尽量地少（3） 输出码字常用二进制格式码速率（Code rate）单位消息符号所需要的平均码字长度(比特/符号)；定长编码（Fixed-length coding）输入符号、输出码字是固定长度的分组编码以个符号为一组，编码为长二进制码字信源编码定理：对于DMS，无失真编码的平均码长（或码速率）满足：而且，可无限接近。元典型序列（长）特
9、性：（1） 大约含有个、个、个（2） 彼此大致等概，概率约为，总数。（3） 充分大以后，任取，当充分大时，编码器的输入序列几乎都是典型序列，大约只有种。于是编码器只需采用约位二进制就可以完全它们。由于，所以， 10.4.2 变长编码及相关定理实际信源编码器大都采用变长（Variable-length）方式，例如，取值概率定长编码变长编码I变长编码II变长编码III0.6000000.201110010.110001100110.111111110111平均长度21.21.61.7输入序列为例，输出码流是：（1） 码I： 01000（2） 码II： 0101100（3） 码III：0010110
10、 “非前缀”（Prefix-free）任何一个码字都不是其他码字的前缀对于DMS ，存在输入序列长度为的非前缀码，其输出码字的平均长度满足，10.4.3 Huffman算法Huffman（霍夫曼）编码思想：信源字符集的各符号对应码字的长度其自信息量例10.10 Huffman编码算法。步骤为：（1） 按概率递减排序；（2） 概率最小分配0与1，而后合二为一；再排序，再合并、直至全部合并为一。与。符号概率码字符号概率码字0.33100.0501110.24110.03011000.22000.010110100.110100.0101101110.5 *率失真函数与限失真编码定理10.5.1 失
11、真与率失真定理许多实际的信源编码中，一定程度的失真是必须的，也是可以的。（1） 模拟信源的数字化问题（2） 牺牲一部分细节，以更低的码率表示离散信源，如数字图像压缩。编码规则由给出，码字被表示符号。编码失真为，编码器总的平均失真为，“D允许”的编码器在约束条件下，所有可能的编码器的集合记为， 编码过程将X编码为Y时，传递的信息量为。在失真满足要求的条件下，应该只传递最必要的信息量，这样编码器的码速率就达到最低。速率失真函数（Rate-distortion function）： 其中，最小化在D允许的编码器中进行，约束条件为。速率失真定理：对于DMS，失真限定为D以内的编码器的最小平均输出码率满
12、足，10.5.2 二进制信源编码器的率失真函数二进制无记忆信源:输入概率分布：，编码器的特性：。失真度量（汉明失真）：易见，（编码器的错误概率）可以证明，率失真函数， 例10.11 二进制信源：，编码器将5比特编码为4比特（抛弃最后1比特）。解：平均码率为。恢复时，最后1比特错误概率为0.5。 。10.5.3 高斯信源编码器的率失真函数无记忆信源：失真度量： 平均失真（均方误差）：可以证明，率失真函数， 例10.12 高斯无记忆信源，采用8或16比特量化。试分析（1）最小平均失真与信噪比？（2）均匀量化的噪声功率与信噪比？解：（1）由式可见，于是=（2）均匀量化器的量化范围 = =比理想值差4.77dB。