[教育学]-第2章-2.doc

《[教育学]-第2章-2.doc》由会员分享，可在线阅读，更多相关《[教育学]-第2章-2.doc（59页珍藏版）》请在三一文库上搜索。

1、第2章 信息的度量2.1 基本要求通过本章学习，了解信源的模型和分类，掌握自信息量和互信息的定义和性质，掌握离散信源的熵及其性质、平均互信息的性质，掌握无记忆信源的扩展，了解离散有记忆信源的熵，了解马尔可夫信源的熵，掌握离散信源的信息率的概念，掌握连续信源的微分熵以及微分熵的极大化，了解连续信源的熵功率的概念。2.2 学习要点2.2.1 信源的分类2.2.1.1根据信源的参数和值分类信源在时刻输出是随机变量。取值于符号表，表示为 ，其中，。根据参数和值的性质，可将信源分为四类：空间离散信源离散信源时间离散信源 时间离散空间离散信源：和均离散 时间离散空间连续信源：离散，连续空间连续信源离散信源

2、时间连续信源 时间连续空间离散信源：连续，离散 （波形信源）时间连续空间连续信源：和均连续为了数字化存储与传输的要求，时间连续信源均要通过采样变为时间离散信源，因此通常简单化表示如下：空间离散信源离散信源空间连续信源连续信源2.2.1.2根据信源的记忆特性分类无记忆信源 N维分布函数： （2.1）各符号间统计无关。有记忆信源各符号间统计相关。2.2.1.3根据信源的平稳特性分类平稳信源：序列的统计特性与时间的推移无关。 （2.2）平稳信源也是有记忆的，只是记忆的长度有限。N阶平稳信源：任一时刻的输出，只与前面N-1时刻、的输出有关。平稳信源只需考虑任意N个相邻时刻的输出序列： （2.3） 独立

3、同分布信源：无记忆信源各个时刻的随机变量是同分布的。非平稳信源：不满足上面条件的信源。2.2.2 信源的数学模型2.2.2.1离散无记忆信源的数学模型离散无记忆信源（DMS）的数学模型可用概率空间表示： （2.4）也可用下式表示 （2.5）若满足约束条件 ，则称为完备信源。2.2.2.2 非理想观察模型非理想观察模型是实际通信或信息传递系统的抽象，由它可引出信息传递的一些共性问题，并能简明的解释一些理论问题。对信源进行观察，观察结果为（），是信源的取值。一般来说，由于有干扰存在，观察过程是非理想的。图2.1是、的非理想观察过程。图2.1 非理想观察过程条件概率，表示了观察过程中干扰的有害影响。

4、条件概率是观察到之后关于输入的概率，称为符号的后验概率。信源观察过程图2.2 非理想观察模型非理想观察模型见图2.2所示。信息是不确定性的减小，通过对信源输出的观察，认识主体所获得的信息为信息 = 先验不确定性 - 后验不确定性 （2.6）2.2.2.3连续信源的数学模型若是连续信源（连续随机变量），其取值区间，统计特性由定义于上的概率密度函数描述。则连续信源的数学模型为： （2.7）2.2.3 离散信源的自信息信源的自信息分为自信息量、条件自信息量和联合自信息量三种，用于量度信息的不确定性的大小。2.2.3.1 自信息量设信源取值的概率为，的自信息量定义为 ， （2.8）表示取值的先验不确定

5、性的大小。若对数底为2，单位为比特（bit）；对数底为，单位为奈特（nat）；对数底为10，单位为迪特（dit）或哈特（Hart）；对数取正整数为底，则称为进制单位。2.2.3.2 联合自信息量联合自信息量是自信息量的自然推广。考虑信源和的联合空间，即，其概率空间为： （2.9）且联合概率是完备的，即 （2.10）二元联合符号的联合自信息量定义为 /二元符号 （2.11）它表示代表联合符号的先验不确定性。2.2.3.3 条件自信息量定义在条件下的条件自信息量为 /符号 （2.12）在条件下的条件自信息量可类似定义。表示在观察到符号的条件下还剩下的不确定性。代表输入且观察到时干扰引入的不确定性。

6、2.2.3.4 自信息量的性质(1) 概率为0时，相应的自信息量无意义。(2) 非负性。三种自信息量均非负。(3) 可加性。推广到多维空间： （2.13）该式称为自信息量可加性的链公式。若所有变量均统计独立，则有 （2.14）2.2.4 离散信源的互信息量及其性质2.2.4.1互信息量的定义当观察输入为，观察结果为，从观察结果中得到的有关输入符号的信息，记为，表示与之间的互信息量。 （2.15）互信息量的概率计算式： （2.16）2.2.4.2 互信息量的性质(1) 互易性：(2) 独立变量的互信息量为0：(3) 互信息量可正可负。当互信息量为正，意味着的出现有助于减小的不确定性；当为负，意味

7、着的出现增大了的不确定性。(4) 互信息量不可能大于符号的实在信息，即 （2.17）2.2.5 离散信源熵 自信息量是针对信源的单个符号而言的，表示单个符号的不确定性。熵表示信源的平均不确定性，是对所有符号的自信息量的统计平均。2.2.5.1离散熵的定义对于DMS信源，离散熵定义为 （2.18）表示信源的统计平均不确定性，单位分别是/符号、/符号、/符号、进制单位/符号。2.2.5.2 离散熵的性质(1) 对称性。 （2.19）其中是的任意置换。(2) 可扩展性。 （2.20）加入零概率事件不会改变熵。(3) 非负性。 （2.21）等号成立的充要条件是：只有一个符号概率为1，其余概率均为0，即

8、确定性概率分布。(4) 强可加性。 （2.22）(5) 可加性。 （2.23）(6) 渐化性（递增性）。 （2.24）(7) 凸状性。是上凸函数。(8) 极值性。 （2.25）对以上性质的证明，将用到两个重要不等式：信息论不等式和香农不等式。信息论不等式：对于任意实数，有不等式，当且仅当时，等式成立。香农不等式： （2.26）当且仅当，等式成立。2.2.6 联合熵和条件熵2.2.6.1 联合熵的定义联合信源的熵称为联合熵，是联合自信息量的统计平均或均值： （2.27）推广到多个信源联合的情形： （2.28）2.2.6.2 条件熵的定义条件熵定义为条件自信息量的统计平均值： （2.29）可类似定

9、义。表示对信道输出进行统计平均后，有关的后验平均不确定性；则是干扰引入的平均不确定性。2.2.7 各类熵之间的关系 （2.30）上式是熵的强可加性的另一种表达方式。当与统计无关时，。 以上关系可进一步推广成 （2.31）2.2.8 平均互信息量及其性质2.2.8.1 平均互信息量的定义信源与之间的平均互信息量，是统计平均意义下的先验不确定性与后验不确定性之差，也是互信息量的统计平均： （2.32）2.2.8.2平均互信息量的性质（1）互易性，即。（2）非负性，即。由非负性可得出熵的一个有用性质。因为，故有 （2.33）说明条件熵不会大于无条件熵，增加条件只可能使不确定性减小；进一步推广，条件多

10、的熵不会大于条件少的熵，即 （2.34）（3）有界性，即 （2.35）各种熵以及平均互信息量之间的关系可用以下文氏图表示。图2.3 熵、平均互信息量关系的文氏图2.2.9 离散无记忆扩展信源的熵离散无记忆信源，考虑任意个相邻时刻的输出随机变量，把看成是一个新的离散无记忆信源的输出，记为，称为的次扩展信源。的熵为 /元符号 （2.36）2.2.10 离散有记忆信源的熵考虑离散有记忆阶平稳信源，用两种熵描述不确定性：联合熵和平均符号熵。联合熵 /长符号串 （2.37）平均符号熵 /符号 （2.38）对于一般的离散有记忆信源，需考虑时的极限熵： /符号 （2.39）2.2.11马尔可夫信源的信息熵2

11、.2.11.1 马尔可夫信源设信源所处的状态序列为，在每一个状态下可能输出的符号序列为。若信源输出的符号序列和状态序列满足下列条件，则为马尔可夫信源：（1）某一时刻信源符号的输出只与当时的信源状态有关，而与以前的状态无关，即 （2.40）其中， 。（2）信源状态只由当前输出符号和前一时刻信源状态唯一确定，即 （2.41）马尔可夫信源的状态空间可表述为 （2.42）其中，状态转移概率，是由信源符号条件概率确定。2.2.11.2 马尔可夫信源的信息熵在状态下发出一个符号的条件熵为 （2.43）一般马尔可夫信源的信息熵只能是其平均符号熵的极限值。即 （2.44）2.2.12 离散信源的信息（速）率和

12、信息含量效率离散信源的信息率定义为平均一个符号所携带的信息量，在数值上等于信源的极限熵：/符号 （2.45）信源的信息含量效率定义为实际的实在信息与最大的实在信息之比：， （2.46）当且仅当是DMS且等概率分布时，。定义信源的相对冗余度为 （2.47）2.2.13 连续信源的微分熵和平均互信息量2.2.13.1 连续信源的微分熵连续信源的微分熵定义为： （2.48）微分熵具有相对意义，不具备非负性。2.2.13.2 连续信源的联合熵和条件熵连续信源和的联合微分熵定义为： （2.49）连续信源和的条件微分熵定义为： （2.50）各类微分熵之间的关系： （2.51）不等关系： （2.52）其中，

13、等号成立的充要条件是与统计独立。2.2.13.4 连续信源的平均互信息任意两个连续信源和之间的平均互信息量的计算式为 （2.53）平均互信息量与微分熵之间的关系： （2.54）具有互易性和非负性。2.2.13.5 微分熵的极大化（1）幅值受限设的取值受限于有限区间，则服从均匀分布时，其熵达到最大。（2）方差受限设的均值为，方差受限为，则服从高斯分布时，其熵达到最大。当的均值为零、平均功率受限为，熵达到最大，最大熵为： （2.55）2.2.13.6 连续信源的熵功率定义的熵功率为： （2.56）显然，熵功率不大于平均功率，即。当且仅当服从高斯分布时，等号成立，熵功率等于平均功率。可以用平均功率与

14、熵功率的差值来表示连续信源的剩余度，即连续信源的剩余度只有高斯分布的信源，其剩余度才为零。2.3 习题参考答案2.1 信源模型2.1.1 试简述信源分类以及各种信源特点。答：根据参数集和值域是离散集合还是连续区间，可将信源分为四类：(1) 时间离散空间离散信源(2) 时间离散空间连续信源(3) 时间连续空间离散信源(4) 时间连续空间连续信源根据各随机变量是否统计相关，可将信源分为两类：（1） 有记忆信源：信源在不同时刻输出的各随机变量是统计相关的（2） 无记忆信源：这种信源的输出序列是一族统计上相互独立的随机变量根据信源的维分布函数是否与时间的起点有关，可分为两类：（1） 平稳信源：信源的维

15、分布函数与时间的起点无关（2） 非平稳信源：信源的维分布函数与时间的起点有关2.2 信息的描述2.2.1 在非理想观察模型中，存在哪些不确定性，它们与信息有何关系？答：在对信源进行观察之前，对认识主体来说，信源存在先验不确定性。观察之后，信源还存在后验不确定性。通过对信源输出的观察，认识主体所获得的信息为：先验不确定性后验不确定性2.3 不确定性与信息2.3.1 (原2.5) 一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序

16、排列，可能有的不同排列状态数就是全排列种数，为 因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 可得，任一特定排列所给出的信息量为 比特 哈特（3） 设事件B为从中抽取13张牌，所给出的点数都不同。 扑克牌52张中抽取13张，不考虑其排列顺序，共有种可能的组合。而扑克牌中每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为。因为牌都是充分洗乱的，所以在这种组合中所有的点数都不相同的事件都是等概率发生的。所以 则事件B发生所得到的信息量为 比特 哈

17、特2.10 同时扔出两个正常的骰子，也就是各面呈现的概率都是，求：（1）“3和5 同时出现”这事件的自信息量。（2）“两个1同时出现”这事件的自信息量。（3）两个点数的各种组合（无序对）的熵或平均自信息量。（4）两个点数之和（即2，3，12构成的子集）的熵。（5）两个点数中至少有一个是1的自信息。解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为，所以36种中任一状态出现的概率相等，为。（1） 设“3和5同时出现”这事件为A。在这36种状态中，3和5同时出现有两种情况，即3，5和5，3。 所以 得 比特（2） 设“两个1同时出现”这个事件为B。在这36种

18、状态中，两个1同时出现只有一种状态，所以 得 比特（3） 设两个点数的各种组合构成信源X。这信源X的符号集A（样本集）就是这36种状态，所以，并且其为等概率分布。得 所以 比特/符号（比特/状态）（4） 设两个点数之和构成信源Z，它是由两个骰子的点数之和组合，即（一般加法）。 而 所以得 满足 这是因为是由加一种状态得到；是由加和加两种状态得到；是由加，加及加三种状态得到，其他类似，由于X与Y统计独立，可得 由此可求出所有的概率分布。（可参见第三章习题解答3.6题。）所以得 比特（5） 在这36种状态中两个点数中至少有一个数是1的状态共有11种，每种状态是独立出现的，每种状态出现的概率是。现设

19、两个点数中至少有一个数是1的事件为C事件，则得 所以得 比特2.3.3 红书，p9，例1.2设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：（1） 红色球和白色球各50只；（2） 红色球99只，白色球1只；（3） 红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：依题意，令R表示事件“取到的是红球”，W表示事件“取到的是白球”，Y表示事件“取到的是黄球”，B表示事件“取到的是蓝球”。（1） 若布袋中有红色球和白色球各50只，即 则 bit （2） 若布袋中红色球99只，白色球1只，即 则 bit bit

20、 （3） 若布袋中有红，黄，蓝，白色各25只，即 bit2.4 离散熵2.4.1 设信源为，。（1）求信源的熵；（2）信源发出由个“0”和(100-)个“1”构成的序列，求序列的自信息量；（3）比较（1）（2）的计算结果。解：（1）H（）= = = 0.54 bit/符号 （2）考虑X为DMS I = mlog+(100-m)log = 3m+(100-m)0.19 = 2.81m+19 bit/符号序列 (3) (1) 计算出的值表示每个信源符号的统计平均信息量。 (2)计算出的值表示序列（长度100）的信息量，此时平均每个符号的信息 量为 bit/符号。2.4.2 （原2.2）2.4.2

21、设信源为求熵，井解释为什么，不满足信源熵的极值性。答案：王虹 解： bit/symbol不满足极值性的原因是2.4.3 （原2.4） 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?答案：王虹老师解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 bit bit平均每个回答中含有的信息量为 bit对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中

22、含有的信息量为 bit 2.5 联合熵和条件熵2.5.1（原2.10（2） 任意三个离散随机变量、和，求证：。答案：王虹老师 (2)要证明不等式成立，等价证明下式成立： 根据熵函数的定义 得证2.5.2 （李梅，27页） 设随机变量X的概率分布为。随机变量Y是X的函数，其分布为将X的4个最小的概率分布合并为一个：（1） 显然，请解释原因；（2） 请解释为什么？（3） 计算，；（4） 计算 并解释其结果解：（1） 根据熵的极限性，当随机变量等概率分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为，随机变量X不是等概率分布，所以。（2） 根据熵的递增性,（3） 比特/符号 比特/符号（4

23、） 因为随机变量Y是X的函数，所以 比特/符号 比特/符号2.6 平均互信息及其性质2.6.1 （原2.6） 设随机变量和的联合概率空间为定义一个新随机变量（普通乘积）。 （1）计算熵、以及；（2）计算条件熵、以及；（3）计算互信息量、以及； 解 （1） bit/symbol的概率分布如下 由得由对称性可得（2）Hpp=-H=H-HH=H-HH=H-HH=H-HH=H-HH=H-HH=H-HH=H-HH=H-H(3)2.6.2 （原2.10） 任意三个离散随机变量、和，求证：(1) 答案：王虹证明：（1） 方法一：利用定义证明。左边=右边= = = = = = = =得证方法二：利用性质证明。

24、因为 所以 可得 得证。2.6.3 （李梅 3.3） 3.3 有一离散无记忆信源，其输出为X0，1，2，相应的概率为p=，p=，p=，设计两个独立试验去观察它，其结果分别为Y0，1 , Y0，1 ,已知条件概率如表3.1所列。 表 3.10 101 010 121/2 1/20011120(1) 求和，并判断哪一个实验好些；(2) 求并计算做Y和Y两个试验比做Y或Y中的一个十堰得多少关于X的信息；(3) 求和,并解释它们的含义。解：(1) ，要求和需要先求，已知。,要求和需要先求，已知。由及联合概率分布与边缘概率分布的关系可得及，如表3-2所示，所以 比特/符号比特/符号同样可求出和 如表3.

25、3所示表3.20100102表3.301001020因此第二个实验好些。（2） 表3.400011011000001001/201/2表3-5000110110 1/4000100 1/4020 1/40 1/4 1/4 1/4 1/4 1/4 可以看出：做和两个实验比做一个实验可多得到的信息为做和两个实验比做一个实验可多得到的信息为（3），它表示做完实验以后，从实验可得到关于的信息量。,它表示做完实验以后，从实验可得到关于的信息量。2.6.4 （原2.8）若三个离散随机变量、和有如下关系：（普通加法），其中和相互统计独立。试证明：证明：（1）因为Z=+ (2) 则（x,y）=（x,z）,即联

26、合事件和Z的概率空间购成一一映衬。 又因为与相互独立， 所以H()=H(|Z) = - = - = - = - = H(z|x) H(z) 同理 H（）H（z） （3）因为与相互独立，所以 H（x,）=H（x）+H（） =H（x）+H（z|x） =H（x，z） H(z) 得证。 （4）利用前面结论 I （x；z)=H(z)-H(z|x) =H(z)-H（） (5） I （x；z)=H(z)-H(z|x) = H(z) （6） I （x；z)=H(x)-H(x|z) =H（x） （7） I （；z|x)=H(x|z)-H(z) =H（x|z） =H() （8） I （x；z)=H(x|z)-H(

27、z) =H（x|z） 或 I （x；z)=H(|z)-H(|zx) =H（x|z）2.6.5 （原2.9）设随机变量和相互统计独立，且它们均等概率取值。定义新随机变量（模2和），计算：（1）、以及；（2）、以及；（3）、以及；（4）、以及；（5）、以及。解：= ； ；（1） bit/符号 bit/符号 bit/符号 =1+log2 =2 bit/符号 =1+log2 =2 bit/符号 =2 bit/符号（2） =1 bit/符号 bit/符号bit/符号（3）=0=0=0（4） =1 bit =1 bit（5） =0 bit =1 bit =1 bit2.7 离散无记忆信源的扩展2.7.1

28、每帧电视图像可看成是由个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设亮度电平是等概出现的。问每帧图像含有多少信息量？现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，（1）试问广播员描述此图像所广播的信息量是多少？（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？答案：王虹解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为得每个像素亮度含有的信息量为：一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆次扩展信源。得每帧图像含有的信息量为 广

29、播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是 得该汉字字汇中每个汉字含有的信息量 广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述。所以，广播员描述此帧图像所广播的信息量为 若广播员仍从此汉字字汇信源中独立地选取汉字来描述电视图像，每次口述一个汉字含有信息量是,每帧电视图像含有的信息量是,则广播员口述此图像至少需用的汉字数等于 2.7.2 （红书，45页）例2.10 设信源发出二重延长消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10

30、1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次扩展信源的共熵。解：由题知X,Y的联合概率分布如下：ABCD 1/8 1/10 1/36E 1/8 1/15 1/12F 1/8 1/15 1/36G 1/8 1/10 1/36所以 2.8 离散有记忆信源的熵2.8.1 （07）2.18 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按 的概率发出符号。（1）试问这个信源是否是平稳的？（2）试计算,及；（3）试计算并写出信源中可能有的所有符号。解：（1） 此信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布

31、与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。因此这个信源是平稳信源，而且是离散无记忆信源。（2）（3） 的所有符号：2.8.2 （红书，38页）例2.2 设某离散平稳信源，概率空间为并设信源发出的符号只与前一个符号有关（相邻），其联合概率为,如下所示： 0120 1/4 1/1801 1/18 1/3 1/1820 1/18 7/36求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。解：因为边沿分布条件分布概率如下：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信息熵： 条件熵： 联合熵： 或 可知 解释：（1）信源的条件熵比信源熵少0.

32、672bit/符号。这是由符号之间的相互依存性造成的。（2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为 因此 原因：略去了和之间的依赖性。2.9 马尔可夫信源的信息熵2.9.1 （原2.19） 黑白气象传真图的消息只有黑色和白色两种，即信源，设黑色出现的概率为，白色的出现概率为。（1）假设图上黑白消息出现前后没有关联，求熵（2）假设图上黑白消息出现前后有关联，其依赖关系为， ，求此一阶马尔可夫信源的熵。（3）分别求上述两种信源的剩余度，并比较和的大小，试说明其物理意义。答案：王虹老师解：（1）假设黑白气象传真图上黑白消息出现的前后没有关联，则等效于一个离

33、散无记忆信源，信源概率空间为信源的信息熵 （2）假设黑白气象传真图的消息前后有关联时，从给出的依赖关系可知，黑白消息之间的依赖关系与时间无关，并且满足一阶马尔可夫信源的定义。此一阶马尔可夫信源为 其状态集。从给出的依赖关系可以画出其状态转移图，如图2.3所示，并从图中可得状态的一步转移矩阵0.80.20.10.9黑白图2-3 状态转移图此马尔可夫链是时齐的，状态数有限，且是不可约闭集。所以状态的极限概率存在，其满足即 由此求得 此一阶马尔可夫信源的熵为注意：现计算得到的状态极限概率Q（黑）、Q（白）的值不完全等于题中给出的黑白出现的概率P（黑）、P（白）。所以计算一阶马尔可夫信源的熵时不能用P（黑）和P（白）来计算。若此题最初