信息理论基础2信息的统计度量.ppt

《信息理论基础2信息的统计度量.ppt》由会员分享，可在线阅读，更多相关《信息理论基础2信息的统计度量.ppt（217页珍藏版）》请在三一文库上搜索。

1、2004-07-29,第1/103页,第2章 信息的统计度量,第2章,2.1 自信息量和条件自信息量 2.2 互信息量和条件互信息量 2.3 离散集的平均自信息量 2.4 离散集的平均互信息量 2.5 连续随机变量的互信息量和相对熵,2004-07-29,第2/103页,2.1 自信息量和条件自信息量,2.1.1 自信息量 2.1.2 条件自信息量,2004-07-29,第3/103页,2.1.1 自信息量.1,今年冬天比夏天冷,今年冬天比夏天热,两则消息,很正常，在我的有生之年年年如此啊 废话一般 没有任何信息,是吗？太不正常了，在我的有生之年我还没遇到过 老天爷发疯了么：难道外星人来了？彗

2、星撞地球了？ 我发疯了么：我没听错吧？我脑子有问题了么？ 你发疯了吧：散布妖言？,含有极其丰富的信息,2004-07-29,第4/103页,2.1.1 自信息量.2,信息量与消息的发生概率有关： 越不可能的消息，包含的信息量越多； 确定无疑的消息，包含的信息量为零,有一个比较简单的函数满足上述特性：,2004-07-29,第5/103页,2.1.1 自信息量.3,2004-07-29,第6/103页,2.1.1 自信息量.4,定理2.1.1 任意随机事件的自信息量定义为该事件发生概率的 对数的负值,？,自信息量没有单位,2004-07-29,第7/103页,2.1.1 自信息量.5,自信息量的

3、单位,2004-07-29,第8/103页,2.1.1 自信息量.6,自信息量各单位之间的换算关系,使用的公式,2004-07-29,第9/103页,2.1.1 自信息量.7,同理可得,2004-07-29,第10/103页,2.1.1 自信息量.8,定理2.1.2 联合自信息量定义为,定理2.1.2是定理2.1.1的自然推广,2004-07-29,第11/103页,2.1.1 自信息量.9,例2.1.1,一信息源会发出4个符号：0、1、2、3、4。这4个符号出现的概率分别为： ，同时各个符号的出现都是独立的。,求：下面这个消息的自信息量： 20102013021300120321010032

4、1010002310200201031203210012021,2004-07-29,第12/103页,2.1.1 自信息量.10,此消息中0出现23次，1出现14次，2出现13次，3出现7次。由于出现是独立的，因此出现此消息的概率为：,此消息的自信息量为：,2004-07-29,第13/103页,2.1.2 条件自信息量.1,定理2.1.2,自信息量定义的自然推广,2004-07-29,第14/103页,2.1.2 条件自信息量.2,例2.1.2,设在一正方形棋盘上共有64个方格，如果甲将一枚棋子随意放在棋盘上的某一方格，且让乙猜测棋子所在的位置。 （1）将方格按照顺序编号，令乙猜测棋子所在

5、方格的序号 （2）将方格按行和列编号，甲将棋子所在方格的行编号告诉乙之后，再令乙猜测棋子所在的列 求：以上两种情况所包含的信息量,2004-07-29,第15/103页,2.1.2 条件自信息量.3,解：,2004-07-29,第16/103页,2.2 互信息量和条件互信息量,2.2.1 互信息量 2.2.2 互信息量的性质 2.2.2 条件互信息量,内容,2004-07-29,第17/103页,2.2.1 互信息量.1,介绍几个名词,符号消息,消息的表现形式为符号，例如a,b,c,0,1,2等等,通信系统中的符号消息,由于通信系统中信宿（消息的接收者）并不知道信源（消息的发送者）发送的是哪一

6、个消息，因此每个符号消息是一个随机事件,2004-07-29,第18/103页,2.2.1 互信息量.2,先验概率,2004-07-29,第19/103页,2.2.1 互信息量.3,后验概率,2004-07-29,第20/103页,2.2.1 互信息量.4,解释,2004-07-29,第21/103页,2.2.1 互信息量.5,理想信道（假设，不符合实际情况）,2004-07-29,第22/103页,2.2.1 互信息量.6,2004-07-29,第23/103页,2.2.1 互信息量.7,2004-07-29,第24/103页,2.2.1 互信息量.8,简单的解决办法,2004-07-29,

7、第25/103页,2.2.1 互信息量.9,回到我们的例子,2004-07-29,第26/103页,2.2.1 互信息量.10,回顾整个过程,2004-07-29,第27/103页,2.2.1 互信息量.11,2004-07-29,第28/103页,2.2.1 互信息量.12,2004-07-29,第29/103页,2.2.1 互信息量.13,后验概率不是0就是1，相同的是1，不相同的就是0。 引入此概念有什么意思？,2004-07-29,第30/103页,2.2.1 互信息量.14,2004-07-29,第31/103页,2.2.1 互信息量.15,如果信道噪声变为下面的形式,2004-07

8、-29,第32/103页,2.2.1 互信息量.16,2004-07-29,第33/103页,2.2.1 互信息量.17,2004-07-29,第34/103页,2.2.1 互信息量.18,对先验概率和后验概率有了一定了解，后面会具体讲计算的问题,2004-07-29,第35/103页,2.2.1 互信息量.19,定义2.2.1,2004-07-29,第36/103页,2.2.1 互信息量.20,初步分析互信息量,2004-07-29,第37/103页,2.2.1 互信息量.21,初步分析互信息量,收到符号“1”时，信源发出的消息必为“1”，因此在这一条件之下，信源发出消息为“1”这一事件所包

9、含的信息为“0”,2004-07-29,第38/103页,2.2.1 互信息量.22,初步分析互信息量,收到符号“1”时，所获得的信源发送消息为“1”的分布，仍为先验概率，表明两者之间有密切的关系,2004-07-29,第39/103页,2.2.1 互信息量.23,初步分析互信息量,收到符号“1”时，信源发出的消息为“1”概率等于先验概率，因此在这一条件之下，信源发出消息为“1”这一事件所包含的信息量为自信息量,2004-07-29,第40/103页,2.2.1 互信息量.24,初步分析互信息量,收到符号“1”时，不能所获得的信源发送消息为“1”的分布，表明两者之间有独立的关系,2004-07

10、-29,第41/103页,2.2.2 互信息量的性质.1,1.互信息量的互易性,证明,2004-07-29,第42/103页,2.2.2 互信息量的性质.2,1.互信息量的互易性,2004-07-29,第43/103页,2.2.2 互信息量的性质.3,2.互信息量可为零,2004-07-29,第44/103页,2.2.2 互信息量的性质.4,3.互信息量可正可负,2004-07-29,第45/103页,2.2.2 互信息量的性质.5,举例解释可负的原因,2004-07-29,第46/103页,2.2.2 互信息量的性质.6,2004-07-29,第47/103页,2.2.2 互信息量的性质.7

11、,2004-07-29,第48/103页,2.2.2 互信息量的性质.8,2004-07-29,第49/103页,2.2.2 互信息量的性质.9,我们的问题,2004-07-29,第50/103页,2.2.2 互信息量的性质.10,从前面已经知道y=0是不可能事件，那么x=0|y=0也是不可能事件,2004-07-29,第51/103页,2.2.2 互信息量的性质.11,因为信道噪声太强大了，掩盖了传输的信号，信号畸变，接收到的消息不利于判断输入的信息,例子： 你不说我还明白，你越说我越糊涂,2004-07-29,第52/103页,2.2.2 互信息量的性质.12,4.互信息量不能大于自信息量

12、,证明,2004-07-29,第53/103页,2.2.2 互信息量的性质.13,4.互信息量不能大于自信息量,2004-07-29,第54/103页,2.2.2 互信息量的性质.14,例2.2.1,2004-07-29,第55/103页,2.2.2 互信息量的性质.15,解,2004-07-29,第56/103页,2.2.2 互信息量的性质.16,2004-07-29,第57/103页,2.2.2 互信息量的性质.17,2004-07-29,第58/103页,2.2.3 条件互信息量.1,定义2.2.2,2004-07-29,第59/103页,2.2.3 条件互信息量.2,进一步说明,200

13、4-07-29,第60/103页,2.2.3 条件互信息量.3,2004-07-29,第61/103页,2. 3 离散集中的平均自信息量,2.3.1 平均自信息量（熵） 2.3.2 熵函数的数学特性 2.3.3 条件熵 2.3.4 联合熵 2.3.5 各种熵的性质 2.3.6 加权熵,2004-07-29,第62/103页,2.3.1 平均自信息量（熵）.1,随机变量,自信息量无法衡量整个信源的信息测度,引入平均自信息量：信息熵,2004-07-29,第63/103页,2.3.1 平均自信息量（熵）.2,定义2.3.1,2004-07-29,第64/103页,2.3.1 平均自信息量（熵）.3

14、,信息熵的单位取决于对数的底,例子,2004-07-29,第65/103页,2.3.1 平均自信息量（熵）.4,例2.3.11,2004-07-29,第66/103页,2.3.1 平均自信息量（熵）.5,解：,2004-07-29,第67/103页,2.3.1 平均自信息量（熵）.6,例2.3.12,已知： 一篇千字文，每字可从万字表中任选， 每篇千字文等概率出现 求： 一篇千字文可提供的平均信息量,2004-07-29,第68/103页,2.3.1 平均自信息量（熵）.7,解,2004-07-29,第69/103页,2.3.1 平均自信息量（熵）.8,例2.3.2,2004-07-29,第7

15、0/103页,2.3.1 平均自信息量（熵）.9,解,2004-07-29,第71/103页,2.3.2 熵函数的数学特性.1,2004-07-29,第72/103页,2.3.2 熵函数的数学特性.2,2004-07-29,第73/103页,2.3.2 熵函数的数学特性.3,定义2.3.2 上凸函数,2004-07-29,第74/103页,2.3.2 熵函数的数学特性.4,直观解释,2004-07-29,第75/103页,2.3.2 熵函数的数学特性.5,引理2.3.1,2004-07-29,第76/103页,2.3.2 熵函数的数学特性.6,引理2.3.1的推广,2004-07-29,第77

16、/103页,2.3.2 熵函数的数学特性.7,引理2.3.1的推广,书上的结论有问题,2004-07-29,第78/103页,2.3.2 熵函数的数学特性.8,1.熵的对称性,2004-07-29,第79/103页,2.3.2 熵函数的数学特性.9,例子,三个信源，概率空间分别为,求： 信息熵H(X),H(Y),H(Z),2004-07-29,第80/103页,2.3.2 熵函数的数学特性.10,解,2004-07-29,第81/103页,2.3.2 熵函数的数学特性.11,对称性的物理意义,信息熵的对称性说明熵仅与随机变量的总体结构有关（例如，信源的信息熵仅与信源的总体结构有关）,2004-

17、07-29,第82/103页,2.3.2 熵函数的数学特性.12,例：2.3.3,已知： A、B两地的天气情况如表。,求： 信息熵,2004-07-29,第83/103页,2.3.2 熵函数的数学特性.13,解,2004-07-29,第84/103页,2.3.2 熵函数的数学特性.14,信息熵没有反映出关于冰雹的差别：信息熵的局限,2004-07-29,第85/103页,2.3.2 熵函数的数学特性.15,2.熵的非负性,证明,2004-07-29,第86/103页,2.3.2 熵函数的数学特性.16,2004-07-29,第87/103页,2.3.2 熵函数的数学特性.17,3.熵的扩展性,

18、2004-07-29,第88/103页,2.3.2 熵函数的数学特性.18,熵扩展性的含义,如果两个集合的唯一差别是一个概率接近于0的事件，那么两个集合的熵是一样的,2004-07-29,第89/103页,2.3.2 熵函数的数学特性.19,4.熵的可加性,2004-07-29,第90/103页,2.3.2 熵函数的数学特性.19,2个随机变量的熵的定义形式,2个随机变量的联合概率,2004-07-29,第91/103页,2.3.2 熵函数的数学特性.20,2004-07-29,第92/103页,2.3.2 熵函数的数学特性.21,2004-07-29,第93/103页,2.3.2 熵函数的数

19、学特性.22,先看第一项,2004-07-29,第94/103页,2.3.2 熵函数的数学特性.23,2004-07-29,第95/103页,2.3.2 熵函数的数学特性.24,再看第二项,2004-07-29,第96/103页,2.3.2 熵函数的数学特性.25,2004-07-29,第97/103页,2.3.2 熵函数的数学特性.26,4.熵的可加性的推论,当二维随机变量X、Y相互统计独立时，有,2004-07-29,第98/103页,2.3.2 熵函数的数学特性.27,证明,明确符号意义,2004-07-29,第99/103页,2.3.2 熵函数的数学特性.28,X,Y相互独立,2004

20、-07-29,第100/103页,2.3.2 熵函数的数学特性.29,与i无关,1,2004-07-29,第101/103页,2.3.2 熵函数的数学特性.30,5.熵的极值性,说明,在离散的情况下，集合X中的各事件等概率发生时，熵达到极大值。n越大，熵值越大,2004-07-29,第102/103页,2.3.2 熵函数的数学特性.31,引理2.3.2,引理2.3.3,2004-07-29,第103/103页,2.3.2 熵函数的数学特性.32,证明,根据引理2.3.3,2004-07-29,第104/103页,2.3.2 熵函数的数学特性.33,例,2004-07-29,第105/103页,

21、2.3.2 熵函数的数学特性.34,6.确定性,2004-07-29,第106/103页,2.3.2 熵函数的数学特性.35,7.上凸性,证明,2004-07-29,第107/103页,2.3.2 熵函数的数学特性.36,乘积展开,【】后乘1,分子单独提出,分别取对数,2004-07-29,第108/103页,2.3.2 熵函数的数学特性.37,熵的表达式,?,2004-07-29,第109/103页,2.3.2 熵函数的数学特性.38,引理2.3.3,2004-07-29,第110/103页,2.3.3条件熵.1,前述的信息熵:单个信源(概率空间)的不确定性的度量,实际应用中,需要考虑两个或

22、者两个以上的概率空间之间的相互关系,故要引入条件熵,定义2.3.3 条件熵,2004-07-29,第111/103页,2.3.3 条件熵.2,条件熵的数学表达式,随机变量,2004-07-29,第112/103页,2.3.3 条件熵.3,条件熵的例子,出现的概率,2004-07-29,第113/103页,2.3.4 联合熵.1,定义2.3.4 联合熵,2004-07-29,第114/103页,2.3.5 各种熵的性质.1,1。联合熵与信息熵、条件熵的关系,或者,联合熵X的熵在X的条件下的条件熵H（Y|X）,或者,联合熵Y的熵在Y的条件下的条件熵H（X|Y）,2004-07-29,第115/10

23、3页,2.3.5 各种熵的性质.2,性质1的推论,性质1的推论,2004-07-29,第116/103页,2.3.5 各种熵的性质.3,性质1的推广,举例,2004-07-29,第117/103页,2.3.5 各种熵的性质.4,2。联合熵与信息熵的关系,证明,2004-07-29,第118/103页,2.3.5 各种熵的性质.5,2004-07-29,第119/103页,2.3.5 各种熵的性质.6,根据引理2.3.3,2004-07-29,第120/103页,2.3.5 各种熵的性质.7,推论1：等式成立的条件是X与Y统计独立,证明,2004-07-29,第121/103页,2.3.5 各种

24、熵的性质.8,推论2,当X,Y取自同一符号集时，有,证明,当X,Y取自同一符号集时，有,2004-07-29,第122/103页,2.3.5 各种熵的性质.9,推论3,等式成立的条件是相互统计独立,2004-07-29,第123/103页,2.3.5 各种熵的性质.10,3。条件熵与信息熵的关系,证明,由图可知：f(x)为上凸函数,2004-07-29,第124/103页,2.3.5 各种熵的性质.11,2004-07-29,第125/103页,2.3.5 各种熵的性质.12,等式成立的条件：X,Y相互独立,2004-07-29,第126/103页,2.3.5 各种熵的性质.13,例2.3.4

25、,2004-07-29,第127/103页,2.3.5 各种熵的性质.14,解,先验概率,2004-07-29,第128/103页,2.3.5 各种熵的性质.15,信息熵,2004-07-29,第129/103页,2.3.5 各种熵的性质.16,联合熵,2004-07-29,第130/103页,2.3.5 各种熵的性质.17,条件熵,2004-07-29,第131/103页,2.3.5 各种熵的性质.18,条件熵,2004-07-29,第132/103页,2.3.5 各种熵的性质.19,2004-07-29,第133/103页,2.3.6 加权熵.1,上海和南京两地的信息熵相等,2004-07

26、-29,第134/103页,2.3.6 加权熵.2,设有随机变量X，引入事件的权重之后，概率空间为：,2004-07-29,第135/103页,2.3.6 加权熵.3,定义2.3.5,2004-07-29,第136/103页,2. 4 离散集的平均互信息量,2.4.1 平均条件互信息量 2.4.2 平均互信息量 2.4.3 平均互信息量的性质,2004-07-29,第137/103页,2. 4.1 平均条件互信息量.1,定义2.4.1,2004-07-29,第138/103页,2. 4.1 平均条件互信息量.2,互信息量,平均互信息量,平均条件互信息量,2004-07-29,第139/103页

27、,2. 4.1 平均条件互信息量.3,表达式,2004-07-29,第140/103页,2. 4.1 平均条件互信息量.4,定理2.4.1,证明,2004-07-29,第141/103页,2. 4.1 平均条件互信息量.5,符合物理意义： 当两者独立时，不可能从一个的发生，获得另外 一个随机变量的信息,2004-07-29,第142/103页,2. 4.2 平均互信息量,定理2.4.2 平均互信息量,2004-07-29,第143/103页,2. 4.3 平均互信息量.1,1.非负性,证明,底转换,x,2004-07-29,第144/103页,2. 4.3 平均互信息量.2,2.互易性,证明,

28、从集Y中获得的X的信息量 从集X中获得的Y的信息量,2004-07-29,第145/103页,2. 4.3 平均互信息量.3,3.平均互信息量和各类熵的关系,（1）与熵、条件熵的关系,证明,信息熵,条件熵,2004-07-29,第146/103页,2. 4.3 平均互信息量.4,（2）与熵、联合熵的关系,证明,2004-07-29,第147/103页,2. 4.3 平均互信息量.5,回顾各种熵之间的关系,联合熵,信息熵,条件熵,平均互信息量,2004-07-29,第148/103页,2. 4.3 平均互信息量.6,回顾各种熵之间的关系,信息熵,条件熵,平均互信息量,2004-07-29,第14

29、9/103页,2. 4.3 平均互信息量.7,2004-07-29,第150/103页,2. 4.3 平均互信息量.8,4.极值性,证明,2004-07-29,第151/103页,2. 4.3 平均互信息量.9,4.凸函数性,证明同信息熵的证明,2004-07-29,第152/103页,2. 5 连续随机变量的互信息和相对熵,描述连续随机变量统计特征的量,2004-07-29,第153/103页,2. 5.1 连续随机变量的互信息.1,定义2.5.1 连续随机变量的互信息,概率之比,概率之比,概率密度之比,2004-07-29,第154/103页,2. 5.1 连续随机变量的互信息.2,定义2

30、.5.2 连续随机变量的平均互信息,平均的概念,2004-07-29,第155/103页,2. 5.1 连续随机变量的互信息.3,连续随机变量平均互信息的性质,1. 非负性,2. 对称性,2004-07-29,第156/103页,2. 5.1 连续随机变量的互信息.4,例 2.5.1,解,归一化相关函数,X的均方差,Y的均方差,X的均值,Y的均值,2004-07-29,第157/103页,2. 5.1 连续随机变量的互信息.5,X和Y的边缘分布函数为：,2004-07-29,第158/103页,2. 5.1 连续随机变量的互信息.6,结果分析,归一化相关函数（归一化相关系数）,2004-07-

31、29,第159/103页,2. 5.2 连续随机变量的信息熵.1,回顾离散随机变量的信息熵：,信息熵的数学期望,引出连续随机变量的信息熵：,2004-07-29,第160/103页,2. 5.2 连续随机变量的信息熵.2,2004-07-29,第161/103页,2. 5.2 连续随机变量的信息熵.3,分析,2004-07-29,第162/103页,2. 5.2 连续随机变量的信息熵.4,0,不能确定为有限数,相对熵，微分熵，熵,2004-07-29,第163/103页,2. 5.2 连续随机变量的信息熵.5,例 2.5.2,解,2004-07-29,第164/103页,2. 5.2 连续随机

32、变量的信息熵.6,联合熵,条件熵,2004-07-29,第165/103页,2. 5.2 连续随机变量的信息熵.7,连续变量各种熵之间的关系,2004-07-29,第166/103页,2. 5.2 连续随机变量的信息熵.8,例,证明,2004-07-29,第167/103页,2. 5.2 连续随机变量的信息熵.9,2004-07-29,第168/103页,2. 5.2 连续随机变量的信息熵.10,2004-07-29,第169/103页,2. 5.2 连续随机变量的信息熵.11,2004-07-29,第170/103页,2. 5.2 连续随机变量的信息熵.12,类似有,2004-07-29,第

33、171/103页,习题.1,习题1,2004-07-29,第172/103页,习题.1,习题1题解,女孩中身高1米6的大学生,2004-07-29,第173/103页,习题.1,习题1题解,2004-07-29,第174/103页,习题.1,习题1题解,2004-07-29,第175/103页,习题.2,习题2,2004-07-29,第176/103页,习题.2,习题2题解,2004-07-29,第177/103页,习题.2,习题2题解,2004-07-29,第178/103页,习题.2,习题2题解,2004-07-29,第179/103页,习题.2,习题2题解,2004-07-29,第180

34、/103页,习题.2,习题2题解,2004-07-29,第181/103页,习题.3,习题3,2004-07-29,第182/103页,习题.3,习题3题解,2004-07-29,第183/103页,习题.3,习题3题解,2004-07-29,第184/103页,习题.3,习题3题解,2004-07-29,第185/103页,习题.4,习题4,2004-07-29,第186/103页,习题.4,习题4题解,2004-07-29,第187/103页,习题.4,习题4题解,2004-07-29,第188/103页,习题.4,习题4题解,2004-07-29,第189/103页,习题.5,习题5,2

35、004-07-29,第190/103页,习题.5,习题5题解,2004-07-29,第191/103页,习题.5,习题5题解,证法一,2004-07-29,第192/103页,习题.5,习题5题解,2004-07-29,第193/103页,习题.5,习题5题解,证法二,2004-07-29,第194/103页,习题.5,习题5题解,2004-07-29,第195/103页,习题.5,习题5题解,证法三,2004-07-29,第196/103页,习题.5,习题.5,习题5题解,解释：,当信源符号趋于等概率分布时，信源的熵增加,2004-07-29,第197/103页,习题.6,习题6,2004-

36、07-29,第198/103页,习题.6,习题6题解,新来的,2004-07-29,第199/103页,习题.6,习题6题解,2004-07-29,第200/103页,习题.6,习题6题解,物理意义：,2004-07-29,第201/103页,习题.7,习题7,2004-07-29,第202/103页,习题.7,习题7题解,2004-07-29,第203/103页,习题.7,习题7题解,2004-07-29,第204/103页,习题.7,习题.7,习题7题解,2004-07-29,第205/103页,习题.8,习题8,2004-07-29,第206/103页,习题.8,习题8题解,联合概率表达

37、式,证法一,2004-07-29,第207/103页,习题.8,习题8题解,2004-07-29,第208/103页,习题.8,习题8题解,2004-07-29,第209/103页,习题.8,习题8题解,证法二,2004-07-29,第210/103页,习题.8,习题8题解,证法一：,2004-07-29,第211/103页,习题.8,习题8题解,2004-07-29,第212/103页,习题.8,习题8题解,2004-07-29,第213/103页,习题.8,习题8题解,何时等号成立啊？,2004-07-29,第214/103页,习题.8,证法二：,习题8题解,2004-07-29,第215/103页,习题.8,习题8题解,2004-07-29,第216/103页,习题.9,习题9,2004-07-29,第217/103页,习题.9,习题9,