《第8章 微分熵.ppt》由会员分享，可在线阅读，更多相关《第8章 微分熵.ppt（19页珍藏版）》请在三一文库上搜索。
1、一、时不变连续信源及其微分熵,1、时不变连续信源,定义,如果任何时刻信源发出的消息都是单一符号，而这些符号的取值是连续的，该信源为时不变连续信源。,表示,第8章 微分熵,信源符号X取值于集合a , b,式中，p(x)为连续消息的概率密度函数,例1,例2,假定概率密度函数p(x)如图所示,2、时不变连续信源的微分熵,连续消息落在第i个区域的概率,根据中值定理,熵,微分熵不能作为连续信源的信息度量。,定义微分熵的目的：,微分熵,表示,熵差具有信息度量的意义 与离散信源的熵在形式上统一,均匀分布信源的微分熵,3、几种时不变连续信源的微分熵,高斯分布信源的微分熵,指数分布信源的微分熵,不具有非负性,例
2、如，当b-a1时，均匀分布信源的微分熵, 严格上凸性,4、微分熵的主要性质,5、最大微分熵定理,连续信源没有一般意义下的最大微分熵，只有限制条件下的最大微分熵。,通常讨论三种限制条件：,取值范围受限 平均功率受限 均值受限,如果连续消息取值范围被限定在a,b，该限定域内的均匀分布信源具有最大微分熵，该最大微分熵h(X)max=log(b-a),取值范围受限下的最大微分熵定理,设p(x)是限定域a,b内的任何概率密度函数,平均功率受限下的最大微分熵定理,如果连续消息的平均功率被限定为P，均值为零、方差为该平均功率的高斯分布信源具有最大微分熵，该最大微分熵h(X)max=log(2eP)/2,设p(x)是任何概率密度函数，且,如果非负连续消息的均值被限定为m，均值为该限定值的指数分布信源具有最大微分熵，该最大微分熵h(X)max=log(em),均值受限下的最大微分熵定理,设p(x)是非负域的任何概率密度函数，且,