《信息论试验作业.doc》由会员分享，可在线阅读，更多相关《信息论试验作业.doc（3页珍藏版）》请在三一文库上搜索。
1、Matlab 程序1、基本要求：编写计算离散随机变量的熵、联合熵、条件熵、互信息的 2、输入：一个离散的概率分布3、输出：信息量(单位比特)4、函数说明：熵 e=Entropy ( x )x 是一个向量表示一个离散的概率分布联合熵 e=JEntropy ( xy )xy 联合分布密度函数条件熵 e=CEntropy (xy， sign )xy 联合分布密度函数 ，sign= x' 表示 y 关于 x 的条件概率， sign= y' 表示 x 关于 y 的条件概率互信息 e=IInfo ( xy )xy 联合分布密度函数% 程序：function e=Entropy(x)%熵 ,
2、x 是一个向量表示一个离散的概率分布x(x=0)=1;e=-sum(x.*log2(x) %function e=JEntropy(xy)%联合熵 ,xy 联合分布密度函数xy(xy=0)=1;e=-sum(sum(xy.*log2(xy) %function e=CE ntropy(xy,sig n) %条件熵.xy =联合分布密度函数,sign= x'表示y关于x的条件概率x=sum(xy,2);y=sum(xy,1);if sig n='x'e=JE ntropy(xy)_E ntropy(x);elseif sig n='y'e=JE ntrop
3、y(xy)_E ntropy(y);else e=FALSEendend% function e=II nfo(xy)%互信息，xy联合分布密度函数x=sum(xy,2);y=sum(xy,1);e=log2(xy)-log2(x*y)%利用下表中的数据进行测试，结果如下:aja01201/41/18011/1811/181/31/184/9201/187/361/411/364/91/4测试结果：>>x=11/36 4/9 1/4 >> Entropy(x)e =>>xy=1/4 1/18 01/18 1/3 1/180 1/18 7/36>> JEntropy(xy)e =>> CEntropy(xy,'y')e =>> e=IInfo(xy)e =-Inf-Inf