《信息论完整公式.docx》由会员分享，可在线阅读，更多相关《信息论完整公式.docx（5页珍藏版）》请在三一文库上搜索。
1、自信息量= 47-） = 一 log （.，）= log - P（* 条件自信息量：“阳 .匕）=- log p（xt /y ） = log1-户（芭/匕）联合自信息量：【（2，yj） = - log p（叫,j - ） = log - 必吃，匕）信源嫡：H（X） = EI（jc）= 一M巧）log p（K；）条件嫡：1（茗/兄）=一108（茗勺，）=log-P香农辅助文理对于任点:n维概率欠旱:P = 5bP& -尹；和Q =（守,3 ,卜列不等式成立 一H之 ,&Q = -S 尸3。昌R 三一2七1csz等号仅节P=Q时成立, 条T牛外商小于 4言源巾荀;当且仅当V不nx+H，凄H 口：u
2、h Py|70=lM)再式安二. 两个省任下的条件娴小于一个条个卜尸门勺条件脑工 IKNIX.Y) WIKN|X) 联合脑小广侑初X料之不展 IRX.Y):种在达方式/%;工是了对，的平均2行；息：“X:F)= 了丁”(巧；)= P(巧心)14”;弋1 = / = 1川与，F：X)是A%J的平均”心总：1 - *F(JT.T) = f ”)/。,；曰)=工2 p】 呼二 一*；，rT /=1i=l /=1P(J，)利用工余式八/=空”.可指JH 中(冯7(.v；n = VXypioPl f 句用必阳以心)从三种不同用小说叨从一个事件荻得另一个事件的 平均 H信息需 要泊除不确定皮，一旦消除了不
3、确定 度，就荻得了信息.此即“信息就是负郊旷(1) Z(AR；y)=H(_X/Y(2) Z(y；A) = H(F日(F/X)(3) Z(A：y)= ZZ(.Y) + HY)- RAY)注伸：7fm后”分另U为ju和yf内先验不定展(工厅)延F关产凶拘后险不定度，或称信道疑义度，它正代丧了宿道中损失 的信息，又称损失煽日(F/X)发出丫后美工的疝验不定度常称噪声嫡显人力询定理H ( * ) = H d. /，/= log AZAfA/离畋无记忆信颇怖出N4个不I可的信息的:G,1 II.仪 r 各 个符号出见杷t率和笛|寸，峭上心人, 离散 白 记忆外：源的序 列炳和 酒总燧J(X)=日区)+
4、77( A /_) + .+ H1X = / 工X j )L= H(X/ /)7=i1I AHJX1=7H(*)=X )LL 7=1定义信息效率:H丈(X) n -凡,(X) 定义冗余度：/ = 1 / =H式X、 HmX)限平均功率最大嫡定理：对于相关矩阵一定随机变量X ,当它是正态分布时具有最大嫡。Hc(X) = 1/2 ln(-信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R=RX4)=H因一比特/符号耳=因)W牝特例信道容ii比特;符号bits羽nbo或bits, channel use)C = max/(X；y)P(4J连续单符号加性信道：多维无记忆加性连续信道：=lo
5、g(l 4- -A-)2crC = 0癣 2ttcP Log 2 = : logC= 1/2 log(H-SNR)信道输入X是均位为零、方 X：为S的高斯分布随机变V: Il J.信息传输率达到城大侑若是加怕的，口丁以求出信道容量的上下界|Q1-log(l f -) C = 0Jpw)=尸 伍 SJ) = P(S) + p(S)Y-，对应U = max7(JV; X) = log n衫个输入变输11；U = (JV; X) iyiix7Y( X) 一个输入*应第个播出C? = ina? 是信源符号概率分布1 pbS, t=lr Jn. /=1. 1in 是转移概率分布:川牛一:，-1是接收徵收到符号概率分布.最常用的失真函数均方失真：区)=位- 丁 J绝对失真士(一%)= -力相对失真； (兀力)=%-“肉|o. X = 误码失真: 因、月)= 3区、匕)= ,， 艮匕前三种失真函数适用于连续信源，后一种适 用于离散信源.