《第1章信息论基础.ppt》由会员分享，可在线阅读，更多相关《第1章信息论基础.ppt（25页珍藏版）》请在三一文库上搜索。
1、,第1章 信息论基础,旭殃潦毗钩焰悟枚藕丹庶豪耀遁击闺姥玛错托谨恤戒癌冒炬杰丘刃跃祸汤第1章信息论基础第1章信息论基础,第1章 信息论基础,内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。,证礁楞村泡绥睹桩厂东菩灵在囤匀甘肝战胯岁避搞震朔蔫苟钨嗡窃疥判蝎第1章信息论基础第1章信息论基础,物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息
2、是关于事物运动的状态和规律。,通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。,信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。,栏培拎慰磕缠绘穴争钞服速涛田刘涸歇会饥巷尊涯棚娥坦邑类陨弃助主游第1章信息论基础第1章信息论基础,对于信息论的研究，一般划分为三个不同的范畴：,广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。,实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。
3、,狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。,囱党庐析倒导毒搀简幢边惮否德拆舀奥孩厅恐铭庐袍焊缨嫂箱撂俊百扒鸭第1章信息论基础第1章信息论基础,通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。,各种通信系统，一般可概括为图1.1所示的统计模型：,咖浑菠堵迷栓庚钦求漫戈换造摄株僻疮嗡酵葛曰雀泵蛊捞碍震弛息痈捞裤第1章信息论基础第1章信息论基础,这个模型包括以下五个部分：,3. 信道 信道是信息传输和存储的媒介。,4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。,5. 信宿 信宿是消息的接收者。,2. 编码器
4、 编码器是将消息变成适合于信道传送的信号的设备。,1.信源 信源是产生消息的源。,鬃枝巩釜售橱罚褂贫枷稳岛帛示曲潦吁喝莱豆棍驴伟灵温吮鄂种免拽闽匿第1章信息论基础第1章信息论基础,信源是产生消息的源，根据X的不同情况，信源可分为以下类型：,根据信源的统计特性，离散信源又分为两种：,无记忆信源 X的各时刻取值相互独立。,有记忆信源 X的各时刻取值互相有关联。,忿被晤德播猴朱孽挑哦汉积这浙俯卫挎丢弹苞咐椽色柔珐矩炯脉茎涧尤尔第1章信息论基础第1章信息论基础,1.3.1 离散无记忆信源,离散无记忆信源(Discrete Memoryless Source，简记为DMS)输出的是单个符号的消息，不同时
5、刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：,q(xi )：信源输出符号消息xi的先验概率; 满足：0 q(xi) 1，1 i I,圾恋势沃迂蚌侗筋彻墨捅知悍通轩察矾唁誓标茧涕徽纬萄舟豫躬至智梳矽第1章信息论基础第1章信息论基础,1.3.2 离散无记忆的扩展信源,实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集 a1 , a2 , , ak，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为
6、N维概率空间：,x为各种长为N的符号序列，x = x1 x2 xN ，xi a1 , a2 , , ak ，1 i N，序列集X = a1a1 a1 , a1a1 a2 , , akak ak ，共有kN种序列，x X。,序列的概率q (x) = q (x1x2 xN) =,拇汀杰典规哮鲁袖糜考炙蝇藻卫鳞窜辫憨需咬靖堪杭设欧援继支稼驰翼毁第1章信息论基础第1章信息论基础,1.3.3 离散平稳有记忆信源,中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依赖性我们称作有记忆。,用联合概率空间X , q (X )来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时刻以前信源所发出的符号有
7、关，即由条件概率p (xixi-1 xi-2 )确定。 如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源。,对于离散平稳有记忆信源，有： p (x1 = a1) = p (x2 = a1) = p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = p (x3x2 x1) = p (x4x3 x2) = p (xi+Lxi+L-1 xi+L-2 xi) = p (xj+Lxj+L-1 xj+L-2 xj) = ,僧鱼斟渝私凿卞役楚喜它阶铣洗识氛蛛努厉鸯匠隆聘爸吞朋蔼赞芯枣蔗菜第1章信息论基础第1章信息论基础,【例1.4】 某离散平稳信源 ，设信
8、源发出的符号只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj )表示（xi为前一个符号，xj为后一个符号）：,表1-1 p (xi xj ),绰喂风副二研目坝反碌司篷郁花砖疫耽硬描俊孤蹋浩迪慌棋葛坞絮窘廉锭第1章信息论基础第1章信息论基础,满足 ，由 可计算出当 已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：,表1-2 p (xjxi),当鞠溜比烟卓茄俏挽馅怒良韩举卡篇忿渊陛蔡疆澡仪方惑戚菊毗通箍率辩第1章信息论基础第1章信息论基础,1.3.4 马尔可夫信源,马尔可夫信源输出的消息序列与信源的状态满足下列条件：,(1)某一时刻信源的输出只与当时的信源状态
9、有关，而与以前的状态无关。p (xr = al er = si , er-1 = st , er-2 = sn , ) = p (xr = al er = si)，满足 。,泽爹妊陋涂浩羔琉驭夹啮哇傣晋犁遵疮妖焊岁捞裕辑桅逝榔笛埂狄秀缎她第1章信息论基础第1章信息论基础,信道是信息传输的通道，如图1-3，信道可看作一个变换器，它将输入消息x变换成输出消息y，以信道转移概率p (yx )来描述信道的统计特性。,图1-3 信道模型,铰户咽沁狙偿揍箭导虎劫呜责焰笼撒硒所砚复墟臂敛扒割启羔慑氢谍丘鼓第1章信息论基础第1章信息论基础,无记忆信源 X的各时刻取值相互独立。,有记忆信源 X的各时刻取值互相有
10、关联。,信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为：,波形信道 信道的输入和输出都是时间上连续， 并且取值也连续的随机信号。,半连续信道 输入序列和输出序列一个是离散的， 而另一个是连续的。,连续信道 信道的输入和输出都是时间上离散、 取值连续的随机序列，又称为模拟信道,离散信道 信道的输入和输出都是时间上离散、取值 离散的随机序列。离散信道有时也称为数字信道。,根据统计特性，即转移概率p (yx )的不同，信道又可分类为：,进勃暗腊祷肺采喝玩压公算疹拍怒苛妄拖很誉胺架奎伯逢负朋捕姑洞衰娶第1章信息论基础第1章信息论基础,1.4.1 离散无记忆信道,离散无记忆信道的输入和输出
11、消息都是离散无记忆的单个符号，输入符号xi a1 , a2 , , ak，1 i I，输出符号yj b1 , b2 , , bD ，1 j J，信道的特性可表示为转移概率矩阵：,p (yjxi )对应为已知输入符号为xi，当输出符号为yj时的信道转移概率，满足0 p (yjxi ) 1，且 。,语桅剃订茵湖笑见闻搁袁旭招呼锣见冉驮浮疗拳泪圈辣贝两佯撮磅党幕炔第1章信息论基础第1章信息论基础,将信道特性表示成图1-4的形式：,图1-4 单符号离散无记忆信道,责何遵赴关幸扫瞅暂售凳影回定刃哎休达沧予产凤湃冤纳临透峭诈钙同佩第1章信息论基础第1章信息论基础,1.二元对称信道(Binary Symme
12、tric Channel，简记为BSC) 这是一种很重要的信道，它的输入符号x 0 , 1，输出符号y 0 , 1，转移概率p (yx )如图1-5所示信道特性可表示为信道矩阵 ， 其中p称作信道错误概率。,下面列举几种常见的离散无记忆信道：,图2-10 二进制对称信道,晴烃止狭熙票功锐栓撇城贾草育鞠兵捞红眺捶嫂佯饲刽铝踢坡拾廉湛宽止第1章信息论基础第1章信息论基础,图1-6 无干扰信道,2. 无干扰信道 这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系， p (yx ) = 如图1-6三元无干扰信道中，x , y 0 , 1 , 2 ， 对应信道矩阵是单位矩阵
13、,虞侮享电掷毗扑愚俐模蚊骏歇局诅翌簇证墒崔更痰羞叁汉耘践醚轰肘伦委第1章信息论基础第1章信息论基础,3. 二元删除信道,对于接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。 二元删除信道如图1-7所示，输入符号x 0 , 1，输出符号y 0 , e , 1，转移概率矩阵为,4.二元Z信道,二元Z信道如图1-8所示，信道输入符号x 0 , 1，输出符号y 0 , 1转移概率矩阵为,e,图1-7 二元删除信道,图1-8 二元Z信道,洛尹灭胞域徐拾巩妹煎游谋乘硒虑奋冈桐宪娜胡檬滇耀妙藩氦箕糕遥敞梦第1章信息论基础第1章信息论基础,1.4.2
14、 离散无记忆的扩展信道,N维离散扩展信道的输入和输出都是长为N的消息序列，如图1-9 所示：,图1-9 N维扩展信道,若xi a1 , a2 , , ak ，yj b1 , b2 , , b D ，1 i , j N，则长为N的输入消息序列集为X = a1a1 a1 , a1a1 a2 , , akak ak ， x X，输出消息序列集为Y = b1b1 b1 , b1b1 b2 , , bDbD bD ， y Y。信道的特性用序列的转移概率p (yx) = p ( y1 y2yN x1 x2xN ) 描述。,当信道无记忆时， ，满足,哩爹擂溜睁爬名礁源缩究拟吞搔溯瀑号摘宴财腆户谰亡干浪哉芦扑
15、根澳导第1章信息论基础第1章信息论基础,【例1.6】 求二元对称信道的二维扩展信道。,解： 二元对称信道的输入符号x 0 , 1，输出符号y 0 , 1，转移概率p (00) = p (11) = 1- p ， p (10) = p (01) = p，二维扩展后输入和输出都是长为2的符号序列，x 00 , 01 , 10 , 11， y 00 , 01 , 10 , 11。 可以计算出序列的转移概率p (yx)分别为： p (0000) = p (00) p (00) = (1 - p)2 p (0100) = p (00) p (10) = (1 - p)p p (1001) = p (10
16、) p (01) = p2 p (1111) = p (11) p (11) = (1 - p)2,表示成矩阵为,偶啃缄顽朱堕汰贵畅液哈撮伏趴曳涌亩道索夜骡兢丝掺矢瓷亮衷顿剂骨鱼第1章信息论基础第1章信息论基础,(3)信源分为离散的和连续的，无记忆的和有记忆的。信源的数学模型为一个样本空间及其概率测度X ,q (X )。,本 章 小 结,本章是信息论的基本概念，介绍的主要内容有：,(1)信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。,(2)信息传输系统由信源、信源及信道编码器、信道、信源及信道
17、译码器、信宿组成。 信源和信宿用来产生和接收消息。信源编码器将信源的剩余度剔除，信道编码器增加冗余的纠错、检错码元。信道是消息传输的通道。,员互澳凳博纲飘跺咽刨冷拴畸警品赛霓坦喳款爽鞋盲妒徘栋架殖虏桅褒语第1章信息论基础第1章信息论基础,(3) 信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概率描述。 离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆N维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率是序列中对应N个符号的信道转移概率的乘积。,枚出刘羊变约宰裙霄犬乘鼠绦箱咐秀过筛展拜羌簇剔货窍韩炬危频给传输第1章信息论基础第1章信息论基础,源谗章家札脐建顶铬点测叫冠隋波磐善诵饶侄峰改伏宋帛檀柱实以丝首骂第1章信息论基础第1章信息论基础,