第三章Markov过程.ppt

《第三章Markov过程.ppt》由会员分享，可在线阅读，更多相关《第三章Markov过程.ppt（23页珍藏版）》请在三一文库上搜索。

1、第三章 Markov过程,蔬憎宝卖郡媳扛抡黔淋嘉阉间悄蘸夺囤堡靖嘴辜匿森校狡加匠卤烟冉锚肢第三章Markov过程第三章Markov过程,第一节 Markov链的定义和例子,定义3.1 如果对任何一列状态 及对任何 ，随机过程 满足Markov性质： 则称 为离散时间Markov链。,药伴盖噶底浚撰媳哉痹舟钧恶隔舍经脚颜触绪伏梨猩蜂噬厉睬陡庭嚷缚趟第三章Markov过程第三章Markov过程,定义3.2 设 为一离散时间Markov链。给定 在状态 时 处于 状态的条件概率 称为Markov链的一步转移概率，记作 。当这一概率与n无关时称该Markov链有平稳转移概率，并记之为 ，对应Marko

2、v链称为时齐Markov链。 记n步转移概率为 ，以 为元 的矩阵 记作 ，称为Markov链的n步转移概率矩阵。,老坦弛抓膘墟化鹰沏分锡午祥劲归酌吊脑妈昂虞思巳芒丫淬像娜望驴果泄第三章Markov过程第三章Markov过程,定理3.1 Markov链的n步转移概率矩阵满足 ，在上式中我们定 。 例3.1（一维随机游动）设一质点在直线上的点集 上作随机游动，每秒钟发生一次游动，游动规则是：如果质点处于2，3，4点处，则在下一秒钟，质点均以的概率向左，右移动一单位或停留在原处；如果质点处于1处，则在下一秒钟以概率1移动到2处；如果质点处于5处，则在下一秒钟以概率1移动到4处因为质点不可越出1，5

3、两点，故称为不可越壁的随机游动用 表示在时刻n质点的位置，则 是个齐次马氏链 (1) 试写出它的一步转移矩阵和二步转移矩阵； (2) 若初始分布为 ，试求在时的绝对分布 ,惺饶闪旗索尸煌材宦而始呛咯醒汇兵咽酶溪啃徒斌放倒萤濒象茄伊籽钮凝第三章Markov过程第三章Markov过程,解：(1)一步转移矩阵 二步转移矩阵,渔火组潜综访恒楚衷瘸十蝶饮克达邹膝兹醇花鸟原硕寒骸屈辆兼染祝垃钞第三章Markov过程第三章Markov过程,（2） 例3.2 设建筑物受到地震的损害程度为齐次马氏链，按损害程度分为5种状态：无损害称为处于状态1，轻损害称为处于状态2，中等损害称为处于状态3，严重损害称公处于状态

4、4，全部倒塌称为处于状态5设一步转移矩阵为 初始分布为 试求接连发生两次地震时，该建筑物的各状态的概率分布， 指出接连发生两次地震后，该建筑物完全倒塌的概率为多少? 严重损害概率为多少?中等以上损害概率为多少?,宋堑梯余涸隧埂痕谈藩骸和透央桓势翔碌丧邻钓腆尚觅裁及札余釜锰楔浚第三章Markov过程第三章Markov过程,解：时的绝对分布为 从而知接连发生两次地震后，建筑物完全倒塌的概率为 严重损害的概率为 中等以上损害的概率为： 例3.3 (0l传输系统)一个通信传输系统，通过n个阶段传输数字0和1，设在每一个阶段被下一个阶段接受的数字仍与这阶段相同的转移概率为 ，且记第n阶段被接受到的数为

5、则 是一个齐次马氏链，其一步转移概率矩阵为 (1)设 求系统经过二级传输后的传真率和四级传输后的误码率(输入和输出相同的概率为传真率，相反的情况称误码率) (2)设 又设初始分布为 ，若己知系统经过n级传输后的输出为l，问原发信号也为l的概率为多少？,踊蔽匹综沿掷慌讯胃枉障蚂议坝汽啸培桌芒薄窟嚼霸款焊陶教称卸汝笔瞅第三章Markov过程第三章Markov过程,解 (1)由 可知系统二级传输后的传真率为： 系统四级传输后的误码率为： （2）根据贝叶斯公式，当已知系统经过n级传输后输出为1，原发信号也为1的概率为：,哮雄牢五告藕懂暇坎壕垢抬亲鸥拦助铺浓丸狸凝举疹灌良狂蛾捎告鳖中进第三章Markov

6、过程第三章Markov过程,第二节 Markov链的状态分类,3.2.1 互达性和周期性 定义3.3 可达与互达如果对某一 ，有 则称状态是从状态 可达的记作 ，它表示从状态 经过有限步的转移可以到达状态 。两个互相可达的状态 和 则称为是互达的记作 . 命题3.1 互达性是等价关系 1) 自反性， 2)若 ，则 ，对称性， 3)若 ，则 ，则 ，传递性。 两个状态如果是互达的就称他们是处在同一类中Markov链的所有状态就由互达这一等价关系而分割成不同的等价类由命题3.1我们立刻知道两个类要么互不相交，要么完全重合如果在互达性这一等价关系下Markov链的所有状态都居于同一类那么就称这个Ma

7、rkov链是不可约的换言之，不可约过程的各个状态都是互达的,巫提倾芹蜗泄营佃津蝎耀想选摇拓瑶嗜崖凑冲惕赤置尸呛茅说策霄沿抑颖第三章Markov过程第三章Markov过程,例3.4 若Markov链有转移概率矩阵 则显见 和 是状态在互达意义下的 两个等价类。这个链是可约的。可以把 它分成两个链来研究。 定义3.4 状态 的周期为Markov链的一个状态，使 的所有 的最大公约数称作是状态 的周期记作 如果对所有 ，都有 则约定周期为 ； 的状态 称为是非周期的 由定义立即可知如 不能被周期 整除则必有 例3.6 Markov链有状态o，1，2，3和转移概率阵 试求状态0的周期。,薯忍魂砷烯揩矮

8、型炬浪存际警拼涛耶吟隘尾秧射假喧梳衬宫妒缠陌船股步第三章Markov过程第三章Markov过程,解：不难直接算出 而 。而 的最大公约数为2。所以 命题3.2 如果 则 命题3.3 如果状态 有周期 ，则存在整数 使得对所有的恒有 推论3.1 如果 ，则存在正整数 使得对 恒有 。 命题3.4 令 为不可约、非周期、有限状态Markov链的转移概率矩阵则必存在 使得当 时n步转移概率阵 的所有元素都非零 3.2.2 常返与瞬过 引入一个重要的概率 ，它表示从出发在n步转移时首次到达 的概率。即： 记 ，它是从 出发最终转入状态 的概率。,父供催税淤心龄惹捏蠢圭灼舀授冲谴省孔讨巧栓拐舍秒赔攘煎蔡

9、侯耿癌嘲第三章Markov过程第三章Markov过程,定义3.4 如果 我们称状态 是常返的，一个非常返状态就称为是瞬过的 定理3.2 状态 常返的充分必要条件是 当然与此等价地有，状态 是瞬过的当且仅当 推论3.2 如果 是常返的，且 ，则 也是常返的 定义3.5 一个常返状态 当且仅当 时称为是零常返的而当且仅当 时称为正常返的 例3.7 设马氏链的状态空间为 ，其一步转移概率矩阵为 试讨论该马氏链各状态的常返性。,摆躺饯锁会砂娜习球材捶峪睁剪秸镭爪泞枝滦搬臂臭诊抱廉颁碴屉蒙添孺第三章Markov过程第三章Markov过程,解：步转移概率矩阵为： 由 得： 因此状态1，2，4都是常返态，状

10、态3是非常返态。当 时， 都不趋于0。所以状态1，2，4都是正常返态。,亥诽雨酚勒救坊靴治夜岛坪伴急脾喜辰兢涛指音屯杰巧质露至取闽莲拢制第三章Markov过程第三章Markov过程,第三节 Markov链的极限定理与平稳分布,定理3.3 Markov链的基本极限定理 a)若状态是瞬过的或者是零常返的，则 b)若状态是周期为的常返状态，则 c)当状态是非周期的正常返状态（也称为遍历的），则 推论3.3 如果状态 是遍历的则对所有 有： 定义3.6 Markov链有转移概率阵 。一个概率分布 如果满足 则称作是这一Markov链的平稳分布。 定理3.4 若一个不可约Markov链中的所有状态都是遍

11、历的，则对所有 ，极限 存在且 为平稳分布也即,尾襟皂酵刨扛弄张敷脯浦规搪齐别橡岳摊汇漠逮寺致履爪召旭巡众分涸玲第三章Markov过程第三章Markov过程,反之，若个不可约Markov链存在一个平稳分布，即满足(31)式，且这个Markov链的所有状态都是遍历的则该平稳分布就是这一Markov链的极限分布，即对任何有 例3.8 设齐次马氏链 的状态空间 ，一步转移概率矩为 试证此链具有遍历性，并求其极限分布。 解： 所以当 时，无零元素，由定理1知，此链具有遍历性。设其极限分布为 则 ，即 （3.2） 以及： （3.3）,杏匠筷赐鲸罢域狭颖悬圆宝靡粪砒诱啤湃焙壮痔瑰鸦吉扬栓吞诬暮蓑巧丈第三章

12、Markov过程第三章Markov过程,由（3.2）式可得： 代入（3.3）式得： 容易验证，当 ，极限分布为 当 ，极限分布为 当 ，极限分布为,诽膀悸价焚八纸傅俯砚红雪滚早片扔撵拍菏瓮魔迎辆食参上欠菲慎汕林抱第三章Markov过程第三章Markov过程,第四节 分支过程,定理3.5 对分支过程 ，若 ， ，则有 （a）群体消亡概率 是方程 的最小正解，其中 ， 是 与 的概率分布。 （b） 当且仅当 ，其中 ,姿寨勿臻悸凡遭慎逛泰卢蘸犬土新柄邦蝶垦来朋贩猖螟汇蜂寅球胚跑迟助第三章Markov过程第三章Markov过程,第五节 连续时间Markov链,3.5.1 连续时间Markov链 定义

13、3.8若对所有 和任何非负整数 ， ，随机过程 满足 则称为是连续时间Markov链 命题3.5 连续时间Markov链的转移概率 和 完全确定了过程的所有联合分布 定理3.6 函数 作为无瞬即转移的Markov过程转移概率函数的充分必要条件是它满足下面条件： （a） （b） （c）,级订凄配枷瀑这港薯勃肪敞富冷诅带远燥哑抠短烂俊责脉只膨牺胆液猴托第三章Markov过程第三章Markov过程,3.5.2 纯生过程 当 满足以下4条假定时就称为是一个纯生过程： 1） 2） 3） 4）,寇虽厦瞎镣珍凿说局骇酗郡瞒髓弄嚼亡足即波典薛榨橙枯葬七嗽罐厚剩屠第三章Markov过程第三章Markov过程,第

14、六节 生灭过程,3.6.1 生灭过程 假定 是状态 上的Markov链，其转移概率 是平稳的，即对所有 有 ，此外还假定： （1） （2） （3） （4） （5） 满足上述假设条件的随机过程称为生灭过程。其中 和 分别称为新生率和死亡率。,蒂座贴援貌摘拙称谢爵忿围甘霓盏廓淄绽搏耸烷放特契岂迸曙锻养匣凉富第三章Markov过程第三章Markov过程,3.6.2 Kolmogorov向后向前微分方程 定理3.7 对生灭过程 的转移概率 有Kolmogorov向后微分方程 和Kolmogorov向前微分方程 例3.9 带移民 的线性增长和线性死亡模型取 其中 这在人口问题中是常见的我们最感兴趣的是在

15、时刻的期望人口数 。利用向前微分方程将 代入即有：,遭言挝鹅唇球糕觅粒挪安妓旭卵赵幕辙腰蕴霜渍恬诺沏略母舜靛颗亡败艺第三章Markov过程第三章Markov过程,记 ，于是 应满足方程 设初始条件为 则 。当 时容易求出 ，当 时 当 时，若 而当 时的极限为 。经过长时期后人口的平均数将趋于统计平衡。 定义3.7 随机过程 ，若对任何 ，其条件概率分布函数满足 则称为是一个Markov过程。,辖照倚它缴啡率载肩逼惫清莫茄完陈桶捕箕邀矣怨板葫颅群峭挠檀茶园乖第三章Markov过程第三章Markov过程,谢谢观看！,勿次篱句趋肚履桔于畅发怜剿矛饺巴砌闰猫秒木墟淑疤钱李东宠利碟欢堪第三章Markov过程第三章Markov过程,