《马氏链简介.ppt》由会员分享，可在线阅读，更多相关《马氏链简介.ppt（24页珍藏版）》请在三一文库上搜索。
1、马氏链简介,（Markov Chain）,马氏链（Markov Chain）是随机过程的一个特例，专门研究无后效条件下时间和状态均为离散的随机转移问题，但在建模过程中采用线性代数的方法，因此，也在线性代数模型中来学习。,马氏链简介,（一 ） 商品的经营问题,某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状况之一表示。已知如果本月销路好，下月仍保持这种状况的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析假若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？若开始时商店处于销路坏的状况呢？,一 正则链（Regular Chain）,1 分析,表示
2、销路好；,表示销路坏；,2 符号说明,商店的经营状况是随机的，每月转变一次。,建模目标是经过一段时间（若干月）后，经营状况如何，即经营好或经营坏的概率分别为多少？,用随机变量,表示第 n 个月的经营状况,称为这个经营系统的状态。,用,表示第,月处于状态,的概率，,即,称为状态概率。,表示已知这月处于状态,，下月处于状态,的概率，,即,称为状态转移概率。状态及转移情况见图。,3 建模,令,P 概率转移矩阵,4 求解,P 特征值为1，1/10,当,5 结论,不论初始状态如何，经过相当长的时间后 经营状态趋于稳定的概率。,注意到,经营系统在每个时期所处的状态是随机的，但从这个时期到下个时期的状态按照
3、一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各个时期的状态无关。,这种性质称为无后效性，或马尔可夫（Markov）性， 即已知现在，将来与历史无关。,具有无后效性的，时间、状态均为离散的随机转移 过程，通常用马氏链（Markov Chain）模型描述。,马氏链模型在经济、社会、生态、遗传等许多领域 有广泛应用，不仅可以解决随机转移过程，还可以 处理一些确定性系统的状态转移问题。,，当它的所有分量是非负，,一般地，一个行向量,且行和为1，称此向量为概率向量。,每行都为概率向量的矩阵，称为概率转移矩阵。,可证明,若A,B为概率转移矩阵，则AB也为概率转移矩阵。,若
4、 P 为概率转移矩阵，则 Pn 也为概率转移矩阵。,证明,若A,B为概率转移矩阵，,而AB=C的第 i 行，第 j 列元素为,显然，,定理1 若马氏链的转移矩阵为,，则它是正则链的,充要条件是，存在正整数,使,（指,的每一,元素大于零）。,特点：,从任意状态出发经过有限次转移都能到达另外的任意状态。,（用这个定理检验一个马氏链是否为正则链。）,定理2,由,存在，记作,的每一行都是稳态概率,如果记,那么，有,由,又称为稳态概率。,上例中,从状态,出发经,次转移，第一次到达状态,的概,率称为,到,的首达概率，记作,，于是,为由状态,第一次到达状态,的平均转移次数。,特别地，,是状态,首次返回的平均转移次数。,与稳态概率,有密切关系，即,定理3 对于正则链,（二 ） 信息传播问题,一条消息在,等人中传播，传播,的方式是,传给,传给,如此继续下去，每次传播都是由,传给,每次传播消息的失真率为,即,将消息传给,时，传错的概率为,这样经过长时间传播第n个人得知消息时，消息 的真实程度如何？,第n个人知道消息可能是真，也可能是假，有两种状态，记为,表示消息假；,表示消息真；,用,表示第,个人处于状态,的概率，,即状态概率为,由题意，状态转移概率矩阵为,由,为正则矩阵。,求 w=?,令,设,得,结论,长时间传播消息的真实性趋于稳定，且消 息的真假概率各半。,例1 中,