《马尔科夫链蒙特卡.ppt》由会员分享，可在线阅读，更多相关《马尔科夫链蒙特卡.ppt（35页珍藏版）》请在三一文库上搜索。
1、理论,马尔科夫链模拟 吉布斯抽样 贝叶斯推断 其他算法 孔文涛,回顾马尔科夫过程,马尔科夫链模拟及MCMC方法,马尔科夫链模拟及MCMC方法,马尔科夫链模拟及MCMC方法,转移概率矩阵的定义。 定义：对于一个马尔可夫链 ，称由状态i经过m步转移到状态j的转移概率 为元素，组成的矩阵为转移概率矩阵， 用 表示。 当m=1时的转移概率矩阵为 ，就是一步转移概率矩阵，将其简记为 ，简称为转移矩阵。,马尔科夫链模拟及MCMC方法,考虑“缺失值”的问题。 Dempster，Laird和Rubin(1977)提出EM算法来解决数据分析时“缺失值”的问题。 M步：如果缺失值是可以得到的，能够利用完全数据分析
2、的方法来建立一个波动率模型。 E步：给定可以利用的数据及拟合的模型，能够推导出缺失值的统计分布。,马尔科夫链模拟及MCMC方法,Tanner和Wong(1987)以两种方式扩展了EM算法。 首先：引进迭代模拟的思想从条件分布中抽取一个随机数来代替缺失值。 第二：利用数据扩张的概念扩展了EM算法的应用在研究的问题中加入一个辅助变量。,吉布斯抽样,Geman(1984)、Gelfand和Smith(1990)提出的MCMC方法。 通过一个三个参数的简单问题来引进吉布斯抽样的思想。,吉布斯抽样,吉布斯抽样,吉布斯抽样,对一个充分大的m， 渐近等价于来自三个参数的联合分布 的一个随机抽取。 实际中，我
3、们利用一个充分大的n，并且丢掉吉布斯迭代的前m个随机抽取，建立一个吉布斯样本，即 因为前面的迭代从联合分布 中建立了一个随机样本，所以可以利用它们来作出统计推断。,吉布斯抽样,吉布斯抽样具有将一个高维的估计问题利用所有参数的条件分布分解为几个较低维数问题的优点。 N个参数的高维问题转化为N个1维的条件分布迭代地解决。 当参数高度相关时，联合地抽取。,吉布斯抽样,收敛性问题 理论：仅仅指出当迭代次数m充分大时收敛发生，没有对m的选择提供具体的指导。有多种检验吉布斯样本收敛性的方法，但没有哪种方法最好的一致结论。 实际：并不能保证对所有的应用都是收敛的。必须仔细地执行，以保证没有明显的对收敛性要求
4、的违背。,贝叶斯推断后验分布,条件后验分布：在数据、其它参数和一定模型给定的条件下参数的分布。 贝叶斯推断是将先验的思想和数据结合，得到后验分布，然后基于后验分布进行统计推断。 贝叶斯分析寻求将关于参数的知识与数据相结合来作出推断，参数的知识是通过对参数预先指定一个先验分布表示的，记为 。,贝叶斯推断后验分布,贝叶斯推断共轭先验分布,由方程(2)得到的后验分布一般不是简单的，但也有先验分布与后验分布属于同样的分布族的情形，这样一个先验分布称为共轭先验分布。 对MCMC方法，共轭先验的使用可以得到条件后验分布的一个显示解，然后可以利用通常的概率分布的计算机程序得到吉布斯样本的随机抽取。,其他算法
5、Metropolis算法,条件后验分布没有显示解。 假定我们希望从分布 中抽取一个随机样本，它包含一个负杂的标准化常数，直接的抽取要么太浪费时间，要么不可行。但是存在一个近似的分布，可以很容易地得到随机抽取。 Metropolis算法就是从近似分布中产生一系列的随机抽取，使得它们的分布函数收敛到 。,其他算法Metropolis算法,具体算法如下进行：,其他算法Metropolis算法,其他算法Metropolis-Hasting算法,其他算法格子吉布斯算法,在金融应用中，ARMA或者波动率等模型可能包含一些非线性参数，而这些参数的条件后验分布没有显示表示，执行吉布斯抽样或者Metropoli
6、s-Hasting算法可能会变得复杂。 Tanner(1996)描述了当条件后验分布是1元时，在吉布斯抽样中得到随机抽取的一个简单程序，这个方法称为格子吉布斯抽样(Griddy Gibbs)。,其他算法格子吉布斯算法,研究动态马尔科夫链及MCMC方法,马尔科夫是享誉世界的著名数学家，社会学家。他研究的范围很广，对概率论、数理统计、数论、函数逼近论、微分方程、数的几何等都有建树。马尔科夫最重要的工作是在1906一1912年间，他提出并研究了一种能用数学分析方法研究自然过程的一般图式，后人把这种图式以他的姓氏命名为马尔可夫链(Markov Chain)。同时他开创了对一种无后效性的随机过程的研究，
7、即在已知当前状态的情况下，过程的未来状态与其过去状态无关，这就是现在大家耳熟能详的马尔可夫过程(Markov Process)。,研究动态马尔科夫链及MCMC方法,马尔科夫链由马尔科夫1907年提出的，后由蒙特卡罗(Monte Carlo)加以发展而建立起来的。 之后，马尔科夫过程、马尔科夫链模拟及MCMC方法得到广泛研究，广泛应用于医学、公共卫生领域，教育管理工作，经济管理领域。,研究动态马尔科夫链及MCMC方法,MCMC方法最初应用于计算物理(Metropolis等，1953)，Hasting(1970)的工作使其更为一般化，但主要用于统计问题。Gelfand和Smith(1990)的研究
8、显示出MCMC方法在贝叶斯计算上有着巨大的潜力，他们将马尔科夫链的方法与Tanner和wong(1987)的增参数方法相结合，证明了对含有潜在动态变量的计量模型的估计是极为成功的。 MCMC方法不仅可以用于一般ARMA模型的估计，还可以用于各种波动模型的估计。就SV模型而言，MCMC方法不仅可以用来估计基本SV模型，而且可以估计SV模型的一元与多元扩展。 近年来，以各种复杂的动态随机系统的统计推断为主要目的序列蒙特卡洛方法(Sequential Monte Carlo (SMC)也取得了很大的进展。,研究动态马尔科夫链及MCMC方法,近年来，由于吉布斯抽样(Gibbs sampling)技术和
9、计算技术的突破，Jacquier, Polson, Rossi (JPR,1994) 首次应用马尔科夫链蒙特卡罗法(MCMC)方法估计SV模型。随后，Tse, Zhang, Yu(2002)等学者实证了MCMC方法估计SV的效果,得出MCMC是最佳的SV参数估计方法。为此，Shephard(2005)为代表的学者倡导采用MCMC方法得到了最广泛的认同和实际应用。,研究动态马尔科夫链及MCMC方法,多应用于指数波动率的预测、股票投资组合的策略研究、股票收益率的预测、汇率走势的分析。 林静、韩玉启和朱慧明(2005)在基于MCMC稳态模拟的指数回归模型及其应用中利用基于Gibbs抽样的MCMC模拟
10、方法与WinBUGS软件解决了指数模型中高维数值计算的不便，提高了计算的精度，有利于该模型在可靠性分析理论中的推广。,研究动态马尔科夫链及MCMC方法,庄悉备和伍海华在加权马尔可夫链的理论及在股市中的应用中运用加权马尔可夫链理论建立股票市场运行的数学模型并充分发挥历史数据的作用，克服传统的马氏理论在实际应用于股市分析中存在的缺陷：比如齐次性要求难以满足；转移概率矩阵的调整难度大，计算量大；预测的准确性受客观因素、市场环境的影响太大等等。,研究动态马尔科夫链及MCMC方法,张普和吴冲锋(2009)在基于非参数蒙特卡罗模拟的股票波动性价值研究中采用非参数蒙特卡罗模拟法求解证券波动性价值的分布特征。
11、指出预期平均波动率是决定波动性价值大小的首要因素，二者呈正相关关系，说明投资者对未来波动的预期将直接决定波动性价值的水平，预期平均波动水平越高，投资者预期中赢利的机会越多，可能的收益也越大。,研究动态马尔科夫链及MCMC方法,朱信山，王晓静(2009)在灰色马尔可夫链组合预测方法的应用中提出了一种新的组合预测方法，将灰色Verhulst-马尔可夫链预测模型和灰色GM(1,1)-马尔可夫预测模型按照残差方程加权组合来预测事物中长期发展趋势；并以国外发达国家高速公路网规模成熟发展为案例验证对其中长期预测的精度。文章还将此预测模型应用于广东省公路客运量以预测其未来510年的发展趋势。,研究动态贝叶斯
12、分析及MCMC方法,Buhlmann (1967)将贝叶斯思想和方法引入到精算学的研究中。 Buhlmann和Straub(1970)为经验贝叶斯信用方法奠定了基础。 为了充分利用历史数据中的信息,提高未决赔款准备金估计的预测精度, Scollinik (2001)、Ioannis Ntzoufras (2002)等将现代贝叶斯理论和MCMC (Markov Chain Monte Carlo)方法引入到未决赔款准备金的估计中。 Verrall(2004)将广义线性模型与贝叶斯分析结合,对准备金进行估计。,研究动态吉布斯抽样和贝叶斯分析,朱慧明，郝立亚(2007)在非寿险精算中的贝叶斯信用模型
13、分析中利用贝叶斯统计方法，构造了一类新的贝叶斯信用分析模型，提供了一种计算下一年保费的方法。并且针对高维计算比较困难这样一个问题，文章引入了基于Gibbs抽样的MCMC方法，利用计算机仿真模拟方便地得到结构参数的各项估计指标，研究结果表明，基于MCMC的贝叶斯信用模型能够动态模拟模型参数的后验分布，提高模型估计的精度。,研究动态吉布斯抽样和贝叶斯分析,郭庆旺，贾俊雪和杨运杰(2007)在中国经济周期运行特点及拐点识别分析中运用吉布斯抽样方法估算了我国经济周期的多变量动态马可夫转换因素模型，对我国经济周期进行拐点识别和同步指数分析，指出就长期而言，我国经济周期运行表现出明显的协动性和非线性特征：
14、改革开放以前，宏观经济波动剧烈，情势转换发生得较为频繁；改革开放以后，宏观经济波动明显趋缓。就短期而言，尤其是20世纪90年代以来，我国经济周期运行平稳，协动性特征依然显著但非线性特征明显减弱。,研究动态吉布斯抽样和贝叶斯分析,刘书霞，张新福和米海杰(2009)在基于贝叶斯估计的商业银行操作风险计量与管理中利用贝叶斯估计方法，基于共轭分布原则，结合我国商业银行业务特点，开创性提出了对于操作风险损失强度分布的两阶段拟合方法。,研究动态吉布斯抽样和贝叶斯分析,刘睿，詹原瑞和刘家鹏(2007)在基于贝叶斯MCMC的POT模型低频高损的操作风险度量中在小样本情况下贝叶斯MCMC方法比极大似然估计更稳定，误差更小。并使用样本损失数据对中国商业银行的内部欺诈风险进行估算，指出银行的内部欺诈风险相当惊人，为此银行需要配备大量的经济资本，这个问题的严重性已经令我们无法回避。,