《随机动态规划及其应用.doc》由会员分享，可在线阅读，更多相关《随机动态规划及其应用.doc（5页珍藏版）》请在三一文库上搜索。
1、随机动态规划及其应用丁万刚(太原理工大学 理学院 ,山西 太原 030024)摘 要 :讨论了连续时间随机动态规划原理 ,得出了具有随机利率的最优投资组合 ,并用动态规划原理得到具有随机插入时间物流遍历控制问题的变分不等式 。关键词 :随机控制 ;动态规划 ;变分不等式 ;投资组合中图分类号 :O21116文献标识码 :A随机最优控制已广泛应用于管理 、金融等领域 ,其研究主要基于贝尔曼动态规划原 理 。R. E. Bell2 man 在其著作1 中把动态规划原理表述如下 : 一个 最优策略具有这样的性质 ,不管初始状态或策略如 何 ,相对于初始策略产生的状态来说 ,其后的策略必 须构成最优策
2、略 。概括为 ,每个最优策略只能由最 优子策略组成 。由此通常得到 Bellman 动态规划方 程 ,而这个方程在很多情形下不可解 。一般地需要 借助以下两种方法 。1) 解变分不等式方法 。由 A. Bensoussan and J . L . Lions 提出 ,通常是求一个控制区间 ,再给出相应 的最优控制策略 。它常用于一维问题 ,侧重于随机 分析 。2) 粘性解方法 。由 M. G. Crandall and P. L . Lions 在研究随机控制问题时提出 ,其方法不只对随机控 制的研究起到推动作用 ,也对微分方程的研究起到 巨大的推动作用 。这种方法侧重于方程 ,也适用于多维问
3、题 ,在金融数学的研究中常常用到 。求最优控制 u 使 J ( x) = minJ ( x , u) . 现令u UTJ ( x , u , s) = Ee- ( T - s)h ( xt , ut ) d t +se - ( T - s) G ( x, T) .T式中 , xs = x . 则由贝尔曼动态规划原理 J ( x , s )minJ ( x , u , s) 满足带有边值条件的微分方程 :u U=5 J ( x , s)+5 smin A uJ ( x , s) + h ( x , u) - J ( x , s) = 0 ,u UJ ( x T , T) =G ( x T , T
4、) .n 5 A u= fx , u其中 ,i ()+5 xi52i = 1n12 i 1() ij ( x , u)5 xi 5 xj, j =为扩散过程的最小生成元 。112状态无奇异项且最后时间为不定的情形概率空间及状态过程同上述情形 。目标费用为Tu U 0J ( T , x) = min EL ( xt , ut ) d t ,满足 x0 = x , 这种情况通常讨论平均期望成本问题 。由贝尔曼动态规划原理 , 得 :1 两种常见的随机控制模型111状态无奇异项且最后时间为固定的情形设 ( , F , Ft , P) 是一个概率空间 , Wt 为其上的 标准布朗运动 , 状态过程满足
5、随机微分方程 :d xt = f ( xt , ut ) d t + ( xt , ut ) d Wt .控制过程 ut 循序可测 ; 控制空间为 U ; f ,满足通 常的 Lip schitz 条件及多项式增长条件 。目标费用为n5 J5 J+ f+L ( x , u)= minu U5 T5 xii = 1n1() ij.2i , j = 12 应用211具有随机利率的最优投资组合问题最优 投 资 组 合 问 题 最 初 由 Markwitz 提 出 并 研 究 , 后来 Merton 用随机控制方法得出了连续时间投TJ ( x , u) = Ex0 eh ( xt , ut ) d t
6、 +- te - TG ( x T , T) .52 J5 xi 5 xj第 2 期丁万刚 :随机动态规划及其应用237资组合的著名结果 ,它与期权定价理论奠定了金融数学的基础 。该学科在 20 世纪 80 年代初到 90 年 代中期得到很大发展 , 涌出了大量的研究成果2 , 3 , 目前仍十分活跃 。通常考虑一个无风险资产与多个 风险资产在确定性利率下的投资组合 。在完备市场 假设条件下 , 解决该问题要用到等价鞅测度等工具 。 而对债券随机利率模型的研究相对较少 , 目前已有 不少人研究债券间的组合逼近问题4 。这里讨论短 期利率为随机情形下债券与股票的投资组合 。假设市场是可连续交易的
7、且无交易成本 , WB , WS 为一概率空间 ( , F , Ft , P) 上的标准布朗运 动 , WB ( t) 与 Ws ( t) 独立 。假设市场中有一种债券B ( t) 和一种股票 S ( t) 满足 :有惟一解 :ty0exp ( A1 u + A2 -Yu ( t )1=t0| B 1 u + B 2 | 2) d s +2tt( B 1 u + B 2) d W ( s).0证明定理 证明见文献 4 .随机微分方程 (5) 存在惟一解 。 注 意 到 方 程 不 满 足 通 常 的 Lip schitz 条件 , 所以不能用常用的方法判定其解的存在性和惟一性 , 现 在 分
8、开 来 讨 论 。首 先 , 方 程 ( 3 ) 满 足 Lip s2chitz 条件及有界条件 , 所以有惟一解 :ttr ( t) = r +a ( s) d s +b ( s) d W ( s) . (6)00Bd B ( t ) = B ( t ) r ( t ) d t ,d S ( t ) = S ( t ) S d t + S d WS + SB d WB .随机利率 r ( t ) 满足d r ( t) = a ( t) d t + b ( t) d WB ( t) .(1)(2)05 由引理知 , t 0 , T ,E sup | r ( s) | 2 q 0 . 假设 (
9、t ) 为 t 时刻投资者投资 于股票的资金比例 , 则投资于债券的比例为 ( 1 - ( t ) ) . 设 X ( t ) 为 t 时刻的总资产 ( X ( 0) = x0 0) , 则 资产过程满足随机微分方程 :d X ( t ) = X ( t ) (S - r) + r) d t +A2 ( t) = r ( t) , B 1 ( t ) = ( ( t ) , ( t ) ) ,Bt )2 (=SSB0.结合 (7) 式 ,( E sup | r ( s) | q) 2 E sup | r ( s) | 2 q结合 a ( t) , b ( t) 的确定性及 (7) 式 :S d
10、 WS + SB d WB ,所以 ( X , r) 满足 :( 4) ,s ts tX (S - r) + r aXd=rd t +TE| r ( s) |d s T E ( max | r ( s) | )s T ,0XS XSBWSWBTTd(5).E0 (S -d s 2 E0 (S + r ) d s22 2r) ,0b问题 1求 , 使得 E ( X ( T) ) 达到最大 (0 1) .T0 (S + SB ) d s .4 4引理设 Aj ( t ) , A ( t ) , B ij ( t ) , B i ( t ) ( i = 1 ,T12120取 = | k N , E|
11、 | k d s .由引理结论知 , , 方程 (4) 存在唯一解 :, m ; j = 1 , , d) 是循序可测过程且满足t1t |A2 s( )|d sa . s .;t0 (S - r) + r -X ( t )= x0expdmt10tA1 sj2+ B 2i2( )( )sd s a . s .;12 (22j = 1i = 1S + SB ) d s +02mdt1tB 1ij4( s)d sta . s .(S d WS + SB d WB ) .0i = 1 j = 10控制 u ( t) 满足 : k N ,下面给出最优投资组合的解 。令 J ( t , x , r) 表
12、示 t 时刻 X ( t ) = x , r ( t ) = r 时t1E tk| u s( )| d s .0相应的 sup EX ( T) 的 值 , 则 由 动 态 规 划 原 理 ( 模 型则线性控制随机微分方程(1) 中取 = 0 的二维情形) :d Yu ( t) = Yu ( t) ( Au + A ) d t +12J t + supA J ( t , x , r) = 0 ,( 8)( B 1 u + B 2) d W ( t) 太 原 理 工 大 学 学 报第 35 卷238= x.= ( - 1) x- 2 J ( T , x , r)(9)J xx其中 : H ( t
13、) - H ( T)+ ( T - t) rexp 0.1 - AJ ( t , x , r) = x (S - r)aJ r + bxSBJ xr + r) J x +将 14 代入 10 得 :()()S - r 1 3( t )= 1 - 2+1 ( x222 + x222 ) J+1 b2 J .- 2SSB xxrrS SB22bSB( T - t)设 J xx 0 , 使求 T1 E0 3( - 1) rf 2 + a ( - 1) ff r + h ( x 3 ) d t + cd =lim infT ttT1 ( - 1) ff= 0.T( 12) 1B T T 0 = inf
14、 lim infE h ( xt ) d t + cd .rr2t设 f ( t , r) = g ( t ) e( t) r 满足( T)( 12) 化为= 0 , g ( T)= 1 . 式33其 中 xt = x + Wt + t , x t= x + Wt + t ,tt = 0 | s | d Ns , c 0 .( -1) g+ ( - 1) + rg +该问题类似于模型 ( 2) , 但含有奇异项 , 是奇异型控制问题 。 - 1 1 -1 2 -1 32 +221) b22 g21 ( -T1 E为了求 lim inf0 h ( xt ) d t + cdt , 先来研= 0.
15、( 13)2取 ( t ) = ( T - t ) ,T TT0 h ( xt ) d t + cdt . 为此设究 inf E1 1 + 2 +h ( t) = -T2B 0v ( T , x) = min E h ( xt ) d t + cd .t32 - ( - 1) b22 ,则 ( 13) 化为 ( - 1) g+ h ( t ) g = 0 , 具有 解得 : H ( t) - H ( T)由 Bellman 动态规划原理 , 对任意的 0 s b 时在=b - x 达到最小 ; 当 x b ;v ( - x) = v ( x) , x 0.通过解该变分不等式 , 结合随机分析的
16、方法可解问 题 2 7 , 更进一步的结论见 8 . 2 E2 = v ( T , x) - 5 v d s +5 v d s .15 T52 x2计算得 :参考文献 :12Bellman R E. Dynamical ProgrammingM. Princeton Univ Press ,1957 .Fleming W H. Controlled Markov processes and mathematical finance A . Nonlinea Analysis ,Differential Equations and Control C. Kluwer ,1999 . 407244
17、6 .Karatzas I. Lectures on the Mathematics of Finance M. AMS ,1996 .Korn R , Kraft H. Astochastic control approch to portfolio problems with stochstic interest ratesJ . SIAM J Cont Optim ,2001 ,40 :1250 21269 . Krylov. Controlled Diffusion ProcessesM. Spring ,1980 .ksendal B. Stochastic differential
18、 equationsM. Spring ,1995 .Wang H. Some control problems with random intervention timesJ . Adv Appl Prob ,2001 ,33 :404 2442 .丁万刚 ,刘坤会. 带有泊松过程的物流控制的遍历性J . 太原理工大学学报 ,2003 ,34 (2) :2292232 .345678(下转第 243 页)第 2 期段跃兴 :一类非线性波动方程解的存在惟一性243The Existence and Uniqueness of the Sol ution of a Cla ssNonlinear
19、 Wave EquationsD UAN Yue2xing( College of Sciences of TUT , Taiyuan 030024 , China)Abstract :In this paper author obtains the existence and uniqueness theorem for solutions of a class ofnonlinear wave equations. By using Galerkin method to construct the approximating sequence of solutions and a prio
20、ri estimate ,the convergence of approximate solutions was proved ,then the existence and uniqueness of solu2 tions for a nonlinear wave equation can be obtained.Key words :wave equation ; weak convergence ; Galerkin method(编辑 :张红霞)(上接第 239 页)Stocha stic Dyna mical Progra mming and Its ApplicationsD
21、ING Wan2gang( College of Sciences of TUT , Taiyuan 030024 , China)Abstract :This paper discusses stochastic dynamical programming principle under continuous times. As itsapplication ,author derives the optimal investment portfolio with random interest rate . On the other hand ,by dy2 namical programming principel ,author derives variational inequlity on liqudity effects control problem with ran2 dom intervention times.Key words :stochastic control ; dynamical programming ;variational inequlity ;investment protfolio(编辑 :张红霞)