RoboCup中型组机器人足球系统中的守门员控制研究.pdf

《RoboCup中型组机器人足球系统中的守门员控制研究.pdf》由会员分享，可在线阅读，更多相关《RoboCup中型组机器人足球系统中的守门员控制研究.pdf（62页珍藏版）》请在三一文库上搜索。

1、摘要 摘要 机器人足球比赛系统作为人工智能领域的一项重大挑战，是当前研究的热点。 它融合了多学科的研究成果，是进行机器人技术、多智能体系统研究的一个标准的 实验平台。中型组足球机器人都是完全自主，通过无线网络进行通讯，各个队员之 间互相协调，共同完成比赛任务。守门员作为其中重要的一员，担负着球队的防守 重任，其控制的好坏对比赛结果起着非常重要的作用。本文以中型组足球机器人守 门员为研究对象，在收集和分析国内外相关文献的基础上，结合机器人足球比赛的 具体情况，针对守门员的行为包括足球位置预测、动作控制、防守策略等方面展开 研究。主要研究内容包括： 1 足球位置的预测。 足球是守门员防守的重点对象

2、，通过预测足球的运动位置，守门员能够及时地 采取某种防守策略，以阻止足球进入我方球门。考虑到实际机器人足球比赛过程中 的动态性和实时性，提出一种基于强跟踪和日。滤波计算的足球位置预测算法，通 过将渐消因子引入日。滤波算法中，提高了预测精度。实验结果表明，该算法能够 快速跟踪足球突变，更准确地预测足球位置。 2 守门员的动作控制。 守门员通过控制自己的运动来执行相应的动作，从而实现动作控制。在介绍机 器人足球比赛系统的有关坐标系规定和机器人运动学模型的基础上，提出了基于改 进P I D 的守门员动作控制算法。通过分析守门员各个动作的执行过程，该算法给出 了对各个动作相应的控制。跟球动作的实验结果

3、表明，该算法具有良好性能，能够 满足比赛要求。 3 守门员的防守策略。 为了使守门员具有智能的防守决策能力，能够根据比赛状态的变化执行相应的 防守动作，在分析强化学习方法的基础上，提出了一种基于E l m a n 网络的强化学习 算法用于实现守门员的防守策略。通过将E l m a n 网络引入Q 学习过程中，改善了学 习性能。实验结果表明，该算法能够有效地提高守门员的防守能力，实现守门员的 自主防守决策。 广东“ r ：l k 大学硕士学位论文 最后对论文进行了总结，阐明了主要的研究成果，并指出了今后在守门员防守 控制中有待进一步研究和改进的地方。 关键词：足球机器人；守门员；位置预测；动作控

4、制；防守策略 A b s tr a c t A b s t r a c t R o b o ts o c c e rc o m p e t i t i o ns y s t e m ，a sam a jo rc h a l l e n g ei nt h ef i e l do fa r t i f i c i a l i n t e l l i g e n c e ，i sah o tt o p i c o fc u r r e n tr e s e a r c h I ti n c o r p o r a t e st h em u l t i d i s c i p l i n a r

5、y r e s e a r c ha c h i e v e m e n t s ，a n dp r o v i d e sas t a n d a r de x p e r i m e n t a lp l a t f o r mf o rt h er e s e a r c ho f r o b o tt e c h n o l o g ya n d m u l t i - a g e n ts y s t e m M i d d l e - s i z el e a g u e s o c c e rr o b o t sa r e c o m p l e t e l ya u t o

6、n o m o u s ，c o m m u n i c a t i o nt h r o u g h t h ew i r e l e s s n e t w o r k ，a n d e a c h t e a m m a t ec o o r d i n a t e sb e t w e e ne a c ho t h e rt oc o m p l e t et h er a c et a s k A so n eo ft h e i m p o r t a n tm e m b e r s ，g o a l k e e p e rt a k e s at e a m Sd e f e

7、 n s i v et a s k ，a n di t s c o n t r o l p e r f o r m a n c ep l a y sav e r yi m p o r t a n tr o l ei nt h er e s u l to fac o m p e t i t i o n I nt h i sp a p e r , t a k e t h eM i d d l e s i z el e a g u es o c c e rr o b o tg o a l k e e p e ra st h er e s e a r c ho b j e c t ，b a s e d

8、o n c o l l e c t i n ga n da n a l y z i n gt h er e l a t e dl i t e r a t u r ea th o m ea n da b r o a d ，c o m b i n e dw i t ht h e s p e c i f i cs i t u a t i o no fr o b o ts o c c e rc o m p e t i t i o n ，w ec o n d u c tas t u d ya b o u tt h eb e h a v i o ro f t h e g o a l k e e p e r

9、 , i n c l u d i n g f o o t b a l l p o s i t i o np r e d i c t i o n ，m o t i o n c o n t r o l ，d e f e n s i v e s t r a t e g i e s T h em a i n c o n t e n t si n c l u d e ： 1 F o o t b a l lp o s i t i o np r e d i c t i o n F o o t b a l li sak e yt a r g e tf o rt h eg o a l k e e p e r B

10、 yp r e d i c t i n gt h em o t i o np o s i t i o no f f o o t b a l l ，t h eg o a l k e e p e rC a nt i m e l yt a k es o m es o r to fd e f e n s i v es t r a t e g yt op r e v e n tt h e f o o t b a l li n t o0 1 1 1 “ g o a l T a k i n gi n t oa c c o u n tt h ed y n a m i ca n dr e a l t i m e

11、i nt h ea c t u a lr o b o t f o o t b a l lg a m e ，a na l g o r i t h mb a s e do nc a l c u l a t i o no fs t r o n gt r a c k i n ga n dH 。f i l t e ri s p r o p o s e dt op r e d i c tt h ep o s i t i o no ff o o t b a l l B yi n t r o d u c i n gaf a d i n gf a c t o ri n t o H 。 f i l t e ra

12、l g o r i t h m ，i ti m p r o v e st h ep r e d i c t i o na c c u r a c y E x p e r i m e n tr e s u l t ss h o wt h a tt h e a l g o r i t h mC a nt r a c kf o o t b a l l m u t a t i o nq u i c k l ya n dp r e d i c tt h ef o o t b a l lp o s i t i o nm o r e a c c u r a t e l y 2 G o a l k e e p

13、 e rm o t i o nc o n t r 0 1 G o a l k e e p e re x e c u t e st h ec o r r e s p o n d i n gm o t i o nt h r o u g hc o n t r o l l i n gt h em o v e m e n t ， a n dt h e nr e a l i z e sm o t i o nc o n t r 0 1 B a s e do nt h er e l e v a n tp r o v i s i o n so fc o o r d i n a t es y s t e m i

14、nr o b o ts o c c e rc o m p e t i t i o ns y s t e ma n dr o b o tk i n e m a t i c sm o d e l ，ac o n t r o la l g o r i t h mf o r I I I 广东工业大学硕士学位论丈 g o a l k e e p e r Sm o t i o nb a s e do ni m p r o v e dP I Di sp r o p o s e d T h r o u g ht h ea n a l y s i so ft h e i m p l e m e n t a t

15、i o no fe a c hm o t i o n ，i tg i v e st h ec o r r e s p o n d i n gc o n t r 0 1 E x p e r i m e n tr e s u l t so n f o l l o w i n gf o o t b a l ls h o w t h eg o o dp e r f o r m a n c eo ft h ec o n t r o la l g o r i t h m I tc a ns a t i s f yt h e c o m p e t i t i o nr e q u i r e m e n

16、t s 3 G o a l k e e p e rd e f e n s i v es t r a t e g y I no r d e rt om a k eg o a l k e e p e ri n t e l l i g e n ti nd e f e n s ed e c i s i o n m a k i n ga b i l i t ya n d e x e c u t et h ec o r r e s p o n d i n gd e f e n s i v em o t i o na c c o r d i n gt ot h ec h a n g eo fc o m p

17、e t i t i o ns t a t e ， o nt h eb a s i so fa n a l y s i so fr e i n f o r c e m e n tl e a r n i n gm e t h o d ，ar e i n f o r c e m e n tl e a r n i n g a l g o r i t h m b a s e do nE l m a nn e t w o r ki s p r o p o s e dt o r e a l i z ed e f e n s i v e s t r a t e g yo f g o a l k e e p e

18、 r T h r o u g hi n t r o d u c i n gE l m a nn e t w o r ki n t oQ l e a r n i n gp r o c e s s ，i ti m p r o v e st h e p e r f o r m a n c eo fl e a r n i n g E x p e r i m e n tr e s u l t ss h o wt h a tt h ea l g o r i t h mc a ne f f e c t i v e l y i m p r o v et h ed e f e n s i v ea b i l

19、i t yo fg o a l k e e p e ra n d r e a l i z et h e i n d e p e n d e n td e f e n s e d e c i s i o n - m a k i n go fg o a l k e e p e r F i n a l l y , t h ep a p e rs u m m a r i z e do nt h em a i nr e s e a r c hr e s u l t s ，a n dp o i n t so u tt h e s u b je c t st of u r t h e rr e s e a

20、r c ha n di m p r o v e m e n ti nt h eg o a l k e e p e rd e f e n s i v ec o n t r o li nt h e f u t u r e K e y w o r d s ：s o c c e rr o b o t ；g o a l k e e p e r ；p o s i t i o np r e d i c t i o n ；m o t i o nc o n t r o l ；d e f e n s i v e s t r a t e g y I V 目 录 目录 摘要I A b s tr a c t I I I

21、 目录V C o n t e n t s V I I I 第一章绪论1 1 1 课题的研究背景及意义1 1 2 国内外相关研究现状及分析一3 1 2 1 足球运动状态预测的国内外相关研究现状及分析3 1 2 2 守门员控制的国内外相关研究现状及分析5 1 3 本文的主要研究内容及章节安排6 1 3 1 本文的主要研究内容6 一 1 3 2 本文的章节安排7 第二章R o b o C u p 中型组机器人足球比赛系统简介8 2 1 引言8 2 2 比赛系统的组成和工作原理一8 2 2 1 比赛系统的组成8 2 2 2 比赛系统的工作原理9 2 3 足球机器人一9 2 4 机器人守门员1 1 2

22、5 本章小结1 3 第三章足球位置的预测1 4 3 1 引言一1 4 3 2 日。滤波和强跟踪滤波简介1 4 3 2 1 日。滤波1 4 3 2 2 强跟踪滤波( S T F ) 1 6 3 3 基于S T F 和日。滤波的足球位置预测算法( S T H F ) ：17 V 广东工业大学硕士学位论文 3 3 1S T H F 算法分析17 3 - 3 2S T H F 算法步骤1 8 3 4 实验及结果分析18 3 4 1 实验环境18 3 4 2 结果分析1 9 3 5 本章小结2 1 第四章守门员的动作控制研究_ 2 3 4 1 引言。2 3 4 2 机器人的运动学模型2 3 4 2 1

23、坐标系规定2 3 4 2 2 运动学模型2 5 4 3 基于改进P I D 算法的守门员动作控制2 5 4 3 1 改进P I D 控制算法2 6 4 3 2 守门员的动作控制2 7 4 4 实验及结果分析3 3 4 5 本章小结3 3 第五章守门员的防守策略研究3 4 5 1 引言3 4 5 2 强化学习( R L ) 3 4 5 2 1 强化学习的基本原理3 4 5 2 2M a r k o v 决策过程( M D P ) 3 5 5 2 3Q 学习3 6 5 3 基于E l m a n 网络的强化学习算法( E l m a n Q ) 3 7 5 3 1E l m a n Q 算法描述3

24、 7 5 3 2E l m a n Q 算法步骤3 8 5 4 强化学习在守门员防守策略中的应用3 9 5 5 实验及结果分析4 0 5 5 1 实验环境4 0 5 5 2 结果分析4 1 5 6 本章小结4 2 V I V I I 广东工业大学硕士学位论文 C o n t e n t s A b s t r a c t ( I nC h i n e s e ) I A b s t r a c t ( I nE n g l i s h ) I I I C o n t e n t s ( I nC h i n e s e ) V C o n t e n t s ( I nE n g l i s

25、h ) V I I I C h a p t e r1I n t r o d u c t i o n 1 1 1B a c k g r o u n da n dS i g n i f i c a n c eo fR e s e a r c h ”1 1 2S t a t u sa n dA n a l y s i so fR e l a t e dR e s e a r c ha tH o m ea n dA b r o a d 3 1 2 1S t a t u sa n dA n a l y s i so fR e l a t e dR e s e a r c ho nF o o t b a

26、l lS t a t eP r e d i c t i o n 一3 1 2 2S t a t u sa n dA n a l y s i so fR e l a t e dR e s e a r c ho ng o a l k e e p e rc o n t r o l 5 1 3P r i m a r yR e s e a r c hC o n t e n t sa n dC h a p t e r so ft h eT h e s i s 6 1 3 1P r i m a r yR e s e a r c hC o n t e n t so ft h eT h e s i s 6 1

27、3 2C h a p t e r so ft h eT h e s i s 7 C h a p t e r 2I n t r o d u c t i o no fR o b o C u pM i d d l e - S i z eL e a g u eR o b o tS o c c e rS y s t e m 8 2 1P r e f a c e 8 2 2C o m p o s i t i o na n dP r i n c i p l eo ft h eC o m p e t i t i o nS y s t e m 8 2 2 1C o m p o s i t i o no ft h

28、 eC o m p e t i t i o nS y s t e m 8 2 2 2P r i n c i p l eo ft h eC o m p e t i t i o nS y s t e m 9 2 3S o c c e rR o b o t 9 2 4R o b o tG o a l k e e p e r 1 1 2 5S u m m a r y 13 C h a p t e r3 P o s i t i o nP r e d i c t i o no fF o o t b a l l 1 4 3 1P r e f a c e 一1 4 3 2I n t r o d u c t i

29、 o no f H ”F i l t e ra n dS t r o n gT r a c k i n gF i l t e r 1 4 3 2 1H 。F i l t e r 1 4 3 2 2S t r o n gT r a c k i n gF i l t e r ( S T F ) 1 6 3 3P r e d i c t i o nA l g o r i t h mo fS o c c e rP o s i t i o nB a s e do nS T Fa n dH 。F i l t e r ( S T H F ) V I U C o n t e n ts 17 3 3 IA n

30、a l y s i so f S T H F 1 7 3 3 2S t e p so fS T H F 18 3 4E x p e r i m e n t sa n dR e s u l t sA n a l y s i s 18 3 4 1E x p e r i m e n tE n v i r o n m e n t 18 3 4 2R e s u l t sA n a l y s i s 19 3 5S u m m a r y 2 1 C h a p t e r4M o t i o nC o n t r o lR e s e a r c ho fG o a l k e e p e r 2

31、 3 4 1P r e f a c e ：1 3 4 2K i n e m a t i c sM o d e lo fR o b o t 2 3 4 2 1P r o v i s i o n so fC o o r d i n a t eS y s t e m 2 3 4 2 2K i n e m a t i c sM o d e l 2 5 4 3M o t i o nC o n t r o lo fG o a l k e e p e rB a s e do nI m p r o v e dP I DA l g o r i t h m 2 5 4 3 1I m p r o v e dP I

32、DC o n t r o lA l g o r i t h m 2 6 4 3 2M o t i o nC o n t r o lo f G o a l k e e p e r 2 7 4 4E x p e r i m e n t sa n dR e s u l t sA n a l y s i s 3 3 4 5S u m m a r y 3 3 C h a p t e r5D e f e n s i v eS t r a t e g yR e s e a r c ho fG o a l k e e p e r 3 4 1 ；1P r e f a c e ：；4 5 2R e i n f o

33、 r c e m e n tL e a r n i n g ( R L ) 3 4 5 2 1T h eB a s i cP r i n c i p l eo f R e i n f o r c e m e n tL e a r n i n g 3 4 5 2 2M a r k o vD e c i s i o n m a k i n gP r o c e s s ( M D P ) 3 5 5 2 3Q - L e a r n i n g 3 6 5 3R e i n f o r c e m e n tL e a r n i n gA l g o r i t h mB a s e do nE

34、 l m a nN e t w o r k ( E l m a n - Q ) 3 7 5 3 1D e s c r i p t i o no fE l m a n Q 3 7 5 3 2S t e p so fE l m a n - Q 3 8 5 4R e i n f o r c e m e n tL e a r n i n gA p p l i e di nD e f e n s i v eS t r a t e g yo fG o a l k e e p e r 3 9 1 ；5E x p e r i m e n t sa n dR e s u l t sA n a l y s i s

35、 4 0 5 5 1E x p e r i m e n tE n v i r o n m e n t 4 0 1 ；5 2R e s u l t sA n a l y s i s 41 广东工业大学硕士学位论文 5 6S u m m a r y 4 2 C o n c l u s i o n 4 3 R e f e r e n c e s ：4 5 T h e s i sP u b l i s h e dD u r i n gS t u d y i n gf o rM a s t e rD e g r e e 4 9 O r i g i n a lS t a t e m e n to f A

36、c a d e m i cD i s s e r t a t i o n 5 0 C o p y r i g h tL i c e n s eS t a t e m e n to f A c a d e m i cD i s s e r t a t i o n 5 0 A c k n o w l e d g e m e n t s 5 1 X 第一章绪论 第一章绪论 1 1 课题的研究背景及意义 R o b o C u p ( R o b o tW o r l dC u p ) ，即机器人世界杯足球赛，首先由加拿大不列颠哥 伦比亚大学的教授A l a nM a c k w o r t h 在1

37、 9 9 2 的论文O nS e e i n gR o b o t s ) ) 中提出【l 】。 1 9 9 2 年1 0 月，在日本东京举行的关于人工智能领域重大挑战的研讨会上，与会的 研究人员对通过机器人足球比赛来促进科学和技术的发展进行了探讨，同时进行了 一系列的调查和可行性分析。1 9 9 3 年6 月，M i n o r u A s a d a ，Y a s u oK u n i y o s h i 和H i r o a k i K i t a n o 等学者决定创办一项机器人比赛，暂命名为R o b o C u pJ 联赛( 日本足球职业 联赛) 。仅一个月的时间，就引起了国内外研

38、究学者的强烈反响，要求将比赛扩展成 为一个国际性的项目，并重命名为机器人足球世界杯赛，简称R o b o C u p 。1 9 9 6 年， R o b o C u p 国际联合会成立，并在日本举行了表演赛P r e R o b o C u p 9 6 。虽然规模不大， 但意义深远。1 9 9 7 年，首届机器人足球世界杯赛在日本名古屋与国际最权威的人工 智能系列学术大会第1 5 届国际人工智能联合会议I J C A I 9 7 同期举行【2 l ，会议 上机器人足球比赛被正式列为人工智能的一项挑战。至此，机器人足球比赛成为人 工智能和机器人学的标准问题之一。 机器人足球涉及人工智能、机器人学、通讯、传感、精密机械和仿生材料等诸 多领域的前沿研究和技术集成，实际上是以体育竞赛为载体的前沿科研竞争和高科 技对抗。R o b o C u p 是一个标准问题，旨在提供一个平台，研究人员可以利用这个平 台来研究各种先进理论和算法，以此推动人工智能和机器人学的发展。它的最终目 标是：“到2 1 世纪中叶，一支完全自治的人形机器人足球队应该能在遵循国际足联 官方规则的比赛中，战胜当时的人类