基于双目视觉轮式机器人的目标检测与定位跟踪研究.pdf

《基于双目视觉轮式机器人的目标检测与定位跟踪研究.pdf》由会员分享，可在线阅读，更多相关《基于双目视觉轮式机器人的目标检测与定位跟踪研究.pdf（82页珍藏版）》请在三一文库上搜索。

1、中图分娄号：T P 3 9 14学授代鹅1 0 0 0 4 密级：公开 北京交通大学 硕士学位论文 基f 双目视觉轮式机器人的目标检测与定位跟踪研究 R e s e a r c ho nT a r g e tD e t e c t i o na n dT r a c k i n gB a s e do n B i n o c u l a rV i s i o no fW h e e l e dR o b o t 作者姓名：尹长志 导师姓名：李平康 学位类别：工学 学科专业：机械电子j r 程 学号：1 0 1 2 1 5 0 7 职称：教授 学位级别：硕士 研究方向：机电系统及自动化 北京交通

2、大学 致谢 首先感谢我的导师李平康教授! 从选择研究方向、开展研究j E 作再到论文写 作的整个过程巾李教授都对我进行了悉心的指导和严格的要求。我在硕士学爿 期间所获得的每一点进步，在科研上所获得的每个成粜都浸透着李老师的辛勤 劳动! 从李老师身上我不仅学到了知识，更重要的是学到了工作和学习所应有的 态度，这将使我在朱来的工作和生活中始终受益! 同时山非常感谢李老师在生活 中对我的照顾和关心! 在此论文完成之际，谨向辛勤培育我的恩师表示衷心的感 谢! 感谢实验室的杜秀霞老师，杜老师在我学习及平常生活中给予了很多有益的 指导和热心的帮助! 感谢杜老师在学习生活上对我的细心关怀和照顾! 还要感谢

3、所有教导过我的老师们，谢谢你们在我求学过程中给我的关怀和帮助，你们的教 诲将成为我人生中最宝贵的财富。 感谢实验室与我共度求学时光的全体同仁，特别是王鹏、金涛涛、陈晨及李 文广同学，是他们为实验室营造了浓厚的学术氛围和团结友爱的生活氛围，正是 在这样一个互帮互助、亲密无间的集体中在他们的台作、帮助和启发下，才使 我的研究课题能顺利完成。在此祝他们工作顺利生活快乐! 最后要特别感谢在成长道路上给我无私关心和体贴的父母，他们一直在我的 身后默默的关心我、支持我，感谢他们的关心使我逐渐成长起来，给予我完成| 仑 文的动力和信心! 中立摘要 中文摘要 随着科技的不断发展，视觉机器人在人类的生产生活中得

4、到丁越来越多的应 用。而_ 般目视觉移动机器人拦苴叶1 最活跃的分史之，得到了越来越多的重视。 本文以移动机器人作为取目视觉的搭载平台，研究了双日移动机器人对动、静态 目标检测与定位跟踪的方浊井设 r 了移动机器人控制系统。 首先术文综述了设I I 立体视觉的I 卅内外发展脱状，介绍了曲：体视觉存在的 问题、发展趋势、本课题研究的内容以及关键问题。根据本课题实际情况，醴计 了双日说觉机器人系统的总体方案以及双H 视觉的硬件系统。介绍了双目视觉基 本原理，为接下来的双目视觉定位跟踪提供基础。 其次研究了基于双到视觉机器人的动态目标检测算法。在S i m u l i n k 叫、境下 研究并实现了

5、典型的运动目标捡测算法m l 帧差法、背景差分法和光流法等，_ j = 分析比较了三种算法的优缺t _ 。水文n 背娃差分法的4 圳址挺：J 1 丁 种对特定形 ；的动忐I i 标进行检测的薜沾牡J 。形状特j _ E 的背景旋分法，片监l 正了该算法的 可行陀与优越性。 然后，研究了基于双目视觉机器人对静态目标定位跟踪的锋洼。应用丁一种 肆于Y C b C r 高斯卒问的方法对特定颜色川标进行双列定位跟踪，通过实验对比， 体现 返利，方法与简单阐值分割方法十H 比的优越眭。奉义将形状特征法与Y C b C r 颜色卒问法进行结合，提出了一利- 对具柯特定形状和颜色的静态H 标进行识别定 位的

6、算法一基于形状特征与颜色特征双重限定的静态E l 标定位跟踪算法，该算法 适用于在多目标环境下对特定目标的定位跟踪。该算法实时性较高可大幅度提 高定位跟踪的准确性与快速性。此外，还研究了一种对静态目标进行定位的而积 最小差法。 晟后，设计了轮式机器人的结构与机电控制系统并开发了机器人的控制策 略，使机器人能够自主对目标物体进行定位跟踪。 关键词：硕目视觉：跟踪定位；Y C b C r 颜色窄问；J 眵状特征；颤色特征；烈重限 定：全向轮 分类号：T P 3 9 14 A B S T R A C T A B S T R A C T ：W i t ht h ec o n t i n u o u s

7、d e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , v i s u a l r o b o ti nt h ep r o d u c t i o no fh m n a nl i f eh a sg o tm o r ea n dm o r ea p p l i c a t i o n sB i n o c u a r v i s i o nm o b i l er o b o tl so n eo ft h em o s ta c t i v eb r a n c h e sa n dl th a so b t a

8、i n e dm o r ea n d m o r ea t t e n t i o nM o b i l er o b o ts t u d i e di n t h i sp a p e ri se q u i p p e dw i t ha p l a t f o r ma s b i n o c u l a rv i s i o n ，b i n o c u l a rm o b i l er o b o tm o v i n gt a r g e td e t e c t i o na n dp a s s i v et a r g e t t r a c k i n gT h ed

9、 e t a i l so f t h er o b o tw i t ht h ec o n t r o ls y s t e md e s i g na r ea sf o l l o w s F i r s t ，t h i sp a p e rr e v i e w st h ed e v e l o g n a e n ti nt h ew o r l do fb i n o c u l a rs t e r e ov i s i o n ， p r o b l e m si ns t e r e ov i s i o n ，d e v e l o p m e n tt r e n

10、d s ，t h ec o n t e n t so ft h i sr e s e a r c h ，a sw e l la s k e yi s s u e sD e s i g n e da c c o r d i n gt ot h ea c t u a ls i t u a t i o no f t h i ss u b j e c t ，t h eg e n e r a ls c h e m e o f b i n o c u l a rv i s i o nr o b o ts y s t e ma n dd e s i g nt h eh a r d w a r es y s

11、t e mo f t h eb i n o c u l a rv i s t h n a r ei n t r o d u c e dT h eb i n o c u l a rv i s i o np o s i t i o n i n gf o r t h et r a c ki si nt h en e x ts e c t i o n S e c o n d l y , t h ea i g o r i t l u no f m o b i l er o b o tb a s e do nb i n o c u l a rv i s i o nt ot r a c kn l o v i

12、 n g o b j e c ti s s t u d i e dI nS i m u l i n ke n v i r o m n e n tt h et y p i c a ln l o v e m e n tt a r g e lt r a c k i n g a l g o r i t h m sa r ed e v e l o p e da n dr e a l i z e dB a s e do nt h eb a c k g r o u n do f d i f l c r e n c eb e t w e e n t h r e ea l g o r i t h m s ，t

13、h i s p a p e rg i v e sas p e c i a la l g o r i t h mo fd e t e c t i n gs p e c i f i cs h a p eo f d y n a m i ct a r g e tb a c k g r o u n dd i l l c r e n c i n gb a s e do ns h a p ec h a r a c t e r i s t i c sa l g o r i t h mT h e t b a s i b i l i t ya n ds u p e r i o r i t yo f t h ea

14、l g o r i t h mi sv e r i f i e d A f i e r w a r d s ，t h ea l g o r i t h mo fm o b i l er o b o tb a s e do i lb i n o c u l a rv i s i o nt ot r a c ka n d l o c a t es t a t i ct a r g e ti ss t u d i e dA na l g o r i t h mb a s e do nt h eY C b C rG a u s s i a ns p a c eo f l o c a t i o na

15、n dt r a c k i n gs p e c i f i cc o l o rt a r g e th a sb e e na d o p t e dT h r o u g ht h ee x p e r i m e n t a l c o m p a r i s o n ，t h es u p e r i o r i t yo f t h ep r o p o s e da l g o r i t h mi sd e m o s t r a t e dc o m p a r e dw i t ht h e s i m p l et h r e s h o l ds e N n e n

16、t a f i o nm e t h o dT h r o u g hc o m b i n i n gt h es h a p ec h a r a c t e r i s t i c so f m e t h o dw i t ht h eY C b C rc o l o rs p a c em e t h o d ，a na l g o r i t h mo f i d e n t i f ya n dp o s i t i o n i n ga s p e c i f i cs h a p ea n dc o l o ro f “ t h es t a t i ct a r g e t

17、 i sp r o p o s e dn a m e da st h es t a f i et a r g e t l o c a t i o na n dt r a c k i n ga l g o r i t h m ，w h i c hb a s e do nt h es h a p ea n dc o l o rl i m i t e dT h e a l g o r i t h mc o u l db eu s e dt ol o c a t ea n dt r a c k as p e c i f i ct a r g e ti nm u l t i t a r g e te n

18、 v i r o n m e n t I na d d i t i o n ，t h es m a l l e s td i f f e r e n c ea l g o r i t h mo fl o c a t i o na n dt r a c k i n gs t a t i ct a r g e t si s s t u d i e d F i n a l l y , s t r u c t u r ea n de l e e t r o m e c b a n i c a lc o n t r o ls y s t e mi sd e s i g n e df o rt h em

19、o b i l e r o b o tT h ec o n t r o ls t r a t e g yi sd e v e l o p e df o rt h em o b i l er o b o tt ol o c a t ea n dt r a c kt a r g e t o b j e c ti n d e p e n d e n t l y ! ! 堡竺塑查堂堕主芏些笙兰 K E Y W O R D S ：b i n o c u l a rv i s i o n ；t r a c k i n ga n dp o s i t i o n i n g ；Y C b C rc o l

20、o rs p a c e ；s h a p e f e a t u r e s ；c o l o rf e a t u r e s ；d o u b l el i m i t ，o m n i d i r e c t i o n a lw h e e l C L A S S N o ：T P 3 9 l4 l | 景 目录 - 1 ，史摘要 v A B S T R A C T v i I 1 1 研究目的及意义l 12 同内外研究现状 I 13 本文的主婴研究内容和关键问题 3 13 l 本义的研究内容 3 13 2 | 仑文章节安排4 2 _ 盯目视觉系统设计 5 2 1 日【占5 22 双

21、目视觉机器人总体方案设汁 5 23 坝L M 髓碰什系统啦计 6 23 I 税弛传堪器选取 6 2 32 视觉处理器 7 2 4 般 j 视觉系统的模型结构及双目视觉原删8 24I积门税觉牡本原理8 242 双日视觉模型9 2 5 结论 1 2 3 取目视觉轮式机器人对动态目标的跟踪榆测】3 3 1 I 言1 3 32 应用单E 【桃觉运动k l 标检测 1 3 32 1 光流法1 4 3 22 背景差分法1 8 3 23 帧间差分法2 0 33 基于形状属性的背景差分法的运动目标检测2 2 3 4 小结2 7 4 烈移动机器人识别* H 踪静态H 标2 9 4 l 引言2 9 42 基于Y

22、C b C r 颜色分割法对静态目标捡测 2 9 43 基于Y C b C r 颜色卒问双目视觉定位跟踪程序设计” 44 旗于形状特征与Y C b C r 颜色烈重限定F 的H 标口H 踪定位铱法研究3 6 北京变通大学顺士学位论立 45 根据目标面积最小差法进行目标定位跟踪 4 0 4 6 结论 4 3 5双目轮式机器人系统设计 4 5 5 I 引言 4 5 5 2 移动机器人结构设i 卜 4 5 52 1 伞向轮运动原理 4 6 5 22 伞向轮机构设训 4 6 533 机器人机体结构设计 4 9 5 3 全方位轮式般目机器人控制系统 5 0 5 4 机器人控制系统设计 5 4 54l 双

23、机R 1 M 模式的通信系统 5 4 5 42 基于S i m u l i n k S t a t e f l o w 与视觉机器人控制垃汁 5 4 55 结论 6 0 6 结论与艇望 6 l 6 1 鲜论 6 1 6 2 城州 6 I 参与文献 6 3 作者简历 6 7 5 虫刨州：声叫 6 9 学位| 文数据集 7 1 - “言 1 引言 1 1 研究目的及意义 随着机器人应用领域的扩展以及汁算机硬件技术的迅速发展，双日 见觉已经 成为了机器人研究的一个重要领域u 】。在人类认识周围事物的过程中通过视觉观 察认识客观事物是诸多方式的最重要的途径。据统计，人类感受客观世界8 0 的 信息都是

24、由视觉系统得到的“】。人类通过视觉感知世界，进而通过大脑认识和改造 世界。机器视觉就是通过视觉传感器得到图像或者图像序列，进而通过电脑采用 图像处理、模式识别、人工智能等技术相结合的手段分析理解这些图像，对三维 世界进行描述和解释n 机器人视觉模拟了人眼的感知功能，具有探测范围宽、目标信息完整等优势， 它是移动机器人智能化的一个重要标志p l 。随着科学技术的不断发展与进步，机器 视觉也在不断进步。目前，已经在很多行业中得到了应用。机器视觉具有快捷、 准确、灵活等特点，在很多行业得到了应用，甚至在人类视觉无法感知的情况下， 机器视觉也可以进行工作。目前取目视觉在各个领域拥有广阔的前景，如零件

25、识别与定位、产品检验、医学图像分析、同防系统、安全鉴别、监视、跟踪、空 间技术等。 机器视觉在实际应用中很大程度上要依赖现代图像处理与模式识别技术，它 们是各自性质不同，但又自成体系的研究领域。其中，双目立体视觉技术是当前 机器视觉研究领域的重点和热点问题。双目立体视觉对物体的立体感知过程与人 类视觉的感知过程非常相似它直接模拟人类双眼处理景物的方式，简便可靠， 具有极大的应用前景，一直以束该技术受到备领域学者的重视。由于双目立体视 觉技术可以模拟人眼，对三维世界有立体感知的功能，并且随着微处理器件和集 成电子技术飞速发展，使双曰立体视觉基本可以满足实时性要求，它越来越r 。泛 的应用于各个领

26、域，特别是在许多人类视觉无法感知的场合，如精确定量感知、 危险场景感知以及不可见物体感知等。在这些方面计算机立体视觉都显示出其无 可比拟的优越性。因此，在精确跟踪、三维信息恢复，目标测量等领域对取目立 体视觉技术进行研究具有 。分重要的意义b l 。本文旨在研究移动机器人自主寻找目 标井跟踪的多利；方法协调技术，从而使机器人顺利完成特定的任务。 1 2 国内外研究现状 山丁计算机技术、超大规模攘成电路技术、人上智能技术以及知识工程等学 北京变通大学倒! 士学位论文 科的飞跃发展，另一方面由于民用和军事工业生产的急需，使得上述学科的技术 成果有了在机器人智能化研究领域得到实现的可能。世界各国越来

27、越重视智能机 器人视觉系统的研究工作，并且投八了人量的人力和物力。在双目视觉跟踪研究 方面，国外的研究起步较早，研究成果也较多。 美国C a r n e g i eM e l l o n 大学研制的N A V L A B 自主车f A u t o n o m o u sV e h i c l e ) ，应用 多个传感器进行信息处理，系统包括声纳、激光测距、双彩色摄像机平台及目标 识别与跟踪摄像机等多种传感器【7 l 。 日本大贩大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统， 利用双目视觉的原理，实时计算目标图像的雅可比矩阵，对目标进行运动预测 实现了对运动方式朱知的目标的自适应跟踪

28、”】。 日本冈山大学使用立体显微镜、两个C C D 摄像头、微操作器等研制了使用立 体显微镜控制微操作器的视觉反馈系统，用于对细胞进行操作，对巾了进行基因 注射和微装配等o 】。 麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融合方法 【1 ”，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深 度信息，并结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位 置进行分割。 华盛顿大学与微软公司合作为火星“探测者”号研制了宽基线立体视觉系统， 使“探测者”能在火星上对其即将跨越的几千米内的地形进行精确的定位和导航。 系统使用同一个摄像机在“探测者”的不同位置拍

29、摄图像对，系统采用非线性优 化得到两次拍摄图像时摄像机相对准确的位置，利用鲁棒性强的晟大似然概率法 结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算 图像对中各点的三维坐标。 A l b e r t oB r o g g i 等人提出了一种在未知环境中机器人进行实时障碍物检测的立 体视觉算法。立体摄像机从环境中获得图像用此算法来计算左右摄像机巾的对 应图像对的v 视差图。通过立体匹配和图像坐标系与摄像机坐标映射的关系确定 障碍物的位置口。 国内这方面的研究起步较晚，但发展较快。我国的研究人员无论足对摄像机 的标定技术还是对立体图像匹配算法都进行丫大量的研究，提出了很多比较

30、完善 的理论。在算法的实现方面，也取得很多成果。 北京航空航天大学对基于坐标测量机的坝目视觉方法的测距误差进行了详细 的分析，总结了相应的误差公式，从而在实际测量中提高了双目视觉方法的测距 精度。 巾科院自动化研究所机器人视觉研究自I 己经取得了很大的成就。机器人视觉 引言 研究组设计了C V S u i t e 软件，该软件能够完成特征点的提取、特征点的匹配、摄 像机的自标定、模型的三维显示等功能。机器人视觉研宄组利用一种称为半稠密 匹配的方法进行立体图像对的匹配，更好的实现了模型的三维硅不”。 哈工大采用异构双目视觉系统实现了伞自主足球机器人导航，将个固定摄 像机和一个可以水平旋转的摄像机

31、分别安装在机器人的- 扣下部和顶部，可以同时 监视不同方位的视点。般目坼调技术可使机器人同时捕捉多个有效目标，观测相 同目标时通过数据融合提高测量精度。实际比赛巾在其他传感器失效的情况下， 仪仪依靠取目协调仍然可以实现全自主足球机器人导航【l 。 北京理工大学的爆炸科学与技术国家重点实验室，根据立体视觉原理，研究 了立体视觉的三维建模方法。并提出提高空间点求解速度的改进算法，能精确的 反映障碍物深度信息。 吉林大学与r p 国卒间技术研究院提出了种用于目标卒问三维距离、方位信 息探测的立体视觉系统实现方法 除此之外，国内其他科研单位在这方面也投入了巨犬的人力物力在双目视觉 领域。比如：清华大学

32、智能技术与系统国家重点实验室、安徽大学人工智能研究 所、武汉汽车工业大学数字图像处理研究所等在机器人立体视觉研究领域处于领 先地位。虽然现阶段我图的研究进展稍落后于国外，但随着我们同家科技和经济 水平的迅猛发展，通过科研人员的努力在此方面必定赶上和超过国外的研究水平。 综上所述可以看出国内外学者在双甘立体视觉系统的理论及实现方面已经进 行了大量深入的研究工作。但是由于实际问题的复杂性，视觉控制算法有待进 一步研究，具体实现过程巾仍存在视觉信息处理瓶颈、适用范围窄等实际问题， 复杂的三维视觉系统仍处于研究开发阶段。 1 3 本文的主要研究内容和关键问题 1 3 1 本文的研究内容 本文的主要研究

33、内容是基于移动机器人双I d 视觉对目标的跟踪定位与机电系 统设计，其中包括以下四个方面： 1设计了双目视觉轮式机器人系统硬件包括视觉硬件系统、轮式机器人与硬件 驱动系统。 2肇于运动目标跟踪算法，研究了适用于视觉机器人对动态目标跟踪的图像识别 方法。主要是采用光流法、l 眦差法、背景差分法等视觉算法设计了S i m u l i n k 环境下的视觉检测系统。并且根据背景差分法的特点，提出了对特定形状的运 动目标进行检测的基于形状特征的背景差分法。 北京变通大学侦士学位论文 3 研究了基于Y C b C r 颜色字问法的视觉机器人对静卷甘标进行双目定位跟踪的 方法，并将目标物体形状特征法与Y

34、C b C r 空间祛捐结合进行算法设计，在多目 标情况下可以对特定形状目标进行P R 踪定位。依据双目税觉原理计算目标三维 信息，并对目标进行双H 定位跟踪。此外，在多日标的情2 己下设计了比较简单 快捷的而积最小差法，对特定而积的目标物体进行踝踪定位 4 设计了基于S i m u l i n k 的双口视觉轮式机器人控制模块，主要是使机器人对运动 目标进干：| ：自主跟踪定位，通过优化该系统参数，提商控制系统的实时性。 l _ 3 2 论文章节安排 本文以移动机器人作为双H 视觉搭载平台研究裂到移动机器人对运动目标 以及静杰目标进行跟踪检测的方法，并对机器人控制系统进行设计， 沧文分为六章

35、，备章的主要内容如下： 第一章主要介绍了双目立体视觉的国内外发展现状、立体视觉存在的问题与 发展趋势、课题研究的内容以及关键问题。 第二章根据本课题实际情况，设计了双目视觉机器人系统的总体方案以及取 目视觉的硬件系统。介绍了双目视觉基本原理，为接下来的双目 m 觉定位跟踪提 供基础。 第三章研究了基于双日视觉机器人的动态目标捡测算法。在S i m u l i n k 环境下 研究并实现了典型的运动目标检测算法并分析比较了各个算法的优缺点。在背 景差分法的基础上提出了一种对特定形状的动态目标进行检测的算法一基于形状 特征的背景差分法，并验证了该算法的可行性与优越性。 第四章研究了基于双H 视觉机

36、器人对静态目标定位跟踪的算法。应用了一种 基于Y C b C r 高斯空间的方法对特定颜色目标进行双目定位跟踪，通过实验对比， 体现出这种方法与简单闽值分割方法相比的优越陛。并利用形状特征法与Y C b C r 颜色卒间法进行结合提出了- - 币1 对特定形状、颜色的目标进行跟踪的新的算法 此算法可用于在多目标环境下对特定目标的识别定位。该算法实时性较高，可大 幅度提高跟踪定位的准确性与快速陆。此外，还研究了一种对目标进行检测的面 积最小差法， 第五章设汁了轮式机器人的结构与机电控制系统，并开发了机器人的控制策 略，使机器人能够自主对目标物体进伯二定位心踪。 第六章对本文主要完成的工作和所研究

37、的成果进行了洋细的总结，同时对现 有工作提出了改进和完善的方向。 烈口视觉系统醺计 2 双目视觉系统设计 2 1 引言 奉章主要介绍了双曰视觉轮式机器人的总体方案，愀据总体方案，研究j ：搭 建般目视觉系统硬件平台，并对烈日M 觉原理进行介绍，为接F 柬的视觉算法设 计，机器人硬件平台搭建以及机器人控制系统殴计等提供丁琏础。 2 2 双目视觉机器人总体方案设计 本文研究的取目视觉轮式机器人主要是在室内环境下，利用移动机器人搭载 双目视觉摄像头，并应用视觉算法对特定的目标进行分割、提取并计算目标物体 坐标信息，然后将坐标信息通过双机R 1 w T 模式通信系统传送到工控机中，通过 控制黄略引导机

38、器人对i T 1 3 标，= j 1 ：指引机器人对目标进行跟踪和定位等任务。视 觉机器人系统主要分两部分，即视觉系统与机器人运动控制系统。两个系统需要 进行有效的结合来完成对1 3 标的跟踪捕捉等任务。双目视觉机器人总体框架，如 图2 1 所示 鬯叫匣叫 堰酽竺回 上j 。一 ! ! 竺r _ | ! ! 竺 _ H 标渫度距离 宁 * 0 上吲习- L 积机臣翻 H lL J 日 。一 椿l杯 HH 杯质心坐标通信 I U 帆 ；l 同步 ； 系缱 模块 Uu 雹口瑁 臣1 J “M 。lB 目2 - 1 似目视啦机器人系统框架捌 F i g2 一lB i n o c u l a r v

39、i s i o nr o b o ts y s t e m f r a m e w o r k 此京交通大学硕4 一学行论文 双目视觉机器人总体流程如下：第步利用图像传感器( 摄像头) 对目标进 行实时的图像采集，并将获取的图像输入图像处理计算机中进行处理。第二步对 采集到的图像数据进行预处理，如格式转换、平滑、去噪等。第三步依据目标的 颜色与形状信息获取的图像数据进行目标物体的分害0 提取，并对分割后的二值圈 像进行关操作以及形态学操作等。第四步对分割后的目标物体进行质心坐标计算， 得到目标物体的二维相对挫标信息，实现对目标的识别并将识别后的目标信息 转换为位置坐标。第五步依据匹配准则以及双

40、目视觉原理计算得到目标的深度距 离。第六步应用双机R T w T 模块系统实时地将目标的二维坐标、深度距离信息传 送到工控机中，通过控制算法，首先根据二维坐标信息进行逻辑判断，引导机器 人对正目标，然后根据目标深度距离信息控制机器人向目标行进，晟终完成跟踪 定位等任务。 2 3 双目视觉硬件系统设计 机器人视觉是指使机器人具有视觉感知功能的系统。根据功能不同，机器人 视觉可分为视觉检验和视觉引导两种，广泛应用于电子、汽车、机械等工业部门 和医学、军事领域。机器人视觉硬件主要包括图像获取和视觉处理两部分。 通常情况下视觉图像获取系统由照明系统、图像传感器、模拟一数字转换器 和圈像帧存储嚣等组成。

41、机器人视觉可以通过视觉传感器获取环境的二维图像， 并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辩识物体， 并确定其位置。本文因为双目视觉机器人主要在室内环境下进行实验，因此只需 要图像传感器、模拟一数字转换器和存储器即可满足。 2 3 1 视觉传感器选取 图像传感器( I m 8 9 eS e n s o r ) 作为摄像机、数码牛阿机的成像器件，举足轻重地决 定着圈像的质量和性能指标f l “。图像传感器是视觉机器人最前端系统，是获取图 像的并进行跟踪检测等后续处理的硬件基础，I 问此选取适合自身情况的图像传感 器显得尤为重要。 C a B 与C M O S 传感器是当前被普

42、遍采用的阿种图像传感器”。C C D 与C M O S 传感器主要是芯片材料不同，但是I 作原理没有区别。而R C C D N 造工艺较复杂， 而且市 面J 2 C C D 的摄像头售价通常比性能相近的C M O S 摄像头贵，而且c M O s 的制 造成本和功耗都低于C C D 。C M O S ( I C J 成像质量和C C D 还有一定距离但l h 于低廉 的价格以及高度的整合性，因此在摄像头领域还是得到了广泛的应用。随着技术 烈口视觉系统设计 的发展目目l f C M O S 成像效果电得到了提高。本文基f 自身的使用情况以及成本因 素，最终选取C M O S 传感器作为本系统的图

43、像传感器。 本文选取的是两个天敏灭, 3 u v c Ic a m ( 无驱版) 摄像头。陔摄像头可以直接应 川U S B 接口与P c 机连接，见图2 2 。选法摄像头来集成剖像采集 与帧存储器( 这 部分功能l l i P c 机实现) ，使得摄像头重量减轻，成本降低，机器人便于携带安装。 2 3 2 视觉处理器 酗2 - 2 天弓摄像头 F i g2 - 2 U V C - 1c a m 目前，在机器视觉行业，应用最广、市场份额最大的也是基于P C 的图像检测 系统。基于P C 的机器视觉系统解决方案拥有诸多优点主要有以下几点：基于 P C 开发的工程师数量众多技术积累也较多：存储容量火

44、，相关软件比较多，可 以直接应用M a f l a b S i m u l i n k - p 的图像处理工具箱进行图像处理以及编写相关算 法。计算机硬件处理能力强大；图像处理算法容易移植兼容性好；相关硬件比 较成熟，容易连接，具备多种通信方式。 但是也存在一些缺点，E 要有：P C 机系统体积庞大，在现场占用较多空间： 操作系统庞大，H ：稳定性增多：功耗较大同时也存在敞热问题；由于组成部分 多，可能发生故障的地方也会增多，可靠性会受一定影响。 聃U ，P Cn g l J L 器视觉解决方案仍占据了机器视觉行业应用的大半壁江山，其 适台的细分应斤J 市场主要打：要求图像处耻能力j 虽大的场

45、台；成j | 现场空问比较 大，适台结构复杂的检测系统：应用环境相对简单，外界干扰、振动较少：有人操 控，对稳定性没有非常强的要求。 根据本课题研究的现实情况，最力便最快捷的就是选用P C 机作为图像处理工 匕京变通人竽倾+ 学位论文 具有成本低、系统稳定、| = i 】 时州咀使研究嚣搬状的入手，术课邀的机器视监跟踪 定位系统主璺t lrP c 机、桃觉摄像头、轮式机器人组成。 2 4 双目视觉系统的模型结构及双目视觉原理 双目立体视觉是以视觉传感器代替人类的眼睛，觇觉处理器代替大脑，模拟 人类双跟工作的过程，它是山场景的两幅不同视角拍摄的一维图像来恢复二维坐 标或者二维几何形状的一种方法。

46、本文将该方法用十双日移动机器人对目标进行 检测跟踪。本章节将介绍双目视觉的基本原理以及双目立体视觉的基本模型，对 这两种模型进行比较分析。 双目立体视觉是以两个摄像头代替肉眼，计算机代替大脑，还原人类通过双 眼识别目标和获得目标深度信息的过程，它是由场景的两幅不同视角拍摄的一维 图像米恢复二维坐标或者二维几何形状的一种方法。本课题将该方法运用于机器 人目标的识别和定位。下面将介绍双日税觉的基本原理、基本模型，以及对两种 基本模型的对比分析从中选择适台乖谍题的双目视觉模型。 2 4 1 双目视觉基本原理 双目视觉的原理可以用图2 - 3 说明，对于空间上任意一点尸，如果用C 摄像 机来观察，看到

47、它在G 摄像机平面中位于牟，但无法仪由片得知P 的空间位置。 事实上，在q P ( q 为G 摄像机的光心) 连线上的任意一点一的图像点都是片， 因此我们无法仅仅通过空间中一点在一台摄像机中的投影计算出P 点的空间坐 标。 P 图22 敢H 视觉原理模喇 F i 9 2 - 3 T h e p r i n c i p l e o n i 】v i s i o n m o d e l 烈U 视觉系统设计 但是，用C 和C 两个摄像机同时观察P 点，并且如果能确定在C 摄像机图像 上的点P 与在c _ 摄像机上的点只是空叫同一点P 的成像点，隋况就不同了。由图 3 7 我们知道，空间点尸是n 片与

48、。只的交点，即浚点的三维位置是l l 作确定的。 这就是烈目视觉的基本原理。如果能够得到物体表面L 所有点的三维坐标，则三 维物体的形状与位置就是唯一确定的。 2 4 2 双目视觉模型 I 、平行放置下的双目立体视觉模型空问点重建 最简单的双目立体视觉模型是理想的平行放置的双目视觉模型，如图2 - 4 所 ，一7 ， 7 I fz ： X R 图2 4 舣目视觉，F 行放置定竹原理图 F i g2 - 1 C h a r to f l o c a t i o np r i n c i p l eo f p a r a l l e lb i n o c u l a rs t 目e ov i s

49、i o n 设两个摄像机完全相同，庄、右摄像机处于平行埘准状态，即以左、右摄像 机光心分别作为左、右摄像机坐标系的原点D ，和D 。以光心的连线方向作为它们 的x ，轴的方向，光心之间的距离为b ，被称为基线，两个摄像机的光轴相互平行， 作为各自的Z ，轴，耳轴垂直于置乙平面，符合右手定则，且相互平行，井设两 J 匕京交通人学碗L 学位论文 个摄像机的焦距均为厂。以左摄像机坐标系作为世界坐标系，设空间某点P 在两 个摄像机成像平面上的投彩点分别为丘和E ，两个点在成像平面坐标系T _ 1 的r 坐标 相同，而X 坐标不同，分别为。和X 。出三角几何对应关系可得如下式2 l 。 乩2 一 x t 一一( 儿2 ：i b y , ( 2 1 ) b y X ，一x 用计算机图像中像素坐标表示为 ，一坐 型 I I I l f 。：b L ( v , - V o ) 7 ” ，v ( 1 l 一z f ，) ( 2