《基于Kinect的三维视觉里程计的设计.doc.doc》由会员分享，可在线阅读，更多相关《基于Kinect的三维视觉里程计的设计.doc.doc（11页珍藏版）》请在三一文库上搜索。
1、基于Kinect的三维视觉里程计的设计 摘要：针对移动服务机器人在未知环境下三维路径估计的问题，设计了一种基于Kinect的实时估计机器人运动轨迹的方法。该方法采用Kinect获取机器人运动过程中连续帧的彩色和深度信息，首先，提取并匹配目标帧和参考帧的SURF的特征点；然后，结合深度信息利用经典P3P问题的方法及改进的随机采样一致性（RANSAC）算法计算机器人的初始6自由度（DOF）位姿；最后，通过非线性最小二乘算法最小化初始位姿内点的双向投影误差来提高位姿精度，进而得到机器人的运动轨迹。同时对比了不同特征点及描述符结合下的里程计精度。实验结果表明，所提方法能够将里程计误差降低到3.1%，且
2、能够满足实时要求，可为机器人同时定位与地图创建提供重要的先验信息。 关键词：同时定位与地图创建；视觉里程计；Kinect；路径估计；彩色深度信息 中图分类号： TP242.6； TP18 文献标志码：A Abstract： Aiming at the problem of 3D trajectory estimation for mobile service robots in unknown environments， this thesis proposed a novel framework for using Kinect sensor to estimate the motion t
3、rajectory of mobile robots in real time. RGBD information of successive frames in the environment was captured by a Kinect： firstly， the feature points of Speeded Up Robust Feature （SURF） of the target frame and reference frame were extracted and matched； secondly， initial 6 Degree Of Freedom （DOF）
4、pose estimation was computed by a novel solution for the classical Perspective3Point （P3P） problem and an improved Random Sample Consensus （RANSAC） algorithm combining with depth information； lastly， the pose estimation was refined by minimizing the reprojection error of inliers of initial value via
5、 a nonlinear leastsquares solver， and then the motion trajectory of the robot was gained. The experimental results show that the error of the odometry is reduced to 3.1% by the proposed approach in real time. It can provide important prior information for simultaneous localization and mapping of rob
6、ots. Key words： Simultaneous Localization and Mapping （SLAM）； visual odometry； Kinect； trajectory estimation； RGBD information 0引言 机器人对周围环境的认知及自定位是其自主导航的前提，因此，同时定位与地图创建（Simultaneous Localization and Mapping， SLAM）问题在自主移动机器人研究领域具有举足轻重的地位。近年来，利用视觉信息估计机器人移动位姿的研究引起了人们的广泛关注。视觉里程计（Visual Odometry）一词源于Nist
7、er等1在2004年的一篇里程碑式的文献，旨在通过分析采集到的连续视觉信息估计相机承载平台（如交通车、机器人）的位置和航向。在没有任何相机工作空间先验信息的情况下，视觉里程计的方法能够仅利用视觉信息逐步重建相机的运动轨迹。与传统轮测里程计相比，视觉里程计不受地面崎岖或其他恶劣条件造成的轮滑现象的影响。基于这种优势，视觉里程计常为轮测里程计及其他导航系统（如全球定位系统（Global Position System， GPS）、惯性测量单元（Inertial Measurement Unit， IMU）、激光里程计）提供额外的有用信息。 视觉里程计可以根据计算运动轨迹所使用的数据传感器类型进行分
8、类。例如单目相机（monocular cameras）2、立体相机（stereo cameras）被广泛应用于里程计的设计。Nister等1提出的单目视觉和立体视觉里程计的框架为随后许多成功的视觉里程计系统奠定了基础。文献3-4介绍了利用立体图像信息设计实时视觉里程计的方法。全景相机因其较广的视野范围作为视觉里程计的数据传感器，在大规模复杂环境下依然具有较好的应用5。Kneip等6利用惯性测量单元（IMU）为单目相机提供额外信息，进而设计的视觉里程计能够实时地重建机器人的三维运动轨迹。 尽管上述方法卓见成效，但是由于传统相机的视野受限，许多方法需要额外的信息或者特殊的视觉系统（如全景相机），特
9、别是处理与深度信息相关的数据时这一点变得尤为重要。随着RGBD传感器的广泛应用，很多基于RGBD传感器的里程计算法7-9也被提出，并且取到了很好的效果。本文采用Kinect作为数据传感器，Kinect是由Microsoft公司开发的一款低成本的3D传感器，它由一个红外投影机和两个摄像头（RGB摄像头和红外摄像头）组成，基于这种结构，Kinect能够提供障碍物到传感器的近似距离。同时，Kinect可以创建一个640480像素（分辨率可选）的深度图，其中每个像素值表示该处离摄像头平面最近的物体到该平面的距离。本文方法对Kinect获得的目标帧和参考帧的RGB图像进行特征点提取并匹配，继而由图像深度
10、信息得到对应特征点在Kinect坐标系的三维坐标（X，Y，Z）。这个值用于计算该点在目标坐标系与参考坐标系中位置的对应关系。初始的6自由度（Degree of Freedom， DOF）相对位姿估计通过一种直接计算相机绝对位姿和旋转矩阵的P3P（Perspective3Point）方法得到，在图像匹配和计算位姿参数两个环节均采用改进的随机采样一致性（Random Sample Consensus， RANSAC）算法进行优化。最后，找出初始位姿的内点（inliers）并利用非线性优化LM（LevenbergMarquardt）算法最小化两帧对应点的双向投影误差，进而得到更准确的相机位姿（本文假
11、定相机与机器人的位置关系已定，即相机位姿代表机器人位姿）。 1特征点提取与匹配 一般而言，视觉里程计的设计方法主要靠寻找前后帧间对应的特征点，通过特征点位置的变化计算相机位姿。主要有两种提取特征点及其对应关系的方法：一是在当前帧图像中提取足够多的特征点继而在后续帧图像中追踪这些特征点（如：光流法追踪）；另一种方法则是分别提取多帧图像中的特征点，然后基于特征点描述算子的相似度进行特征点匹配10。前者适用于小范围视角旋移，而后者对视野变化范围较大的情况具有更好的鲁棒性。目前，有很多种检测特征点的方法被应用到视觉里程计的设计当中，例如Harris角点检测、FAST（Feature from Acce
12、lerated Segment Test）角点检测、ORB（ORiented Brief）特征检测、SIFT（ScaleInvariant Feature Transform）特征检测、SURF（Speeded Up Robust Feature）检测和CenSurE（Center Surround Extremas for Realtime Feature Detection and Matching）特征检测，Siegwart等11对这些特征点检测方法进行了概述。 综合考虑特征点的稳定性和实时性，本文采用Bay等12提出的SURF算法作为图像匹配的特征点提取算法，下面将简单介绍SURF特征
13、点的检测方法。 SURF特征点检测器的阈值由一个基于有效匹配点数的比例控制器自适应控制，该控制器能够在规定的阈值范围内动态地调节检测器的阈值以确保在每一帧都能提取到足够多的特征点。每个特征点的深度值由Kinect获得的深度信息得到，同时要剔除没有对应深度值的特征点。为了在每帧图像上得到位置均匀分布的特征点，将图像分割成多个8060像素（可调）的小区域，在每个小区域中保留15个（可调）强度最高的SURF特征点。 1.2特征点匹配 SURF特征点的描述算子为64维向量，不同帧间的匹配通过比较特征点描述算子间的欧氏距离得到，对于目标帧图像中的每个特征点X（x，y），在参考帧中找到与其距离最近的点X（
14、x，y）作为该点的匹配点。同时，对于参考帧中的每个特征点在目标帧中也找到对应的匹配点，只有在两次匹配中均能成功配对的特征点才能成为最终的匹配点。考虑到机器人运动中前后两帧旋转偏移量一般不会太大，在参考帧图像中选取点X（x，y）的匹配对象时只将该特征点图像位置周围一定邻域内的特征点作为候选点，并从这个邻域中计算，这样可以减少匹配时的计算量，最后运用经典随机采样一致性（RANSAC）算法剔除部分误匹配点。 实验中，SURF特征点的提取及匹配会占用大量的时间致使前后帧匹配算法无法达到实时效果，然而图形处理器（Graphics Processing Unit， GPU）的发展为计算机视觉算法提供了更高
15、效的计算方式，本文将这两个子步骤在GPU上实现，大幅度缩短了程序运行时间。 2.2改进的随机采样一致性 随机采样一致性（RANSAC）算法是计算机视觉中常用的一种估计数学模型的方法，它能够从一组包含局外点（outliers）的观测数据集中，通过迭代方法估计数学模型的参数。 本文参考Raguram等14的ARRSAC（Adaptive RealTime Random Sample Consensus）方法，考虑到用于计算机器人位姿的三维点的个数有限，在初始化模型时从所有数据中进行采样，并取消了预估计过程中生成新模型的步骤，这样可以进一步节省运行时间。 初始化模型过程中利用匹配度从高到低对对应点进
16、行排序，然后利用PROSAC（Progressive Sample Consensus）算法15生成模型。对于验证阶段的SPRT（Sequential Probability Ratio Test）算法，唯一的参数阈值A取决于内点率和贝努利参数16，实验中本文初始化为=0.3， =0.1，并在随后的过程中更新。模型的好坏根据对应点的投影误差error决定，对于判定为好的模型，将内点的平均投影误差记为该模型对应的分数score（k），作为随后预估计阶段的分数初始值。在预估计阶段本文不再采用Preemptive RANSAC算法提出的打分机制17，而是同样使用对应点的投影误差error作为打分结果
17、，在打分之前需要将匹配点根据匹配度由高到低进行排序，这样，在保持模型的整体平均误差比重的同时提高了匹配度高的点在最后得分中的比重。实验中，该方法只需迭代10次左右便可找到最优解。最后，计算各匹配点对于最终位姿模型的投影误差，误差小于某一阈值的点记为该位姿的内点。 3位姿优化 为了得到精度更高的运动估计，本文利用一种非线性最小二乘优化算法LM最小化初始位姿内点的双向投影误差。需要注意的是，当初始位姿的内点个数小于某一阈值的时候会导致参数过少而无法优化，针对这种情况设置一个内点个数的阈值，初始位姿的内点个数小于此阈值时便将所有匹配成功的点作为待优化的内点，这样能够有效避免初始位姿误差较大情况下优化
18、步骤无法执行的问题。 5结语 Kinect因其能够提供深度信息的优势在机器人定位与建图领域拥有广泛的应用前景，本文提出了一种基于Kinect的视觉里程计的设计方法，该方法仅利用由Kinect获取的彩色和深度信息，通过两帧间匹配的特征点计算机器人的6DOF绝对位姿，计算过程中将耗时较多的特征点提取和匹配两个子步骤使用GPU加速，提高了运算速度，进而能够在室内环境下实时地恢复机器人的三维运动轨迹。由于本文方法只需要一个Kinect传感器即可完成，因此可以在各种不同的承载平台上使用。本项目在不同的室内环境下实验了该方法均具有很好的性能。 参考文献： 1NISTER D， NARODITSKY O，
19、BERGEN J. Visual odometry C/ CVPR 2004： Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2004： I652-I659. 2ENGEL J， STURM J， CREMERS D. Semidense visual odometry for a monocular camera C/ Proceedings of the 2013 IEEE Interna
20、tional Conference on Computer Vision. Piscataway： IEEE Press， 2013： 1449-1456. 3YILMAZ O， KARAKUS F. Stereo and Kinect fusion for continuous 3D reconstruction and visual odometry C/ Proceedings of the 2013 IEEE International Conference on Electronics Computer and Computation. Piscataway： IEEE Press，
21、 2013： 115-118. 4McDONALD J， KAESS M， CADENA C. Realtime 6DOF multisession visual SLAM over large scale environment J. Robotics and Autonomous Systems， 2012， 61（10）： 1144-1158. 5WANG Y. A research on simultaneous localization and mapping of mobile robot with omnidirectional vision D. Harbin： Harbin
22、Engineering University， 2010.（王玉全.基于全景视觉的移动机器人同时定位与地图创建方法研究D.哈尔滨：哈尔滨工程大学，2010.） 6KNEIP L， CHLI M， SIEGWART R. Robust realtime visual odometry with a single camera and an IMU C/ Proceedings of the 2011 British Machine Vision Conference. Durham： BMVC Press， 2011： 16.1-16.11. 7WHELAN T， JOHANNSSON H， K
23、AESS M， et al. Robust realtime visual odometry for dense RGBD mapping C/ Proceedings of the 2013 IEEE International Conference on Robotics and Automation. Piscataway： IEEE Press， 2013： 5724-5731. 8DRYANOVSKI I， VALENTI R G， XIAO J. Fast visual odometry and mapping from RGBD data C/ Proceedings of th
24、e 2013 IEEE International Conference on Robotics and Automation. Piscataway： IEEE Press， 2013： 2305-2310. 9KLUSSENDORFF J H， HARTMANN J， FOROUHER D， et al. Graphbased visual SLAM and visual odometry using an RGBD camera C/ Proceedings of the 2013 9th Workshop on Robot Motion and Control. Piscataway：
25、 IEEE Press， 2013： 288-293. 10SCARAMUZZA D， FRAUNDORFER F. Visual odometry J. Robotics and Automation Magazine， 2011， 18（4）： 80-92. 11SIEGWART R， NOURBAKHSH I， SCARAMUZZA D. Introduction to autonomous mobile robots M. Cambridge： Massachusetts Institute of Technology Press， 2011： 265-366. 12BAY H， ES
26、S A， TUYTELAARS T， et al. SURF： speeded up robust features J. Computer Vision and Image Understanding， 2008， 110（3）： 346-359. 13KNEIP L， SCARAMUZZA D， SIEGWART R. A novel parametrization of the perspectivethreepoint problem for a direct computation of absolute camera position and orientation C/ Proc
27、eedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press， 2011： 2969-2976. 14RAGURAM R， FRAHM J M， POLLEFEVS M. A comparative analysis of RANSAC techniques leading to adaptive realtime random sample consensus C/ Proceedings of the 10th European Conferenc
28、e on Computer Vision， LNCS 5303. Berlin： Springer， 2008： 500-513. 15STRAUB J， HILSENBECK S， SCHROTH G， et al. Fast relocalization for visual odometry using binary features C/ Proceedings of the 20th IEEE International Conference on Image Processing. Piscataway： IEEE Press， 2013： 2548-2552. 16CHUM O， MATAS J. Optimal randomized RANSAC J. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 11（8）： 1472-1482. 17NISTER D. Preemptive RANSAC for live structure and motion estimation J. Machine Vision and Applications， 2005， 16（5）： 321-329.