《2013051269-余秀丽-基于多源融合技术的目标识别、定位与三维重建综述要点.pdf》由会员分享，可在线阅读，更多相关《2013051269-余秀丽-基于多源融合技术的目标识别、定位与三维重建综述要点.pdf（12页珍藏版）》请在三一文库上搜索。
1、博士基地班硕士 硕博连读研究生兽医硕士专业学位 学术型硕士 工程硕士专业学位 农业推广硕士专业学位全日制专业学位硕士 同等学力在职申请学位中职教师攻读硕士学位 高校教师攻读硕士学位风景园林硕士专业学位 西北农林科技大学 研 究 生 课 程 考 试 试 卷 封 面 （课程名称：农业工程研究进展） 学位课 选修课 研 究 生 年 级、姓 名2013 级 余秀丽 研究生学号2013051269 所 在 学 院（系、部）机械与电子工程学院 专业学科农业电气化与自动化 任课教师姓 名王绍金 考试日期2014.6.5 考试成绩 评 卷 教 师 签 字 处 1 基于多源融合技术的目标识别、定位与三维重建 X
2、iuli Yu 机电学院农业电气化与自动化 2013 级 2013051269 余秀丽 摘要：实现农业机械化与自动化重点在于农业机械在农业生产领域的普遍应用，其中农业自动化机械 对作用对象的识别、定位与重建是关键技术。针对农作物目标识别的不同方式，文章进行了多方位的阐 述：针对果木的果实采摘介绍了基于图像、机器视觉的识别定位方法，并对虚拟植物的可视化进行了从 三维重建到后期的真实感渲染的综述介绍。 关键词：果实目标识别；Kinect for Windows Sensor；深度图像；三维重建；OpenGL 引言 为了节省劳动力，目前国内外研究人员已经广泛地开展了果蔬采摘机器人的研究。在采摘机器人
3、视 觉系统中， 果实的识别和定位是其中的关键环节，能否快速准确地识别出果实直接影响机器人的实时性 和可靠性 屠珺 , 2010 #191。在国外，采摘机器人技术已经相对成熟，并且在大型现代化农场开始应用。 在国外， 1968 年第一次提出水果的自动检测，Schertz and Brown 提出，可以根据果实的光信息识别硕 士目标， 当时主要是利用输液和果实不同的反射光照信息或红外光信息A., 1968 #228。A.R. Jim?enez, R. Ceres and J.L. Pons阐述了目前采摘机器人目标定位的主要方法：基于CCD传感器获得的图像中的目 标与背景颜色差异提取目标、基于果实性
4、状特征提取目标、基于深度图像获得目标三维信息A.R. Jim?enez, 2000 #229。Arefi, A.Motlagh, A. M.等人利用机器视觉获取室内西红柿图像，结合成熟西红柿 本身的颜色特征，先在RGB颜色空间去除背景，然后在RGB、HIS、YIQ 空间提取形态特征，从而定位 成熟西红柿，实施机械手臂的采摘Arefi, 2011 #230。Song, Y.，Glasbey, C. A. ，Horgan, G. W. 提出了 一种复杂背景下利用多幅图像识别和统计植物冠部果实数量的算法，该算法x 先在一幅图像中引用了 bag-of-words moldel进行寻找目标， 然后对多幅
5、图像重复聚类统计果实目标数量,结果在没有任何适应 性调整的情况下，正确率达到了74.2%Song, 2014 #235。在国内，目前，在对采摘机器人展开研究的 国中，大部分采摘机器人仍处于实验室研究阶段，尚未进入商品化生产, #191hidden; 屠珺 , 2010 #191author-year; 屠珺 , 2010 #191;, 2010 #191;吕继东 , 2012 #189，分析其原因很多，其中对于各类环 境下的果实的准确定位是困扰点之一。吕继东，赵德安等利用软件对于振荡果实进行FFT建模， 实现了 对振荡的果实进行快速地定位、采摘，采摘成功率达到84%，而且适用于苹果等类球状果实
6、采摘机器 人吕继东 , 2012 #189 。D. M. BULANON 等人，对苹果采摘机器人的视觉系统进行研究，针对苹果自然 声场条件下枝、 叶、果相互交叉重叠的情况，首先对机器视觉获取的图像进行基于颜色的多变量阈值分 割，然后在果实目标中心和截断层与标准处理的图像相比较得到一种图形关系，从而定位果实目标 2 BULANON., 2001 #237。屠珺，刘成良等人通过彩色图像提取光照无关图，消除光照变化的影响，结 果目标果实识别率的稳定度是不采用光照无关图的识别方法的3 倍，并且其平均识别率也高达 90.45%屠珺 , 2010 #191。 陈艳军，张俊雄利用VC 6.0 软件编程实现了
7、苹果的两种大小分级的理论模型： 一种以苹果轮廓线上两点之间的最大距离作为分级标准；另一种以苹果最大横切面直径作为分级标准， 为近球形果蔬参照行业分级标准进行大小自动化分选提供参考陈艳军 , 2012 #187 。冯娟，刘刚等人使 用激光视觉系统获取果树局部的三维图像经过一系列的处理，利用随机圆环法获得果实的形状特征完成 对苹果的识别，当枝叶遮挡面积小于40时，果实的正确识别率高于93.75冯娟 , 2013 #188。崔永 杰，张发年等人综合应用果实颜色和形状特征识别自然环境中猕猴桃果实及特征提取的方法，对相互分 离果实、邻接果实、被枝叶部分遮挡果实、重叠的果实进行了识别并取得了良好的效果张发
8、年 , 2013 #210 。宋怀波等人出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区 域，将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题，利用相关分割准则实现了凹点匹配 并进行目标分割，对分割得到的非完整目标利用Spline 插值技术进行目标重建，实现了重叠苹果目标 分割 庄伊斌 , 2013 #211 。同样，基于凸壳理论，宋怀波，何东健等人实现受果树枝叶遮挡、果实间相 互遮挡的果实目标识别，平均定位误差为4.28%潘景朋 , 2012 #208。 然而上面的研究虽然都取得了一定的成果，但是实际应用中还是有待提高，主要问题有正确率不高； 适用环境多数是室内
9、环境，对于自然条件下的复杂情况没能分析在内；试验设定条件自然环境难以达到 等。针对上述问题，今后的果实识别定位与三维重建，应该朝着多源信息融合的方向发展。 1 多源图像信息融合技术 1.1 几种类型的图像 RGB图像 RGB 颜色模型是面向硬件的,由摄像机获取的彩色图像被表示成由R、G、B 成份， 并可以 转换成到具有视角角度的HIS、YIQ 颜色空间彩色图像，它们们反映了物体表面的反射光的一些特征耿 楠, 1998 #300 ，可以利用其进行果实品质分级、生熟度检测、含糖量估计等。 红外光波长800-2500nm ，红外光图像体现了物体本身的红外辐射，可以获取物体的温度特征，由 于农产品的内
10、部成分及外部特性不同,在不同波长光线照射下会有不同的吸收或反射,也就是说 ,对象的 分光反射率在某一特定波长域内会比其它部分大熊运章 , 1996 #302 。常常应用于水果的无损检测，何 东健 ,前川孝昭等人利用近红外分光检测装置以柑橘和苹果为对象进行检测用完全遮光型透过光水果内 部品质测定装置进行在线糖度、酸度及内部褐变等检测试验,并与常规分析法测定结果进行回归分析， 实验结果表明近红外分光检测装置完全满足在线检测水果内部品质的要求何东健 , 2001 #314 。 高光谱图像 在 电磁波谱 的紫外、 可见光 、近红外和 中红外 区域， 以数十至数百个连续且细分的光谱 波段对目标区域同时成
11、像。在获得地表图像信息的同时，也获得其光谱信息，实现了光谱与图像的结合。 3 图像信息可以反映样本的大小、形状、缺陷等外部品质特征，由于不同成分对光谱吸收也不同，在某个 特定波长下图像对某个缺陷会有较显著的反映，而光谱信息能充分反映样品内部的物理结构、化学成分 的差异。这些特点决定了高光谱图像技术在农产品内外部品质的检测方面的独特优势董广军 , 2006 #295 。Masoud Taghizadeh, Aoife A. Gowen等人利用高光谱图像和RGB 图像建立了一个蘑菇品质评 价回归模型，通过检测高光普图像对蘑菇的评价准确度高于RGB 图像 Taghizadeh, 2011 #248，
12、正是 利用了高光谱图像的光谱广度的优势。Crist bal Garrido-Novell等人利用高光谱图像和RGB 图像对苹 果 不 同 贮 藏 条 件 下 的 成 熟 度 进 行 了 估 计 ， 结 果 高 光 谱 图 像 识 别 分 类 成 功 率 高 于RGB图 像 Garrido-Novell, 2012 #242。 深度图像也称为距离图像，是指以物体级向深度悠代替灰度图像的灰度级形成的图像。与彩色图像 相比深度图像能直接反映物体表面的三维特征且不受光照、阴影、色度、物体姿势、 遮挡等因素的影响， 可为物体的三维重构和形态还原提供十分有用的数据信息。Kinect是 2010 年微软公司
13、推出的一款体感 外设，其核心设备由彩色摄像机、近红外线激光发射器和红外线感应器、摄影机组成，它能够快速地同 时获取场景彩色图像和深度信息，且其不受环境可见光谱干扰，成本低廉周国民 , 2014 #164。江晓 庆，肖德琴等人，通过Kinect获取作物生长的深度图像，并利用深度图像获取了3D 点云世界坐标， 为三位重建提供了基础江晓庆 , 2012 #118。对于其他图像，如雷达图像、射频图像等也可以应用到 农业生产领域。Lewis, Derek. Edwards Dan 曾在 2010 年提出 Vision inspired spatial engine (VISE)，视 觉激发空间引擎，构建
14、了了不同源数据的由目标- 目标，目标 - 图像的配准模型。基于目标的自动配准和 目标的相关性将高光谱图像、雷达图像、光电图像、派生对象和地理信息数据相融合，获得了同一个目 标更多更全面的信息Lewis, 2010 #239 。 1.2 Kinect for Windows Sensor 对于我的研究以后要使用的仪器Kinect Sensor ，如图 1.它的实用性和低廉的价位为人们提供了无限 的可能，从家庭游戏到高级实验室，形成了kinect EffectSaadatseresht, 2011 #40。 2012年2月，微软 正式退出了 Kinect Software Development
15、Kit (SDK) for Windows，为广大的开发爱好者提供了开发包。 其不仅能够获取RGB图像和深度图像，还可以骨架跟踪、人脸跟踪、三位模型等。这些都为今后的多源 信息获取提供了渠道。在近年的研究中，我国的科研者利用Kinect 获取的深度图像做了很多开创性的研 究。陈晓明， 蒋乐天等根据深度图像信号深度图像具有很强的边缘性，前景与背景有很大的深度差的特 点提出了改进的双边滤波算法，得到很好的效果；将 RGB 图像和深度图像结合,将缺失的深度图像补全 并利用坐标变换得到了三维点云数据陈晓明 , 2013 #125 。刘 冰 ,罗 熊首先对Kinect 摄像机采集到的 光学图像与其相应的
16、深度图像信息进行预处理，均匀采样后分别对其进行尺度不变特征变换(SIFT)；然 后将两组特征进行特征融合，并利用局部线性编码(LLC) 算法进行特征编码； 最后应用支持向量机( SVM ) 4 的线性分类器,对场景图像进行分类和匹配，得到场景定位信息，结果表明，利用RGB图像与深度图像 融合的图像石碑场景识别率均高于单类图像识别刘冰 , 2013 #312 。 冯娟，刘刚等人利用HIS空间色度 H分量图像与幅度图像进行模糊逻辑融合，采用首阈值法对融合图像进行分割，得到了苹果目标，并且 利用深度图像的空间层次性，提出了一种重叠果实分离方法，很好地分割出了三层不同空间距离的果实， 该方法充分利用了
17、深度图像的统计特性冯娟 , 2014 #124 。 2 三维重建与真实感显示 2.1 三维重建 我们获取目标图像的目的不仅在于对果实等目标的识别、定位。还有后期的三维重建及虚拟世界的 真实感显示，这方面的工作涉及了计算机图形学领域，可以说是图形处理与计算机图形学的交叉领域。 做这方面的研究主要是为了适应今后经济作物管理的机械化与自动化，为虚拟农场的构建做前期准备工 作。 Kondori, F. A. ，Yousefi, S.等人利用 Kinect 采集的一系列的人头部动作图像，提出了一种人头部六自 由度重建恢复的算法， 该算法利用最小二乘法计算不同点之间的变动率并用深度比率约束方程预测此变 动
18、率；其系统实现了六位空间内的多人头部运动的恢复重建Kondori, 2011 #29。吴雨，许林等人提 出了一种基于2.5维深度图像的三维配准算法，同时利用原始数据中的几何以及纹理信息，对多幅深度 图像进行两两配准和全局配准。新算法在两两配准阶段将纹理信息用于初选两幅图像的匹配点对，在全 局配准阶段将纹理信息用于计算残差，并据此更新对应点对的权重值用于下一次迭代计算。该算法克服 了以往算法在纹理、几何信息的参数尺度量化等方面的问题吴雨 , 2014 #102 。 金席卷等人以柑橘为例， 提出了一种植物果实的可视化建模方法$该方法采用 Bezier曲线拟合柑橘果实的外轮廓，模拟出果实的 大致形状
19、，利用MapL 系统来对柑橘表面凹凸的局部特征性进行模拟，并给出了柑橘果实模型的实例实 验表明， 该方法能够模拟多种柑橘果实的外观特征，并具有较好的真实感效果，易于构建虚拟植物果实 的生长模型，如图2金席卷 , 2012 #320. 2.2 植物的真实感显示 对植物的三位重建的后期工作是对三维模型进行真实感的渲染，也就是真是干显示部分的工作，其 中OpenGL. 是一个专业的图形程序接口，是别专业领域泛接纳的2D/3D 图形 API。其应用于计算机图 形的任何领域。 王芸芸， 郭新宇等人首先利用三维数字化仪等数据获取装置获取烟草叶片脉序主要形态 特征点的三维坐标和厚度，然后利用球B 样条曲线对
20、脉序进行三维建模，生成叶片的形态骨架，与由 插值样条生成的叶片曲面合成，利用OpenGL 实现了烟草叶片的三维重建和真实感显示，结果如图3王 芸芸 , 2011 #323 。Ralf Habel ， Alexander Kusternig 提出过一种实时大量叶片渲染模型，在这个模型 里采用基于物理原理，精确计算直接照在半透明叶子表面的光的散射量，并用图像卷积的过程展示这样 5 一个有效的结果，效果如图4Habel, 2007 #318 。崔翔，蒋晓峰对虚拟树木的真实感显示采用 Cook-Torrance 光照模型和与计算的半透明贴图实现了叶片的绘制，使用梁模型导出的你和多项式结合 偏移修正实现
21、枝干的快速形变计算，通过索引枝干层级数据贴图实现GPU中多级质感的形变，利用 OpenGL 实现了叶片及动态场景树木的真实感显示，结果如图5崔翔 , 2013 #325 。 今后发展展望 在实现农业机械化与自动化的过程中，必定坎坷路途，作为研究人员，唯细不厌，唯精不厌。在果 实目标识别的领域，在已经的前人的研究基础上，方法越来越优化，效果越来越具有现实可实现性，掌 握对果实目标的识别定位的各种思想方法是所在研究领域的基本功底，继而对所识别的目标进行三维重 建与真实感显示，是后续的研究方向。果实目标的真实感显示是紧接着目标识别之后的后续研究，目前 大多研究者还没有做到从二维空间的识别然后转到三维
22、重建的重建渲染，这是一个研究断层，从而维的 识别到三维真实感显示其意义在于三维重建后可以获取目标的更多信息，从而进行更多的后值读取，比 如品质估测，产量估测，生长状态估测，虚拟农场现实农场实时管理与监控，自动果实收获等等具有 深刻意义的应用研究。 References 1 屠珺, 刘成良 , 李彦明 , 周俊, and 苑进, “基于光照无关图的苹果图像识别方法,“ 农 业工程学报 , pp. 26-31, 2010. 6 吕继东 , 赵德安 , 姬伟, 陈玉, 沈惠良 , and 张颖, “苹果采摘机器人对振荡果实的快 速定位采摘方法 ,“ 农业工程学报 J, pp. 48-53, 2012
23、. 8 陈艳军 , 张俊雄 , 李伟, 任永新 , and 谭豫之 , “基于机器视觉的苹果最大横切面直径 分级方法 ,“ 农业工程学报, pp. 284-288, 2012. 9 冯娟, 刘刚, 司永胜, 王圣伟 , 任雯, and 周薇, “基于激光扫描三维图像的树上苹果 识别算法 ,“ 农业机械学报 , pp. 217-222, 2013. 10 崔永杰 , 苏帅, 王霞霞 , 田玉凤 , 李平平 , and 张发年 , “基于机器视觉的自然环境中 猕猴桃识别与特征提取 ,“ 农业机械学报 , pp. 247-252, 2013. 6 11 宋怀波 , 张传栋 , 潘景朋 , 阴煦, a
24、nd 庄伊斌 , “基于凸壳的重叠苹果目标分割与重建 算法,“ 农业工程学报 , pp. 163-168, 2013. 12 宋怀波 , 何东健 , and 潘景朋 , “基于凸壳理论的遮挡苹果目标识别与定位方法,“ 农 业工程学报 , pp. 174-180, 2012. 13 何东健 , 杨青, 薛少平 , and 耿楠, “果实表面颜色计算机视觉分级技术研究,“ 农业 工程学报, pp. 207-210, 1998. 14 何东健 , 杨青, 薛少平 , and 熊运章 , “农产品分光反射特性及近红外图像处理在农业 中的应用 ,“ 农业工程学报 , pp. 84-88, 1996. 1
25、5 何东健 , 前川孝昭 , and 森岛博 , “水果内部品质在线近红外分光检测装置及试验,“ 农业工程学报 , pp. 146-148, 2001. 16 董广军 , 张永生 , 戴晨光 , and 邓雪清 , “高空间分辨率和高光谱遥感图像融合技术,“ 仪器仪表学报 , pp. 727-728, 2006. 19 樊. 周国民, “基于 Kinect 骨骼跟踪技术的手势识别研究,“ 安徽农业科学 , pp. 3444-3446, 2014. 20 江晓庆 , 肖德琴 , 张波, and 陈剑, “基于 Kinect 的农作物长势深度图像实时获取算 法,“ 广东农业科学 , pp. 195
26、-199+237, 2012. 23 陈晓明 , 蒋乐天 , and 应忍冬 , “基于 Kinect 深度信息的实时三维重建和滤波算法研 究,“ 计算机应用研究 , pp. 1216-1218, 2013. 24 刘冰, 罗熊, 刘华平, and 孙富春, “光学与深度特征融合在机器人场景定位中的应 用,“ 东南大学学报 (自然科学版 ), pp. 188-191, 2013. 7 25 冯娟, 曾立华 , 刘刚, and 司永胜, “融合多源图像信息的果实识别方法,“ 农业机械 学报, pp. 73-80, 2014. 27 吴雨, 许林, and 杜彦伸 , “彩色 Range图像的三维
27、模型重建 ,“ 计算机工程与应用 , pp. 139-144, 2014. 28 金席卷 , 敬松, and 方逵, “虚拟植物果实的可视化建模技术研究,“ 农机化研究 , pp. 176-179, 2012. 29 王芸芸 , 温维亮 , and 郭新宇 , “基于球 B 样条函数的烟草叶片虚拟实现,“ 农业工程 学报, pp. 230-235, 2011. 31 崔翔 and 姜小峰 , “真实感动态树场景的研究与实现,“ 计算机应用 , pp. 1711-1714, 2013. 2 S. A. and M. J. Delwiche, “Basic considerations in me
28、chanizing citrus harvest,“ Transactions of the ASAE, p. 343-346, 1968. 3 R. C. a. J. L. P. A.R. Jim? enez, “A Survey of Computer Vision Methods for Locating Fruit on Trees,“ Transaction of the ASAE, vol. 43(6), pp. 1911-1920, 2000. 4 A. Arefi, A. M. Motlagh, K. Mollazade, and R. F. Teimourlou, “Reco
29、gnition and localization of ripen tomato based on machine vision,“ Australian Journal of Crop Science, vol. 5, pp. 1144-1149, Sep 2011. 5 Y. Song, C. A. Glasbey, G. W. Horgan, G. Polder, J. A. Dieleman, and G. van der Heijden, “Automatic fruit recognition and counting from multiple images,“ Biosyste
30、ms Engineering, vol. 118, pp. 203-215, Feb 2014. 7 D. M. Bulanon., T. Kataoka, Y. OTA, and T. Hipoma, “A Machine Vision System for the Apple Harvesting Robot,“ Agricultural Engineering International: the CIGR Journal of Scientific Research and Development, vol. III pp. 01-006, 2001. 8 17 M. Taghizad
31、eh, A. A. Gowen, and C. P. ODonnell, “Comparison of hyperspectral imaging with conventional RGB imaging for quality evaluation of Agaricus bisporus mushrooms,“ Biosystems Engineering, vol. 108, pp. 191-194, Feb 2011. 18 C. Garrido-Novell, D. Perez-Marin, J. M. Amigo, J. Fernandez-Novales, J. E. Guer
32、rero, and A. Garrido-Varo, “Grading and color evolution of apples using RGB and hyperspectral imaging vision cameras,“ Journal of Food Engineering, vol. 113, pp. 281-288, Nov 2012. 21 D. Lewis, E. Dan., Hufnagel., and Joseph, “Vision inspired spatial engine (VISE): automated object registration for
33、multisource fusion,“ presented at the Proceedings of SPIE-The International Society for Optical Engineering 2010. 22 M. Saadatseresht, M. Davoodianidaliki, and M. Shankayi, “Range image and platform calibration of Microsoft Kinect,“ in 32nd Asian Conference on Remote Sensing 2011, ACRS 2011, October
34、 3, 2011 - October 7, 2011 , Tapei, Taiwan, 2011, pp. 2671-2675. 26 F. A. Kondori, S. Yousefi, L. Haibo, S. Sonning, and S. Sonning, “3D Head Pose Estimation Using the Kinect,“ Piscataway, NJ, USA, 2011, p. 4 pp. 30 R. Habel, A. Kusternig, and M. Wimmer, “Physically Based Real-Time Translucency for Leaves,“ COMPUTER GRAPHICS Forum vol. xx (200y), pp. 1-12, 2007. 9 Figures 图 1.Kinect for Windows Sensor 图 2，柑橘果实模型重建结果 10 图 3 烟草叶片的虚拟实现 图 4 一棵树的光照下渲染模型 11 图 5 叶片和树木的真实感显示