1、基于机器视觉的水果的识别和定位顾辉，陆亚亚，娄吉林，张伟同浙江科技大学，信息工程学院，中国，杭州，310014gh, oo327, phonixlou, seasonzwt摘要 本文讨论了低级别的机器视觉水果和蔬菜收获机器人，介绍了在自然场所下的水果和蔬菜的识别和定位，结合彩色模型提出了一种新的分割方法。更重要的是，它为确定脱落点介绍了一种新型的观点，成功的解决了当果实被闭塞时采摘中心点和脱落点的确定。同时，通过几何学技术解决了生长歪斜的果实的切除点的确定。事实证明，在自然场所下，效果良好。关键字：机器视觉，水果物体，识别，定位1 引言 在人类征服自然的这个过程中，人类正面临改造自然和促进社会
2、的能力有限问题。结果，人类一直在寻求机器人代替人完成复杂的任务，而智能机器人是最好的选择。 众所周知，视觉是人类探索世界最主要的途径。约百分之八十的信息是通过视野获得的。因此，给予智能机器人视觉功能是非常重要的。在这里，我们可以定义机器视觉如下：它能够在输入图像 1 处理后产生一些描述图片内容 。 许多领域与机器视觉是有关联。因此，它广泛的应用在各个方面，从医学图像，到遥感图像，从工业检测，到农业区等。 我们要讨论的水果和蔬菜采收机器人，是一类具有感知能力，可编程控收获，运输和包装庄稼 2 ，自动机械采收系统 。在这个收获过程中，视觉系统的主要问题，是识别并找到水果物体 3 。在这里，识别的意
3、思是从复杂背景 4 分割出果实物体 。定位，包括两方面内容：果实中心的位置和脱落的一点。 最近，有不少正在研究关于基于机器视觉的水果和蔬菜收获机器人 5 6 。蔡健荣介绍了在自然场所下的机器视觉识别方法。用大津算法，它得到分割阈值自动提取目标 7 。宫良介绍了基于机器视觉和机器人播种嫁接技术的发明，他们已投入生产 8 。Slaughter D.C在色数码图像 9 中建立一个用颜色特征经典的橙子模型。 在这些研究中，有很多从复杂的自然背景提取水果的方法。但其基本构想是，通过转换颜色模型到另一个比较容易过程中，或者更适合的场合来提取水果对象。但是，仍然有两个问题仍然悬而未决： 1 ）当果实生长歪时
4、如何确定脱落点; 2 ）有这么多的水果重叠时候如何确定中心和脱落点的，另一方面，侦测整个边缘是不可能。如果这两个问题依然悬而未决，这意味着收获可能是一个失败的。 并且更重要的是，只有约40的水果和蔬菜在果园 10 是可见，这意味着约有60的物体部分遮挡或完全闭塞。一般来说，农业机器人加上适合的风扇，以吹开覆盖水果的树叶。因此，它可能部分解决果实完全闭塞的问题。 所以，在本文中，我们只讨论了果实部分遮挡的问题，在特别是，该案件的两个水果重叠。作为一个整体，我们的问题是讨论的是属于低层次的机器视觉，在机器视觉是关键步骤之一。2 本文中使用的方法2.1 概要 从上述分析，我们知道，为了将果实从叶片和
5、树枝分离出来，我们应该利用适合某些情况的色彩模式。该三原色颜色模式是常用的，是不适合果园图象。因为在三原色的颜色空间，该三色来不仅代表着色调值，而且代表着亮度。因此，周围的照明也可能增添识别的难度， 因此三原色在这个分割过程中是不可靠的。为了利用水果在色调空间的聚类特征，我们必须分开，色调和亮度信息。通过三原色转换到单独色调和亮度的模型，我们可以实现这一目标。2.2 彩色模型 在本文中，我们使用的是三种类型的彩色模型。第一个是液晶显示器（亮度和色差）模型。在这个模型中，有四种颜色属性，其中包括亮度信息Y，红色色差Cr，绿色色差Cg ，蓝色色差Cb 。变换公式如下： 在这个实验过程中，我们发现了
6、红色色差在果实中远远高于树叶或树枝，甚至未成熟的果实，如不成熟番茄会稍后就会涉及。因此，我们不得不考虑红色色差Cr。 第二个模式，我们采用的是规则的RGB 。用图表来代表色性能三个部分。变换公式定义如下：很明显它满足： 结合上述两种模式的优势，我们可以在本文中推断出第三颜色模型LHM。从第一彩色模型选择Y和Cr，从第二个模式选择r和g，我们可以构建公式如下：3 分割 在自然条件下的果园，非均匀的光照因素使闭塞的叶片和树枝都更难以分离。目前，我们可以将彩色图像分成三类： （ 1 ）基于阈值的分割; （ 2 ）基于边缘检查和成长区域的分割; （ 3 ）基于颜色聚类 11 的分割 。3.1 聚类和分
7、类 聚类的主要构想是要区分不同对象，其中包括不同类别的物体和同一物体的不同部位 12 。所有分类算法都是基于一个假设，认为图像问题描绘一种或多种特点，并认为这些特点属于其中几个独特的特点和独特的分类。 传统的分类习惯包括两个阶段的过程：训练和测试。在最初的训练期，特有道具的典型图像特点是被隔立的，基于这些，一种独特的描述每个分类的方法，即培训，就产生了。在随后的测试阶段，这些特征的空间分割区，是用来区分图像特征。在实验中，我们取样60像素的叶片，树枝，水果等，并分别创立了分类。采用两个特征模式M和N ，我们建立判定函数：，当A，B和C是任意常数为只要数字，满足条件。在这里，特征图案可能是颜色，
8、形状，大小，或物体的任何性质。根据判定函数或者，我们可以将图像分为两部分，如图1：3.2 水果的分离 在这项研究中，我们采用了基于阈值的分割方法。该阈值是来自判定函数在上述3种图像模型的应用。根据以上段落，我们可以得到三个决策函数： 第一函数，F1，分离果实部分及叶片部分，第二函数，F2，从树枝部分分离水果部分，以及第三函数F3 ，从树枝部分分离叶片部分。但是，在实验要求的基础上，我们只是要水果从背景中分割出来，并且叶和树枝部分视为背景。所以，现在还没有必要考虑F3 。3.3 分析液晶模型图像 显然，果实，树叶及树枝的红色有不同的亮度和色彩。因此，采样60像素的果实，树叶及树枝来比对，从图2
9、 a ）中，我们知道水果的平均值，而且树叶和树枝的平均值差距很大，所以这是个适宜使用最低间隔分类。 从训练集，我们根据该最小距离分类可以得到决策函数如下：3.4 分析规则的三原色模型图像 在以同样的方式，我们却得到了如图2（ b ）训练集，及构造决策函数如下：3.5 分析LHM模型图像 结合两种模式的优点，我们相信从相交的两种模式可以得到更好的结果。此外，该区域分割过程中相交的瑕疵是相当小，并很容易消除，所以交集的结果根本不影响识别。使用三种模式分割的结果分别如下：4 连通域标记 在图3中，我们从上述的步骤可以发现这个物体获得的图像，还存在着一些瑕疵，这将扰乱正常的识别。采用八个连通部分来标
10、识这个部分，我们可以得到几个贴标以后的标识值。所以计算该地区的每一个标签的价值，我们保留最大的地区，并取消其他的区域。为进一步处理中，我们抽取边缘连接的部分; 结果表明，如图4 。5 区域中心点和脱落点 球形水果和蔬菜，如苹果，橘子和西红柿，它们之间相似度高到98 ， 他们的二维图形看起来像一个圆 13 。因此，我们可以将球形水果简化成圆的问题。 可惜，多数文章没有涵盖几个水果物体重叠的情况，因为在这种情况下的位置和采摘是困难的。但是，出于常识，我们可以了解问题如下： 机器人一个接一个摘水果，所以没有必要在同一时间从图像采集系统中寻找该果实的中心。当一个水果被采摘以后，剩下的水果位置会由于它倾
11、向的位置和地心引力而相应改变。根据这种理解，我们可以确信在布景中定位果实的中心是足够的。这样，我们就可以缩短处理时间和简化处理步骤。先采摘最高的水果，可以很容易地绘制出水平切线。如果有几种水果物体相交与横向切线，我们可以采取第一点为有效点，从左至右作为一项规则。然后从左右两边同时做垂直线，得到相交点B和C及计算|AB|和|AC| 。在以同样的方式，绘制从下往上的水平线，得到了交叉点D，所以外观是长方形如图5显示。 假设|AB|AC| ，考虑在B-A-C-D的所有点，而放弃考虑BD间的各点。因为分布在BD的各点只有极低限度的概率从圆上通过A点，所以放弃考虑这些点也可以降低计算复杂度。根据经验，我
12、们常常可以为一类的水果或蔬菜构建一个模型。举例来说，我们可以在实验中将西红柿模拟为图6 （ a ），以及苹果，可以模拟为图6 （ b ）项。点O为中心， A点是水平线通过该中心最左边的轮廓果实的交点，B点是脱落点。该角OAB称为 。衡量100个番茄和苹果的角度，我们可以得到平均角度，举例来说，番茄 48 ，和苹果 51 。所以，只要水果自然下垂，我们可以通过模型得到该中心和脱落点。5.1 中心点 我们在上面说到这些水果和蔬菜可以简化为圆，因此，测定水果的中心等于测定圆的中心。最近，把绝大部分在中心上研究建立在Hough变换14的改进的基础上;把其他的建立在几何学方法15的基础。然而， 这些方法
13、计算的复杂性是相当庞大，结果导致进程速度减缓。因此，它并不适合采收割机器视觉实时性能的要求。 考虑分在B-A-C-D的所有点如图5，让A点为出发点，以随机抽样方式选择四点v1，v2，v3，v4，你可以选择一种A作为圆上必须通过的常数点。根据该定理认为，三个非共线点可确定一个圈，我们知道，四个边缘点一般可以确定四个圆： c123 ， c234 ， c124 ， c134 。这个圆可以记为： 在这里它满足： 所以，如果有三点非共线，我们就可以得到一个圆。这个圆记为c123 ，中心（a123 ，b123 ），半径为r123，可以计算出中心和半径如下 16 ： 假设V4的（ x4 ; y4 ）成为第四
14、边缘像素，然后V4和圆c123边界的之间的距离记为： 如果v4准确的相切于圆C123 ，上述方程等于0 。但由于已获得的图象都是数字化的，因此，很难保证这一点准确相切于圆。因此，圆检测的目标是为了发现不准确但大体上位于数字化的圆上的边缘线的位置。为方便起见，我们把经过 v i, v j, v k 的圆记做Cijk和它的圆心和半径分别记（ aijk ， bijk ） 和rijk。让vm和cijk之间的距离记作： 如果我们找到一个距离小于给定的极限TD ，我们称此点相切于圆。在这里，我们还必须保证上述三个点中随机选出两点之间的距离应大于给定的极限Ta。如果有两点太接近，圆就可能不是真正的圆。如图7
15、例子所示点v 1 ， 2中， v3位于真正的圆的边界，但当V2和v3太接近时不良的情况发生了，通过v1， v2 ，v3确定的圆不同于真正的圆。为了避免这种情况下，我们应该限制任何两个点之间的距离大于一定的极限Ta。 下列步骤，是要找出在所有真正的圆中拥有最多有效点的圆。我们为这些有可能的圆设定一个计数器c = 0 ，来计算有多少边缘线相切于可能的圆。对于任何一个集V中的像素，如果dm-ijk ijk。另外，我们着手下一个像素。我们继续上述过程，直到所有边缘像素V都检查完。把相切于可能圆的线的数字记做np。如果np大于球形极限Tg，那么称这些圆为真实的圆，否则它是一个假的圆，并代入所有的点到集V
16、然后研究集np，我们从中获得了最大的一，让相应的圆圈作为最近的圆。 由此，我们应该规格化球形极限Tg 。因为不同半径的圆有不同的周围。因此，使用一些大的球形极限Tg对于一些半径小的圆是不公平。尽管，任何圆在数字图像中有限定的半径，但有一部分位于圆边界上的像素估计为2 r。因此，当有NP的边缘像素相切于可能圈Cijk和np的比率超过大于给定的比率极限Tr理论值2 rijk，我们称可能圆，是一个真正的圆。否则，可能圈是一个假圆，我们将np的边缘像素代入集V 。 图3中原始图像经过处理，效果显示在图8中。5.2 切除点 从分析中，我们发现，该中心在识别中发挥了重要作用。但由于水果生长的随机性，特别
17、是当有几种水果重叠时。普遍存在切除点偏离横穿中心的垂直线。拿图3右边的番茄举例来说，切除明显的偏离很多。因此，我们必须修改模型。 同时，在图9中，我们也可以观察自然垂直的果实的外部矩形：在各个边缘有一个交集，但最高点，最低点和中心几乎在一条直线上。由于切除点是在横穿圆心的垂直线上并且偏离小的可以忽略，所以很容易得到切除点。 此外，我们可以观察到，当切除点有一个偏转角时，4个交集在外部矩形将作出相应的更改如图10。假定点O为中心，F为切除点， E是经过点O的垂线和外表面的垂线之间的交点。在现实中，我们知道|OF|的长度几乎等于果实的半径，并且我们知道|OA|=r。所以，我们可以很容易得到AOEE
18、OF。因此，如果我们可以得到O和A的坐标，我们就可以轻易获得F。正确的切除依赖于中心O位置。实验结果在图11被表示成单一的线。6 结语 本文讨论了低级别的机器视觉水果和蔬菜采收机器人，介绍自然场所识别与定位水果和蔬菜物体，结合几种颜色模型提出了一种新的分割方法。更重的是，它为确定切除点提出了一个点新颖的观念，成功的解决了当水果部分闭塞时中心点的位置和切除点的确定问题。同时，通过几何技术，它确定了当果实生长歪时切除点位置。事实证明在自然场所下效果很好。识别准确度高达94.38 ，中心点位置确定的准确度高达92.6 和切除点确定准确度高达95.65 。参考文献1. Milan Sonka, Vac
19、lav Hlavac, Roger Boyle. Image Processing, Analysis and MachineVision. 2ndVersion. Posts and Telecom press. 2003.2. Edan Y, Gaines E. Systems engineering of agricultural robot design IEEE Transactions onSystems ,Man , and Cybernetics ,1994 ,24 (8) :1259- 1265.3. Tang Xiu-ying, Zhang Tie-zhong. Robot
20、ics for fruit and vegetable harvesting.Robot,2005,1(27):9095.4. Gu Hui, Cheng Guangyi, Lu Yaya. A curve fitting method based on the direction tracing.Acta Electronica sinica(English Version). 2006 special issue 4.5. A.R. Jimnez, R. Ceres and J.L. Pons. A survey of computer vision methods for locatin
21、gfruit on trees. Transaction of ASAE, 2000,43(6):1911-1920.6. K.F. Sanders. Orange harvesting systems review Biosystem Engineering. 2005,90(2),115-125.7. Wang Yaqin, Gao Hua. Study on the segmentation and orientation of fruit image undernatural environment. Computer Engineering. 2004,30(13):128.8. M
22、iyanaga T , Fukumo i I, Susaw a K, et al. Technical report of the institute of agriculturalmachinery. Omiya, Saitama, Japan. 1998.9. Slaughter D, Harrel R. Discriminating fruit for robotic harvest using color in naturaloutdoor scenes. Transactions of the ASAE, 1989,32(2):757-763.10. F. Juste and F.
23、Sevilla, Citrus: A European project to study the robotic harvesting oforanges, in Proceedings, 3rd Int. Symp. Fruit, Nut and Vegetable HarvestingMechanization, Denmark-Sweden-Norway, 331-338 (1991).11. Nikhil R ,Pal Sankar K. A Review on image segmentation techniques. Pattern Recognition,1993,26(9)
24、12771294.12. REN Jing. Improved minimum distance classifier-weighted minimum distance classifier.Computer application.2005,25(5):992994.13. Zhao Jing. Stem recognition and fruit determination in fruit shape recognition. Journal ofShangdong University of Technology(Sci &Tech).2004,18(5):28.14. Dimit
25、rios Ioannou, Walter Huda. Circle recognition through a 2D Hough Transform andradius histogramming. Image and vision computing. 1999,17:15-26.15. Heung-Soo Kim, Jong-Hwan Kim. A two-step circle detection algorithm from theintersecting chords. Pattern recognition letters. 2001,22: 787-798.16. Teh-Chuan Chen, Kuo-Liang Chung. An Efficient Randomized Algorithm for DetectingCircle. Computer vision and image understanding. 2001,83:172-191.
免费区 
