第九章集控式微型足球机器人三.ppt

《第九章集控式微型足球机器人三.ppt》由会员分享，可在线阅读，更多相关《第九章集控式微型足球机器人三.ppt（28页珍藏版）》请在三一文库上搜索。

1、2019/4/18,1,第九章 集控式微型足球机器人 （三）,徐心和 郝丽娜 丛德宏 东北大学人工智能与机器人研究所,2019/4/18,2,9.6 机器人集中视觉子系统,9.6.1 计算机视觉预备知识 9.6.2 系统结构 9.6.3 初始人机交互 9.6.4 几何矫正 9.6.5 颜色模型的选择与颜色信息库的建立 9.6.6 色标设计与辨识算法,2019/4/18,3,9.6.1 计算机视觉预备知识,(转换),图 像,图 像,数 据,（人）,符 号,图象处理,图象理解,图象分析,计算机 图形学,图象理解,计算机视觉,模式识别,客观世界,新技术 新工具 新理论,2019/4/18,4,视频图

2、像构成原理,分辨率 n m 如： 640 480 灰度图像 I = f ( x, y ) 彩色图像 IR = fR ( x, y ) IG = fG ( x, y ) IB = fB ( x, y ) 制式 PAL / NTSC 视频图像(模拟) 数字图像,像素,2019/4/18,5,集控式足球机器人视觉系统全局视觉,主要任务：不断地、快速地采集、处理赛场上的彩色图像，并通过不断地辨识橘黄色的高尔夫球（足球）和机器人外罩顶部的色标，实时地感知动态环境中各机器人的位置、姿态和球的位置，及时得到有关的数据，并将这些数据传给主机，供主机上的决策子系统进行分析决策使用。,2019/4/18,6,视觉

3、系统特点,1）有利方面：摄像头固定，视场固定，光线充足，被辨识物体无影，机器人小车色标和小球的颜色鲜明、轮廓清晰、本方可选择等等。这些特点给视觉系统的设计和实现带来许多方便。 2）不利方面：快速性、实时性、准确性、抗干扰性要求高。成为视觉领域的挑战性课题。 小车运行速度快（12米/秒），场上形势瞬息万变，视觉系统必须实现每秒数十幅彩色图像的辨识，并给出各个实体精确的位置坐标与朝向角。 比赛时，通常光照并不均匀，还可能出现各类光色干扰。影响系统可靠工作。,2019/4/18,7,9.6.2 系统结构,集控式足球机器人视觉子系统主要有3个模块，图像获取、预处理和图像处理。,2019/4/18,8,

4、9.6.2.1 图像获取,CCD（Charge Coupled Device）摄像头输出信号采用电视PAL(25fps) /NTSC(30fps)标准。fpsframe per second帧/秒 当图像分辨率为640480时，一幅图像由大约30万个像素组成。 灰度图像仅用明暗程度来表征能量级别 彩色图像感光阵列能够分别感受颜色的三基色RGB光的强弱： 红（Rred），绿（Ggreen），蓝（Bblue） 图像采集卡（Grabber）完成模拟量/数字量转换，使视频信号数字化。 有的卡也可提供RGB和YUV两种颜色模型。 光学镜头的选择也很重要 。品质不好的产品，边缘不实感非常明显，图像轮廓还会

5、产生梯形失真。,2019/4/18,9,9.6.2.2 图像预处理,机器人足球视觉系统预处理主要包括：图像增强、图像恢复、场地标定，还可以适当地进行一定的图像压缩。 图像增强是调整图像的色度、亮度、饱和度、对比度和分辨率，使得图像效果清晰和颜色分明。 图像恢复指是的光学镜头几何形变的矫正，补偿由于光学镜头所带来的图像畸变。 通过场地的标定，在实时辨识的时候，就可以只处理边界以内的信息。 图像压缩是减少图像信息容量以提高系统的响应速度的图像处理方法。,2019/4/18,10,图像采集方式有“帧”（frame）和“场”(field)两种 “帧”方式下的图像分辨率为640480，一幅图像中包含约3

6、0万个像素 “场”方式下的图像分辨率为640240，一幅图像中包含约15万个像素 另外，在TARGET采集方式，如果设定图像采集的分辨率为 320 240，则一幅图像中包含约7.5万像素。 注意：带来信息丢失。,不同方式下采集的图像,2019/4/18,11,9.6.2.3 图像处理,图像处理包括图像分割和目标识别，它是整个视觉系统的核心工作。 目标识别寻找目标与非目标的差异的过程。 图像分割根据所识别的不同目标之间的某些特征差异对图像进行区域划分。 二值化图像通过图像分割，可以将图像中的所有像素划分成目标和非目标两类，对应目标像素的点置1，而其它像素点置0。在二值化的图像中，我们可以找到所要

7、辨识的目标。 足球机器人视觉系统寻找的目标是不同颜色的色标，即要根据颜色来区别目标与非目标，这样首先就应对不同目标进行颜色识别。,2019/4/18,12,颜色识别过程主要包括：目标采样、颜色分析、颜色分割等步骤。 颜色采样是在图像中截取目标的部分图像作为研究对象的过程。,对于多目标图像处理需要获得多重二值化图像结果。,2019/4/18,13,9.6.2.4 视觉系统的三种结构与实现,视觉系统的组成可分为软件法、硬件法和软硬件综合法。 软件法图像采集卡只完成图像的数字化转换，其他处理过程由软件实现。特点：图像采集卡的结构简单，通用性强，成本低。但由于主机要完成大量的数字图像信息的处理，实时处

8、理的速度难以提高。 硬件法图像采集卡要完成图像的数字化转换、分析和处理等全部功能，只向主机传送图像处理的结果。特点：减轻了主机的负担，成为提高系统的实时处理速度的有力手段。目前，多采用DSP（Digital Signal Processor）芯片来实现这种方式。但通用性不强，设计的周期较长，设计成本较高。 软硬件综合法图像采集卡完成的功能界于前两种方法之间。设计原则是尽量在已有采集卡功能的基础上，将计算量大且算法成熟的部分置入DSP中，而尚需完善的部分由软件实现。此时实时处理速度也会比软件法显著提高。 NewNEU2.0视觉系统仍然采用软件法实现。新的视觉系统的特点是完全脱离其他各子系统，作为

9、一个独立的视觉类提供决策系统所需的参数，具有较好的可维护性和可重用性。,2019/4/18,14,9.6.3 初始人机交互,初始人机交互操作过程主要完成图像预处理、图像分割和目标识别过程中一些参数选择或参数传递。 通过人机界面修改图像采集卡的色度、亮度的参数，改变图像的采集效果等。 在视觉交互界面中有摄像头所采集图像的实时显示窗口，在此窗口中可以使用鼠标在图像中画定目标图像的区域以进行目标颜色的采集。 下图即是NewNEU2.0视觉系统人机交互的一个界面。,2019/4/18,15,图像颜色采集用人机界面,2019/4/18,16,9.6.4 几何矫正,由于场地空间限制，通常采用广角、变焦镜头

10、才能在有限的高度内摄取到整个场地的信息。 相对固定焦距的镜头而言，这种镜头图像失真明显，场地边界呈弧形。 无论何种镜头，当镜头位置不能处于场地的正中间上方或者镜头所处的平面不平行于场地平面，都会造成图像的非线性失真。 NewNEU2.0系统采用一种新的矫正方法，通过镜头几何畸变的数学模型来实现对失真的矫正。,2019/4/18,17,矫正前后结果比较,失真图像,校正后图像,根据镜头几何畸变数学模型的矫正算法可以取得较为理想的结果。,2019/4/18,18,9.6.5 颜色模型的选择与 颜色信息库的建立,特征目标的颜色信息库是影响辨识精度的最关键因素。 信息库不完全会导致分割结果不稳定，甚至出

11、现分割结果过小而导致目标丢失。 信息库覆盖范围过大又会引入很多不必要的干扰，甚至出现混色现象。 一个良好的信息库的结构应该具有良好的可维护性，并易于调整。,2019/4/18,19,常用颜色模型的信息库建立,通过阈值进行颜色分割，应选用分布均匀的HSI或YUV模型；如果建立离散的颜色查找表，通常选择RGB颜色模型。 HSI(Hue-色度、Saturation-饱和度、Intensity-亮度)颜色空间模型是基于柱坐标系的、与人类视觉心理相符合的颜色模型。 该模型的特点就是同一种颜色在该空间中是连续分布的，而且是相互独立的。 所谓不同的目标颜色，是在H（例如黄色和蓝色）轴向、S（例如亮黄和土黄）

12、轴向和I（例如黑色和白色）轴向有区别的颜色空间区域的集合。 建立在HSI空间中的颜色信息库，该信息库只记录某一色标的H、S、I值的覆盖范围，也就是H、S、I每一信息的最大值和最小值。 信息库的建立也很简单，只需要将色标置于场地内，最有特征的几个区域，例如：门区，中圈，四角。,2019/4/18,20,最常用、最基本的RGB颜色空间,基于笛卡儿坐标系下的颜色模型，原点对应黑色，(1,1,1)点对应白色，从原点到（1,1,1）点对应的是灰度值分布。 RGB模型的缺点是不直观、不均匀、不正交，其各分量之间有高度的相关性。 对于RGB颜色模型，通常以颜色查找表（CLUT）的方法建立颜色信息库。这种方法

13、的优点是实时性高，建立方便。而且图像采集卡都可以直接提供RGB颜色模型的图像。 由于存储矩阵尺寸的限制，我们将24位真彩色表压缩成15位，必然影响分色性能。 由于查找表不具有模糊性，而同一色标在场地内的颜色信息的变化范围极其广泛，生成一个完全的表格需要长时间的反复采集填充，且很难真正得到可以覆盖所有的信息的颜色库，所以辨识结果常有空洞。 这种查找表对于环境的影响抗干扰性较差，一旦环境发生变化，需要长时间的重新采样，无法适应快速调整的需要。,2019/4/18,21,9.6.6 色标设计与辨识算法,9.6.6.1色标设计 足球机器人视觉子系统是通过辨识机器人顶部的色标来确定其位置、姿态和车号的。

14、 色标的设计问题一直是足球机器人视觉系统设计中的一个难题。 色标设计与辨识算法是紧密相关的，好的色标设计不仅能提高辨识精度，而且可以改善系统的实时性和抗干扰性。,2019/4/18,22,比赛中具有代表性的色表设计,采用（a）色标设计方案的队伍最多。 小车识别算法：通过识别到的队标与队员标志色块的中心，算出小车中心的坐标和小车正方向角度。并且通过队员标志的特征颜色来确定车号。 NewNEU1.0 采用（a)方案， NewNEU2.0采用（e）方案,2019/4/18,23,方案（a）特点研究,小车的中心位于两个色标中心连线的中点，小车正方向是由队标指向队员标志的射线逆时针旋转45所指的方向。

15、该辨识算法比较简单，系统实时性较高。 由于不同的颜色受环境的影响不同，色块向周围扩散的程度不同，两个色标块交界的区域有混色现象，这些因素都会导致很多的干扰和问题，如色标挑选难，色块重心不稳，位置角度有偏差。 由于辨识的结果依赖于两个色块，当其中一个由于环境的影响或噪声的干扰而丢失时，系统无法给出准确结果。,两个色标是一种对称分布，当两 个机器人小车紧挨在一起的时候 容易出现“粘连现象”。,2019/4/18,24,方案(e) 是一种比较好的色标方案,小车的中心位于队标的中心。由于队标的设计具有明显的方向性，通过一定的辨识算法我们可以得到队标所指向的一条矢量线，然后通过队员标志来辅助决定小车的正

16、方向以及车号。 由于这种设计也是完全由单一色标来获取辨识结果的，鉴于环境在同一区域对同一颜色的影响是相同的，因此带来的干扰是均匀的，而由于通道造成的干扰也是均匀分布的，所以色块的中心是稳定的。 另外它采用队员标志来辅助决定正方向和车号，而不需要通过形状来决定。 在匹配的问题上，由于这种设计是先由队标确定中心点，然后从中心点出发沿着方向线法线的方向在一定范围内搜索队员标志，因而不会出现匹配错误的现象，同时也会极大地减少粘连现象。,当出现如图所示的粘连，这时获取的中心通常位于 色标之外，也就是该点的颜色信息不符合队标的特 征颜色。另外我们所统计出来的点数也会大大超过 一个色块的阈值。,2019/4

17、/18,25,9.6.6.2 牛牛-2 色标辨识算法,机器人的中心就是队标的中心，队标的中心可由统计的方法获得。,其中，,、,Ai (i=1,2,3,4, 5,6 )的符合队标特 征颜色的点的x坐标及y坐标的和，,代表区域Ai 的符合队标特征颜色的点的数量。,代表区域,2019/4/18,26,方向角的计算办法,角度的求取可有多种方法，如最小二乘直线拟合法，求最短线段法等。 这些方法都存在受噪声影响较大的问题，由于色块的发散和通道噪声的干扰，使得辨识到的色块不稳定，从而使计算结果来回震荡，这对决策是极为不利的。 还有一些算法虽然可以精确地得出结果，但是满足不了系统实时性的要求。 经过仔细研究队标的特点，利用中心稳定的特点，胡英提出了一种补偿逼近的算法。 算法的基本思想是：利用队标的中心对称特点，从中心点出发沿x轴或y轴分成两个对称的部分，分别求取两个部分的中心，则两个中心点的连线所指的方向即为队标所指角度的近似值。通过多次补偿运算就可获得精确的角度值。,2019/4/18,27,目前，机器人视觉能做到30帧/秒或60场/秒的处理速度，基本上达到了实时性的要求。 但是由于目标高速运动、环境光照条件不稳定、图像失真等原因，视觉系统的准确性、稳定性和鲁棒性仍然是各队面临的技术难题。,2019/4/18,28,未完待续,9.7 机器人决策子系统 9.8 机器人总控子系统,