《智能车辆视觉感知中的目标检测方法研究.pdf》由会员分享，可在线阅读，更多相关《智能车辆视觉感知中的目标检测方法研究.pdf（69页珍藏版）》请在三一文库上搜索。
1、南京航空航天大学硕士学位论文 I 摘 要 基于机器视觉的智能车辆是智能交通系统的重要组成部分，其利用视觉传感设备感知车辆 周边环境信息，对道路和目标进行检测、跟踪，从而为规划决策提供依据。该技术在军用和民 用方面都有广泛的应用价值，近年来，已成为机场场面移动目标主动监视技术的重要研究组成 部分。该论文对道路上的目标检测与跟踪这一智能车辆视觉感知系统中的关键技术进行了有针 对性地研究，主要研究内容如下: 针对摄像机外部工作环境以及摄像机本身硬件的影响导致采集图像存在噪声的问题，对图 像进行极值中值快速滤波去除噪声点；针对轻微雾天、光照不足等情况下采集图像对比度低导 致道路边缘检测效果不佳的表现，
2、采用自适应区域直方图增强方法进行边缘增强处理。 针对传统 Hough 变换不能准确有效提取道路边缘的问题， 提出了基于分区域 Hough 变换的 道路边缘检测方法。首先基于摄像机透视投影原理对道路图像进行不等区域划分；然后在边缘 检测的基础上对每一个区域进行独立的 Hough 变换，提取该区域的道路边缘；在提取的所有区 域边缘中道路边缘占有最大的比重，根据这一特征利用“窗口峰值”最终得到两条道路边缘。 针对动态背景下道路目标难以提取的问题，提出一种基于图像分割和区域生长的道路目标 检测方法。在道路区域利用图像分割算法完成道路目标初提取，融合 RGB 三通道分割图像， 获得更加完整准确的目标区域
3、；然后利用形态学去除噪声点等非目标区域；接着对处理后孤立 目标区域进行标识归属划分；最后利用自适应区域生长算法生成完整的道路目标。 对基于 Meanshift 的视觉目标跟踪方法进行了研究。引入静态检测和动态跟踪交互机制对 道路障碍目标实现跟踪定位，不仅解决了新增目标的检测问题也解决了 MeanShift 固定核窗带 来的定位误差问题。 关键词：关键词：智能车辆，道路检测，Hough 变换，目标检测，图像分割，目标跟踪 南京航空航天大学硕士学位论文 I ABSTRACT The intelligent vehicle based on machine vision is an importan
4、t part in intelligent transportation system.It perceives vehicle surrounding environment information with visual sensing equipments and provides a basis for intelligent vehicle planning and decision-making through the road and object detection tracking. This technology in military and civilian has w
5、idely application value,which has become an important research part of the airport scene moving target active monitoring technology in recent years.The paper further discusses the vision-based road object detection and tracking of the intelligent vehicle key technology. Main study content has been s
6、ummarized follows: Accroding to the noise problem in the acquistion image from the camera external working environment and the influence itself hardware, fast extremum median filtering is introduced to reduce the image noise. Local histogram equalization is introduced to enhance the image acquised i
7、n bad weather conditions,such as slight fog, insufficient light. Local Hough Transform(LHT) used for road detection is presented according to the Hough transform cant accurately and efficiently extract the edge of the road. Firstly, image partition method based on the camera perspective projection p
8、rinciple is introduced. Each local area is independently made hough transform on the basis of edge detection, meantime road edge of in each image area is extracted. At last, WINDOWS PEAK is introduced to extract complete two road edge using a feature that road edge in each area has the biggest propo
9、rtion to all extracted edges. Object detection method based on image segmentation and regional growth is presented. First, the targets region is separated from the extracted pure road region with image segmentation method in each RGB component. Because targets obtained in segmentation are discrete r
10、egions of varying sizes in the segmented binary image, all isolated targets is classifed on in-depth analysis of the target area distribution. At last, adaptive regional growth method is employed to get the whole target in the last part of this paper. Object tracking method based on Mean Shift is di
11、scussed inthis paper. The static object detection and dynamic object tracking interaction mechanism used for object tracking location is introduced, which not only solves the problem of the new target detection, but also solves the positioning error problem form MeanShift fixed nuclear window brings
12、. Keywords: Intelligent vehicle, road detection, HT, object detection, image segmentation, object tracking 智能车辆视觉感知中的目标检测方法研究 II 目 录 第一章第一章 绪论绪论 1 1.1 研究背景与意义 1 1.2 国内外智能车辆相关技术研究现状 2 1.2.1 智能车辆研究现状 2 1.2.2 行车环境感知技术研究现状 4 1.2.3 视觉感知技术研究现状 5 1.2.4 视觉感知关键技术研究现状 6 1.3 本文主要研究内容 10 第二章第二章 采集图像预处理采集图像预处理 1
13、2 2.1 引言 . 12 2.2 采集图像灰度化 12 2.3 图像滤波 . 13 2.4 区域直方图均衡化 16 2.5 小结 . 18 第三章第三章 智能车辆道路检测方法研究智能车辆道路检测方法研究 19 3.1 引言 . 19 3.2 图像边缘检测 19 3.3 基于传统 Hough 变换的道路边缘提取 22 3.4 基于分区域 Hough 变换道路检测方法 24 3.4.1 基于透视投影的道路图像区域划分 25 3.4.2 分区域 Hough 变换边缘检测方法 26 3.4.3 实验结果 28 3.5 小结 . 29 第四章第四章 智能车辆目标检测方法研究智能车辆目标检测方法研究 3
14、0 4.1 引言 30 4.2 基于图像分割的目标初提取方法 30 4.2.1 道路区域提取 30 4.2.2 基于 OTSU 的道路目标初提取 31 4.2.3 形态学处理 35 4.3 多区域的目标标识归属方法 . 36 4.4 自适应目标区域生长算法 39 4.5 小结 41 第五章第五章 智能车辆目标跟踪方法研究智能车辆目标跟踪方法研究 43 5.1 引言 . 43 5.2 目标跟踪理论基础 43 5.3 基于 MeanShift 的目标跟踪 45 5.4 静态检测与动态跟踪交互机制 48 南京航空航天大学硕士学位论文 III 5.5 实验结果 . 50 5.6 小结 . 52 第六章
15、第六章 总结与展望总结与展望 53 参考文献参考文献 55 致谢致谢 59 在学期间的研究成果及发表的学术论文在学期间的研究成果及发表的学术论文 60 智能车辆视觉感知中的目标检测方法研究 IV 图表清单 图1.1谷歌公司智能车3 图1.2国防科技大学智能车4 图1.3清华大学大学智能车4 图2.1采集道路图像13 图2.2图像灰度化结果.13 图 2.3 滤波实验结果对比图.16 图 2.4 直方图增强实验.18 图 3.1 灰度化道路图像.22 图3.2 x-y空间到k-b空间的转换.22 图 3.3 传统 Hough 变换提取结果24 图 3.4 完整道路检测算法流程图.24 图 3.5
16、 改进分区域划分方法.26 图 3.6 道路边缘直线模型.27 图 3.7 道路图像坐标空间.27 图 3.8 分区域 Hough 变换提取结果.28 图4.1道路区域提取流程图30 图 4.2 道路区域分割结果.30 图 4.3 OTSU 阈值分割算法流程图32 图 4.4 OTSU 阈值分割算法实验结果33 图4.5 RGB三维分量阈值分割结果34 图 4.6 形态学处理结果对比.35 图 4.7 多区域合并归属结果.37 图 4.8 自适应区域生长算法流程图.39 图 4.9 目标区域完整生长结果.40 图 4.10 完整道路目标检测算法流程图.40 图5.1基于均值漂移目标跟踪算法流程
17、图47 图 5.2 检测与跟踪交互处理流程.48 图5.3视频序列一均值漂移跟踪结果49 图 5.4 视频序列二均值漂移跟踪结果.50 南京航空航天大学硕士学位论文 V 图 5.5 视频序列二本文交互跟踪结果.51 表 2.1 两种滤波客观评价标准对比结果.16 表 3.1 传统Hough 变换域和本文方法消耗时间对比结果.29 智能车辆视觉感知中的目标检测方法研究 VI 注释表注释表 123 ,w w w 权值系数 ( , )G x y 高斯函数 c 倾斜系数 圆周率 S 掩模邻域 ()H j 频响函数 K 掩模内像素点个数 h 窗口半径 g 重力加速度 ( , ) x gx y X 方向偏
18、导数 r h 汽车侧倾中心高度 ( , ) y gx y Y 方向偏导数 ( , )W i j 权值大小 ( , )N x y 非极大值抑制后图像 M 图像纵向像素个数 原点到直线距离 N 图像横向像素个数 直线与 X 轴的角度 ( , )b x y 结构元素 u D x方向比例系数 _Minf 掩模邻域极小值 u S 确定性标度因子 _Maxf 掩模邻域极大值 c 倾斜系数 1234 ,w w w w 权值系数 H 摄像机与地面的高度 1234 ,TTTT灰度变换函数 ( )K x 核函数 f 摄像机有效焦距 摄像机光轴与地面夹角 v D y方向比例系数 容许误差 00 (,)u v 主点像
19、素坐标 i x 采样点 1212 ,k kp p （径向和切向）畸变系数 0 y 图像帧中目标位置 南京航空航天大学硕士学位论文 VII 缩略词缩略词 缩略词 英文全称 CCD Charge-coupled Device AGVS Automated Guided Vehicle System GOLD Generic Obstacle and Lane Detection ATB-1 Autonomous Test Bed-1 SCARF Supervised Classification Applied to Road Following YAPF Yet Another Road Fol
20、lowing ALVIN Autonomous Land Vehicle In a Neural Net RALPH Rapidly Adapting Lateral Position Handler ARCADE Automated Road Curvature And Direction Estimation MOSFET Michigan Offroad Sensor Fusing Experimental Testbed EMS-Vision Expectation-based Multi-focal Saccadic Vision system GOLD Generic Obstac
21、le and Lane Detection 南京航空航天大学硕士学位论文 1 第一章 绪论 1.1 研究背景与意义 汽车以优越的使用价值为社会的发展做出了不可磨灭的贡献， 早已成为人类社会不可或缺 的一部分。汽车的普及极大地方便了人类的生活，但同时也给人类带来很多问题，如交通事故、 道路拥挤、环境污染等诸多问题。在诸多交通问题中交通事故是威胁人类安全的第一大公害。 世界各国科学家研究表明：交通事故的发生不同程度地取决于驾驶员、车和道路状况三个主要 因素。科学家对于公路交通事故的报告指出 95%的交通安全事故与驾驶员因素有关，完全由驾 驶员因素引起的交通事故占 70% 1-3。驾驶员因素是道路交
22、通事故的主要因素4，例如驾驶员注 意力不集中引发的意外交通事故，疲劳驾驶情况下导致驾驶员反应迟钝，雨雾恶劣天气下驾驶 员的视距有限，人类反应能力的限制导致汽车制动不及时。因此，许多国家研究机构和汽车企 业都在积极寻找减少交通事故、提高汽车安全性能的新技术，通过先进的科学技术手段间接增 强驾驶员的行车环境感知能力，用于辅助驾驶员安全驾驶，甚至代替部分驾驶任务，并提供行 车环境下的安全告警服务，逐渐实现车辆的智能化以达到最终的无人驾驶的智能车辆技术高度 水平。智能车辆技术是解决道路交通问题、保证交通安全的有效途径。 智能车辆在民用领域、国防军事和科学研究领域都有着广泛地应用前景，特别是在以民用 为
23、目的的安全告警、辅助驾驶等方面一直是研究的热点。在民用方面，可提供辅助驾驶服务， 甚至自主无人驾驶服务，也可提供车辆周边危险状况的安全告警服务。另外在仓库、码头、工 厂、机关、营房、住宅区或者危险的工作环境里也广泛应用前景，比如机场场面监视、无人值 守的巡逻监视等方面。在军事方面，智能车辆可以代替战斗人员进入战场完成侦察、排雷、攻 击等战斗任务，避免人员伤亡。在科研方面，可以代替人在核污染等高危环境下或外太空星球 上从事研究和探索工作。 智能车辆技术主要针对行车环境感知处理、多信息规划决策和汽车操作控制三个任务方面 进行研究。在智能车辆技术研究的众多任务当中，对车辆周边环境的信息感知和处理是智
24、能车 辆技术最为基础和核心的内容，为智能车辆的决策控制系统提供准确及时的基础数据信息，是 智能车辆自主驾驶系统运行的前提。因而，智能车辆的行车环境感知具有重要的研究价值。智 能车辆的工作环境是光照、景物、天气、季节及地理位置都复杂多变的室外环境，行车环境感 知的研究也极具挑战性。智能车辆能够做到外界行车环境的感知主要依靠各种传感器，包括 CCD 光学传感器、主动红外、热像仪、雷达、激光等。纵观国内外关于智能车辆技术的研究， 视觉传感器是首选的感知设备，相比较雷达、激光等其它传感器具有作用距离大、内容丰富、 智能车辆视觉感知中的目标检测方法研究 2 不改变外界信息、设备造价低等优点。计算机视觉是
25、计算机模拟人的视觉系统，利用各种视觉 传感器，像人的眼睛一样获取外界场景信息，对获取的包含环境信息的图像通过计算机处理方 式加以感知理解，最后用于实际检测、测量和控制。基于机器视觉的环境感知被认为是最有效 的行车环境识别手段，该技术被深入研究，并被广泛应用到实际中。国内外的智能车辆无一例 外地使用视觉系统作为其感知外部环境的重要手段。 智能车辆相关技术是涉及多个学科领域的新型交叉学科，融合了信息通信技术和人工智能 技术的最新成果，具有高深的学科发展价值，其研究进展和成果必将大大促进相关学科发展， 是国家科学技术综合实力的体现，是一个国家科技进步的重要体现。随着人类科学技术水平的 不断提高以及人
26、类各方面需求的带动下，智能车辆应用前景将会越来越广泛。其代表着未来汽 车的研究发展方向，吸进着更多研究机构和国际汽车厂商巨头的兴趣。迅速发展的汽车工业作 为社会发展的最大支柱产业之一，紧密连接着三大产业，带来显著经济效益、社会效益。其产 业体系遍及到广泛的学科领域，带动新兴工业和高新技术的出现，成为一个庞大的技术密集型 产业体系。可以说，智能车辆的发展将会改善国家产业结构，极大地促进国家的工业化水平， 带动整个国民经济的发展。 1.2 国内外智能车辆相关技术研究现状 1.2.1 智能车辆研究现状 二十世纪五十年代初就出现了智能车辆的雏形，美国 Barrett Electronics 公司研发出
27、世界上 首台自动引导车辆（Automated Guided Vehicle System,AGVS）,是一台用于工厂货物自动运输 的智能移动机器人，该机器人体现了智能车辆技术的显著特征无人驾驶。真正意义上的智能车 辆开始于开始于七十年代，经历了三个重要的历史发展阶段。七十年代初至八十年代末为智能 车辆技术的探索起步阶段，智能车辆技术研究重心是基于机器视觉的自动驾驶系统；九十年代 到世纪末是智能车辆快速发展时期，世界上许多研究机构和汽车生产企业都展开了智能车辆技 术的相关研究；二十一世纪至今是智能车辆发展的完善阶段，同时也是实用化快速推进阶段， 一些主要汽车厂商面向市场推出了实用产品。 七十年代
28、日本率先开展了智能汽车自主驾驶系统相关研究。 1978 年日本机械技术研究所推 出了自主汽车驾驶系统，用于道路试验的速度可以达到 30km/h。日本八十年代后期成立了专门 的机构开始研究安全辅助驾驶（SDA） ，每年定期展示在该研究领域取得的新成果 5。八十年代 前期，美国 Maryland 大学开发了军用无人侦察越野车 6，八十年代后期 CMU 开发了 NavLab 智能车 7,装备了包括视觉传感器在内的多种传感器。八十年代后期，德国 Munich 大学研发了 时速 90km/h 的 VaMoRs 智能车。 随着电子技术、信息处理技术及机器人技术的提高和人类对智能车辆重要性的认识，智能 南京
29、航空航天大学硕士学位论文 3 车辆进入快速发展时期，该时期是智能车辆发展的黄金时期。1995 年，德国 Munich 大学研发 了 VaMP 智能车并进行了道路实验，在接近 95%运行距离上实现了自主驾驶。自主驾驶系统采 用基于视觉感知的导航系统，该系统能够保证智能车在行驶车道内的正常运行，实现必要时的 换道行驶，且能检测障碍物的存在对危险状态起到告警作用 8。美国 CMU 大学开发了 Navlab 系列智能车辆，开发的自主和辅助驾驶系统用于各种类型的机动车，包括家用汽车、运输车、 越野车等。 1995 年， Navlab5 进行了横穿美国的实验， 平均时速为 102.72km/h, 全程 4
30、587 公里， 自主驾驶达 98.2%。NAVLAB11 作为最新的开发车型融合了 GPS、磁场计、全向摄像机等多种 新型传感器。九十年代，美国提出了由 DARPA 领导的 DEMO 计划，前后开发了 10 辆 DEMO 系列智能车。该系列智能车融合多种自主移动技术，能够在复杂多变的环境下进行自主导航， 主要用于代替人执行战场任务。其它研究机构也开发了基于多传感器技术的智能车，如欧洲的 基于机器视觉和雷达技术的 PROMETHEUS 项目 9，意大利 Parma 大学采用 GOLD（Generic Obstacle and Lane Detection） 视觉系统 ARGO 10智能车， 日本
31、运输省的 ASV 项目中的智能车11。 代表未来发展方向的智能车辆拥有极大的商业价值，具有巨大的市场潜力，在此应用价值 的推动下，一些国家研究机构和国际汽车公司都推出了面向市场的实用产品。美国加利福尼亚 州最近通过的新法案允许自动驾驶汽车在加州的道路上行驶，该法案旨在为自动驾驶汽车提供 安全性和性能的指导方针，推动智能汽车的发展。行业预计自动驾驶汽车有望在 3 到 5 年后进 入市场。谷歌、宝马、通用等汽车生产商都已开始在公共道路上测试，谷歌是第一家被允许在 公共道路上测试自动驾驶汽车的公司，美国内达华州机动车管理局已为谷歌公司智能汽车颁发 了车牌，允许在公共道路上测试行驶。谷歌公司研发的智能
32、车辆采用包括摄像机、激光雷达、 超声雷达和 GPS 设备在内的多种感应设备，自动驾驶系统由环球自动导航系统、温度敏感测试 反应系统在内的多种自动操作系统组成， 在公共道路上成功行驶了 22 万多公里。 通用公司正在 对一项名为“SuperCruise”的半自动驾驶技术进行道路测试。在一定的理想环境下，该技术可 以使智能车辆在高速公路上进行完全的自动转向、自动制动以及自动车道保持。这一系统有望 在 2015 年前应用于量产车型。 图 1.1 谷歌公司智能车辆 智能车辆视觉感知中的目标检测方法研究 4 我国在智能车辆技术领域相比较发达国家起步较晚，开始于二十世纪八十年代，但也取得 了一些不错的成就
33、。在此领域展开研究的很多国内重点大学和科研机构都推出了自己的试验车 型。中国多所大学联合研制的首辆智能车辆试验车型 ATB-1（Autonomous Test Bed-1）自助行 驶速度能够达到 20km/h，此后陆续研制了试验车型 ATB-2，ATB-3 能够达到的最快速度为 74.5km/h。国防科技大学从八十年代末期开始从事于智能车辆的研究，成功研制了 CITAVT 系 列无人驾驶车，第四代 CITAVT 是最新研发的智能车辆，采用基于视觉导航的环境信息感知系 统，能够在结构化道路实现车辆自主驾驶 12。另与中国第一汽车集团公司联合研制的自主驾驶 轿车获得成功， 该款自主驾驶轿车在高速公
34、路上行驶的最高稳定速度是 130km/h,并且具有超车 功能。清华大学“移动机器人（THMR）课题组”在 1986 年开始先后研制了 THMR 系列智能 车， 最新的 THMR-v 13最高速度达到 150km/h。该智能车的配备了基于激光传感器和视觉传感 器的感知系统，还带有了控制定位系统（DGPS 互补定位系统等）和用于车体控制的一整套系 统。吉林大学智能车辆课题组从 1992 年开始研制了基于视觉导航的 JLUIV 系列智能车。重庆 大学先后研制了 CQAC 系列视觉导航智能车。此外，其它一些科研单位也开展了此方面工作， 包括南京理工大学，西安交通大学、湖南大学等。 图 1.2 国防科技
35、大学智能车 图 1.3 清华大学智能车 1.2.2 行车环境感知技术研究现状 在智能车辆的众多研究方向和领域中，环境感知理解技术是车辆进行智能行驶以及辅助驾 驶系统运行的前提，是具有较高的挑战性的课题。行车环境感知是利用各种传感器对车辆行驶 中的环境信息参数进行检测和处理。通常，智能车辆中采用的传感器主要有四种：毫米波雷达、 激光雷达、声学传感器和视觉传感器。这几种传感器都有不同的特点和适用范围。 毫米波雷达在障碍目标探测方面被深入研究应用，用于纵向距离测量的传感器，在技术上 层面上讲非常适合障碍目标的检测，对环境变化（光照变化，夜晚等）不敏感，有着极强的鲁 棒性，但是毫米波雷达设备沉重、造价
36、昂贵，难以大范围推广应用。激光雷达不同于毫米波雷 达，它是采用红外激光代替毫米波来测量距离，相对于毫米波雷达设备造价相对较低，可用于 南京航空航天大学硕士学位论文 5 替代毫米波雷达使用，但在恶劣情况下（雨雪、雾天等）探测能力差。声学传感设备造价低， 适合商业推广，但是其探测范围有限，只能用于近景情况下或者作为辅助探测设备，比如用于 倒车检测、侧面物体检测等。此外，在探测原理上毫米波雷达、激光雷达、声学传感器都属于 主动型传感器，它们通过分析发射后返回的信号来探测目标，车辆与另外车辆相遇时，会存在 信号相互干扰的问题，这是主动型传感器的一个主要不足之处。与之相比，视觉传感器具有探 测范围宽、目
37、标信息完整、成本低廉、符合人的认知习惯等优势，特别是对交通标记、交通信 号的探测方面，具有其它传感器无法比拟的优势；此外，视觉传感器属于被动型传感器，具有 无信号污染的本质优点 4。 用于智能车辆的传感器要同时满足实时性要求和可靠性要求，但没有任何一种传感器能保 证在任何时刻提供完全可靠的信息。每一种设备都有其优缺点，如雷达传感器对环境变化不敏 感，但扫描速度较慢，空间分辨率较低；视觉传感器探测范围广，空间分辨率高，但对环境变 化敏感。采用多传感器进行信息融合，可以有效地克服单一传感器的局限性，利用各自传感器 的优点弥补彼此功能的不足。所谓多传感器融合，是指将多个传感器在空间或时间上的冗余或
38、互补信息或来自同一传感器的多特征信息，依据某种准则进行集成和融合，形成对环境某一特 征的一致性描述或解释。例如，雷达技术能可靠地提供车辆周围（尤其是远距离）的障碍物深 度信息，易于解决机器视觉技术在深度信息方面的难题，而且受天气、光照等的影响较小，在 恶劣环境条件下具有独特的优势；从目前来看，虽然视觉传感器在环境恶劣情况下（比如大雨、 大雾等等）的鲁棒性还不够高，但如果把它作为主要的传感器应用于行车环境感知并搭配其它 起辅助作用的传感器，则是完全可以满足智能车辆需要的。目前为止，这也是智能车辆广泛采 用的感知方式，被广泛用于实际科研实验；而从长远来看，随着计算机图像处理能力和技术的 提高，视觉
39、传感器必将具有更加广阔的应用前景。可以说，基于视觉的环境感知技术，将直接 决定未来智能车辆的生存空间，必将是今后智能车辆感知技术的发展方向 4。 1.2.3 视觉感知技术研究现状 机器视觉又称为计算机视觉，计算机视觉是计算机模拟人的视觉系统，利用各种视觉传感 器，像人的眼睛一样获取外界场景信息，对获取的环境信息图像通过计算机的处理方式加以感 知理解，最后用于实际检测、测量和控制 14。智能车辆感知系统主要采用基于机器视觉的方式， 视觉感知系统对信息的处理是否准确直接关系到智能车的行驶方向、行驶速度、以及对障碍物 的避撞能力，对系统具有决定性的作用。因此，视觉感知系统必须保证如下几个关键方面：一
40、 方面应具备车辆在高速运行情况下的环境信息的感知和处理能力，必须与车辆行驶做到实时同 步；另一方面必须是一个稳定的系统，因为由于道路状况的复杂性，比如高速公路、复杂城区 道路，乡间道路等，以及外界环境的多变性，比如雨雪，夜晚，能见度低等恶劣环境。 智能车辆视觉感知中的目标检测方法研究 6 视觉感知系统最早出现于二十世纪六七十年代的美国火星探测计划中，但该技术当时并没 有引起大家的关注。二十世纪八十年代，美国 DARPA 项目资助的基于机器视觉的自动陆地车 辆15（Autonomous Land Vehicle）研究中出现了车载视觉系统的初始原型。德国人首先提出了 机器视觉概念，此后，各国科研人
41、员广泛开展了关于机器视觉的研究，使其成为一个热门研究 领域。随着微电子技术的发展，使得微处理器的计算处理能力大大增强，且造价大幅度降低， 大大促进了机器视觉在智能车辆领域的应用，在民用领域基于机器视觉的智能车辆进入了快速 发展时期。美国 CMU 大学共研发了四套视觉感知系统：第一套视觉系统 SCARF（Supervised Classification Applied to Road Following）用于非结构化道路的智能导航；第二套视觉系统 YAPF （Yet Another Road Following）利用结构化道路的车道线等特征进行道路识别；基于神经网络 的第三套视觉系统 ALVI
42、N（Autonomous Land Vehicle In a Neural Net）利用模式识别的方法进行 自主学习训练；RALPH（Rapidly Adapting Lateral Position Handler）视觉系统是第三套的升级版 本，是 Navlab 系列中最先进的视觉系统。加州大学伯克利分校研发了基于机器视觉的自主驾驶 控制系统，通过采集到的传感器信息进行智能车辆横向控制，将视觉传感器和激光雷达采集信 息进行数据融合用于纵向控制，并开发了基于立体视觉重构16的目标跟踪系统。密歇根大学研 制了两套视觉感知系统：第一套视觉系统 ARCADE（Automated Road Curva
43、ture And Direction Estimation）依据摄像机光轴能够估计得到道路曲率和方向，道路估计方法需进行道路建模，并 利用道路的全局约束；第二套视觉感知系统 MOSFET(Michigan Offroad Sensor Fusing Experimental Testbed)能够做到道路识别和障碍物检测，道路识别利用基于双目摄像机的视觉感 知方法，障碍物检测需要视觉传感器和声纳传感器结合使用。德国联邦大学（UBM）开发了新 一代的视觉感知系统 EMS-Vision(Expectation-based Multi-focal Saccadic Vision system)：该系统
44、 能够跟随车辆运行速度的快慢自动调整摄像机拍摄深度，具有较大地外界感知范围，也能适用 于粗糙不平坦的路况17。 意大利帕尔马大学的视觉感知系统GOLD18（Generic Obstacle and Lane Detection） ：该视觉系统具备道路检测和障碍物检测能力，主要利用基于双目视觉系统的障碍物 检测方法，并借助于结构化道路车道线识别进行道路检测。 1.2.4 视觉感知关键技术研究现状 1.2.4.1 道路检测技术研究现状 道路区域检测 19-20是实现智能车辆的自主驾驶功能首要解决的问题。回顾智能车辆的发展 历程，基于机器视觉的道路检测是国内外科研人员普遍选择的方法，作为最有效的方法
45、具有设 备造价低、实现简单等特点。实际的道路路况复杂多变，而且容易受到影响（恶劣天气、障碍 物等） ，对基于机器视觉的道路检测是一个复杂棘手的问题。因此，基于先验知识引入一些道路 假设将有助于简化问题，如：道路平台假设、道路理想形状假设、道路宽度不变性假设、路面 南京航空航天大学硕士学位论文 7 特征一致性假设、摄像机针孔成像模型假设。 基于机器视觉的道路区域检测有多种方法 21-25：基于区域的道路检测、基于边缘特征的道 路检测和基于模型的道路检测。按照道路状况的不同又分为结构化的道路检测方法和非结构化 的道路检测方法。 结构化道路检测方法 结构化道路一般指具有标准车道线和明显道路边界的公路
46、，如高速公路等。针对结构化的 道路检测问题就可以转化为车道线或道路边缘的检测， 主要采用基于边缘特征的方法。 文献26 给出一种基于 B-Snake 曲线的车道线检测方法，该方法能够较好地适用于不同车道结构。文献 27依据初始位置方向及灰度特征计算权值距离测度，并在不同的权重值中找到最优的，最后 使用检测率误差最小确定道路边界。文献28采用子区域提取道路边缘的方法，首先必须求取 道路边缘初始位置数据，将道路图像在竖直方向分割，在每一个分割的区域内得到该区域的可 能道路边缘直线，最后通过计算直线的偏差值确定道路边缘。文献29采用了基于 Hough 变换 的方法，并利用参数优化和跟踪确定道路区域。文献30采用基于方向滤波器的方法，该方法 可检测弯曲车道线，并具有较强的鲁棒性，适用于光照变化影响条件下。许多智能车辆的视觉 系统都是针对结构化道路情况下的应用，比如，ARGO 的视觉感知系统 GOLD 10,18，Navlab 的 视觉感知系统 RALPH 31等。 非结构化道路检测方法 非结构化道路一般指路面灰度不一致、边界不显著的道路，相对比于结构化道路没有显著 的车道线，路面结构不规则，如乡间道路等。针对这类道路一般采用基于道路模型和基于区域 的检测方法，这一类的道路检测系统有 CMU 的