《非接触视觉识别系统研究毕业论文.doc》由会员分享，可在线阅读，更多相关《非接触视觉识别系统研究毕业论文.doc（40页珍藏版）》请在三一文库上搜索。
1、清华大学2010届毕业论文毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解XX大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕
2、业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 第一章 绪论1.1研究的背景和意义随着社会的发展和科学技术的不断进步，人们对于快速、便捷、有效的身份识别技术有着日益增长的需求。传统的方法诸如密码、印章、证件等因易忘记、易伪造、易丢失，常常给人们的生活和社会的管理带来不便。因此，近年来，生物识别技术日益引起人们的关注，并逐步渗透到大家的日常生活和工作中。和指纹、视网膜、虹膜、基因、掌形等其他人体生物特征识别系统相比，人脸识别系统更加直接、友好，使用者无任
3、何心理障碍，并且通过人脸的表情姿态分析，还能获得其他识别系统难以得到的一些信息。显然，用户的可接受性在很大程度上决定了一个产品的应用范围和市场前景。简单、自然、尽可能少的用户参与，会使一个生物识别系统显得更为友好和方便，因此，尽管人脸识别系统目前的性能还不如指纹识别系统，但人脸特征很可能是未来最常用的生物识别特征1。人脸识别系统除了可以应用于其它生物识别系统应用的场合，比如在需要用户专门配合的法庭举证、持证人核对、计算机登陆、网络访问、重要建筑物和边境口岸的进出控制等，它还可用于无需用户刻意配合的视频监控、视频流的自动剪辑等领域，在罪犯缉拿、视频检索等许多方面都有广泛的应用前景。现在主要基于疲
4、劳驾驶的研究，所以对基于人脸系统研究的人眼状态识别则显得尤为重要。人们不禁要问，究竟是什么原因造成如此大量的事故频繁出现？有没有行之有效的安全措施能够遏制这些恶性交通事故发生？于是，各国科学家，研究人员对此问题展开了大量积极并富有建设性质的研究活动，寻找事故背后的原因。他们发现，从道路交通事故的成因来看，在全球范围内，驾驶员疲劳驾驶汽车，是导致各种交通安全事故发生的重要原因之一2。因为驾驶员长时间驾驶车辆，特别是在夜间，很容易导致过于疲劳困乏、注意力不集中，随时有可能入睡，甚至在短暂失去知觉后经过一段时间再醒来，这大大降低了驾驶员自身对外界发生异常事件的反应能力。更为严重的是，很多时候，已经处
5、于疲劳驾驶状态的驾驶员本人甚至不知道自己已经处在瞌睡的危险状态之中，显然这种情形是非常危险的。一旦行驶在路面窄、车速快的地区，常常一不注意，就酿成大祸，引发重大恶性交通事故。 科学家们还发现由驾驶员疲劳因素造成的交通事故，仅仅通过对驾驶行为 的规范和对驾驶员的培训教育是难以有效地克服的。必须通过先进的技术手段，监控驾驶员的驾驶行为。在发现驾驶员出现驾驶疲劳状态时，采取自动告警或者代替驾驶员操作，避免发生交通事故。于是世界上很多国家特别是美英日德加发达国家的大学和著名汽车公司广泛开展了针对驾驶员疲劳驾驶或驾驶注意力不集中方面的研究，提出汽车安全辅助驾驶技术，来解决上述问题。因此研究视觉识别有至关
6、重要的作用。眼睛作为一个重要的信息传递功能组织，它不仅把外界的各种信息反映给大脑，同时也把人的内在精神状态形象地表达出来。正常状态时，眼睛睁得很开；疲劳时，眼睛睁得很小；睡眠时，眼睛会完全合上。而且眼睛区域在以上三种情况下的外形有明显区别。所以，利用驾驶员眼睛的状态信息来判断疲劳状况是一种可行的方法。本文基于“疲劳驾驶状态监控装置及方法”，根据驾驶员在正常驾驶状态与疲劳驾驶状态下的眼睛张开程度有一定区别的特点，给出了一种对驾驶员眼睛状态进行准确识别的技术方法。实验证明，该方法对眼睛状态的识别具有实时性强准确率高和抗干扰能力较强的特点。1.2 疲劳驾驶检测技术的研究现状1.2.1疲劳驾驶检测方法
7、的研究现状早期的驾驶疲劳评价主要从医学角度出发，借助医疗器械进行。1935年美国交通部管辖的州际商业协会ICC（The interstate commerce commission）要求公共卫生署（The United States public health service）对城市商业机动车驾驶员服务时间管理条例的合理性进行调查。实质性的研究工作始于20世纪80年代，美国国会批准交通部研究商业机动车驾驶和交通安全的关系。20世纪90年代随着计算机和集成电路制造技术的提高，疲劳程度测量方法研究有了很大的进展。1.2.2国外研究具有代表性的产品有：1、2005年，VOLVO汽车公司推出的“驾驶员
8、警示系统”。该系统不断监测车辆的行驶中的运动过程，记录下司机的驾驶行为，并能判断车辆是处于有效控制状态，还是处于失控状态，在司机进入睡眠状态之前及时给予警示。沃尔沃的疲劳驾驶警示器设计者认为，他们之所以选择监督车的方式，是因为他们认为人的不可控因素太多。2、2002年，美国研制的打瞌睡驾驶员侦探系统DDDS（The Drowsy Driver Detection System）3。该技术采用多普勒雷达和复杂的信号处理来测量驾驶员打瞌睡或睡着的活动，包括不安烦躁的情绪活动、眨眼频率、眨眼的持续时间和眼皮的活动。该系统的特点是通过耗能低的多普勒雷达系统（Doppler radar system）非
9、接触式地采集正常驾驶时驾驶员的活动和眼皮的活动行为所表示的疲劳数据。并且该系统能够做成外形较小的仪器，固定在驾驶室内驾驶员头顶上方。3、转向操作监视器S.A.M（steering attention monitor）是一种监测方向盘非正常运动的传感器装置，适用于各种车辆。如果方向盘4秒钟不运动，该监视器发出声音报警，直到方向盘继续正常运动为止4。方向盘继续正常运动时监视器不发出声音报警。S.A.M被固定在车内录音机的旁边，在方向盘下面的杆上有一条磁性带用来测量方向盘的运动。S.A.M的作用就是：提醒驾驶员不要在驾驶时瞌睡。4、1997年10月约翰霍普金斯大学应用物理实验室对世界各大汽车厂商在安
10、全问题的调查显示5：三菱公司（Mitsubishi Drowsy Driver Warning System）通过检测方向盘的运动来监视驾驶员的疲劳和注意力，如果驾驶员产生疲劳，座椅产生振动来刺激驾驶员以减轻驾驶疲劳，并且给出警告信号。日产（Nissan Drowsy Driver Warning System）在仪表盘用摄像机监视驾驶员面部的表情来识别驾驶员早期疲劳状态，当驾驶员疲劳时，它诱发告警声音。该系统试图通过把薄荷醇气味的冷空气释放在驾驶室中来清醒疲劳的驾驶员，如果驾驶员疲劳状态得不到改善，该系统会使用声光报警，并且自动停车。5、DAS2000型路面警告系统（The DAS 2000
11、 Road Alert System）是一种设置在高速公路上用计算机控制的红外线监测装置，当行驶车辆摆过道路中线或路肩时，向驾驶员发出警告6。6、电子“清醒带”，使用时用一根可以调整的松紧带固定在驾驶员头部，“清醒带”的电源插头插入汽车内的香烟自动点火器的插座内，装在带子里的半导体温差电偶，就使平展在前额部位的铝片变凉，使驾驶员睡意消除，精神振作。据说戴上这种“清醒带”，足足可以消除睡意24小时。“清醒带”使用的电压是12V-14V，电流是500mA，十分安全。1.2.3国内研究具有代表性的产品有：1、中国军事医学科学院陈信7等利用脑电图、读数试验、唾液分泌、闪光融合频率测试来判别飞行员疲劳。
12、他们对117名飞行员进行研究，发现人体疲劳与脑电波的（1-4HZ）节律有关系，认为正常人脑波的节律是有规律而且丰富多彩的。脑波变化慢会产生飞行疲劳。2、1991年哈尔滨工业大学郭德文8指出疲劳是一种自然性保护反应，它不但与劳动强度有关，而且还与心情、健康程度、环境、兴趣和工作绩效有关。从生理角度看，疲劳可分为体力疲劳和脑力疲劳。脑力疲劳用诱发电位的方法：肌肉表面上固定好表面电极，肌电信号经表面电极传导到肌电图记录仪，可以看出，EMG（electro-myography）的频率随着疲劳的产生和加深呈现下降趋势，而EMG的幅值增大则疲劳增大。3、北京医科大学王生9教授在肌肉疲劳过程肌电变化实验观察
13、中对20名受试者在实验室取坐姿，手持不同负荷，记录和分析肌肉疲劳过程肌电变化情况，结果表明随着负荷增加，肌电的积分值IEMG（integral of electro-myography）增加，随着时间延长，IEMG的值先升高，后下降，实验结束时IEMG降至最低值，受试者感觉疲劳程度逐渐增加，分析认为IEMG值低于初始值时出现疲劳，疲劳时肌电功率谱左移。并且强调疲劳是一种十分复杂的现象。肌肉疲劳是体力劳动过程中造成作业能力下降和引起损伤或疾病的重要原因，但是疲劳一直没有较好的评价方法。尝试在实验条件下，采用肌电技术，观察疲劳过程中肌电变化情况，探讨肌电技术作为判断肌肉疲劳的一个客观指标。4、阎淑
14、芳10等人在机动车驾驶员操作技能分析中，从宏观上指出交通事故与人、车、路、环境等因素有关，而人是主要因素。驾驶员控制车辆的运行操作信息90%以上是通过视觉得来的，剩余信息靠听觉、位觉、动觉等得来。在驾驶操作过程中信息是不断变化的，必须选择与行车有关的道路环境信息，通过感觉器官传入大脑，经过加工判断支配躯体做出相应的动作去操作车辆的各控制机构。这一系列的信息、动作、信息的反馈和动作相应的变化，就组成了驾驶员的驾驶技能，以及所呈现的驾驶技能水平，机动车操作动作的速度、准确、协调、注意力的敏锐是评价操作技能的重要指标。通过分析机动车驾驶员操作技能，依据驾驶过程和环境，测出驾驶员的反应能力、方向盘的控
15、制能力，手、脚的配合能力、遇有危急情况所采取的措施情况以及对干扰信息的屏蔽能力等。测试指标包括反应时间、判断时间、行驶轨迹、操作正确与错误次数、速度判断等。5、上海交通大学石坚和卓斌11通过传感器测量驾驶员驾驶时方向盘、踏板等一些参数来判别驾驶员的安全因素。驾驶员方向盘的操纵情况与驾驶员的安全具有一定的联系。当方向盘较长时间不动，说明驾驶员在打瞌睡。研究表明：当方向盘产生幅度15以上，0.4Hz以下的低频率转动，说明驾驶员操作的闭环反应较迟钝，即开始疲劳。驾驶员安全的主观评价值SED（Subjective Evaluation of Drowsiness）与方向盘的转角和角速度参数的关系最密切
16、，并给出主动安全性的定量指标。在过去的几十年中，人们对驾驶疲劳进行了很多的研究，主要集中在两个方向上:(l)驾驶疲劳的生理学机理理解和疲劳程度的检测;(2)在第一个方向成果的基础上，开发出用于商业运输中的驾驶疲劳监测设备。1.2.4疲劳驾驶检测技术的研究难点当前，疲劳驾驶检测技术的研究是国内外研究的前沿和热点，其难点主要包括以下几方面12:(l)对驾驶员驾驶疲劳的心理、生理属性不是特别清楚。驾驶员在疲劳状态下，其心理和生理特征等与正常状态下有较大不同，而目前反映这些特征变化的数据很难客观获得。(2)疲劳状态下的变化规律很难总结归纳。尽管目前人们发现了一些疲劳状态下的变化规律，但这些规律均是建立
17、在驾驶员清醒状态的基础上，而在疲劳出现后，存在着认知能力下降的情况，即这些规律只能粗略地反映疲劳的状态。况且驾驶员个体在性别、年龄、性格、肤色、体质、情绪等多方面存在着差异性，这一切都阻碍了疲劳检测方法评价指标的客观量化。(3)疲劳驾驶检测方法的评价标准还在探索中。究竟采用何种标准来客观准确地评价驾驶疲劳是一个富有挑战性的问题。(4)现有的大多数驾驶疲劳检测算法因其检测条件的限制和复杂环境的影响，不能准确完整地提取驾驶员的疲劳信息，导致目前开发的疲劳驾驶检测装置难以快速对疲劳状态做出正确判断与响应，检测灵敏度低，可靠性差。(5)目前国内外关于疲劳驾驶检测的研究还停留在理论和方法的探索上，没有系
18、统的标准和完善的解决方案，尤其是在如何提高检测方法的精度和具体的实现上最具争议。(6)现今的疲劳驾驶检测装置或检测效果不理想，或成本太高，难以获得广泛的应用。因此，如何通过改进疲劳驾驶检测方法来提高检测装置的性价比是一个亚待解决的问题。(7)为验证现有疲劳驾驶检测方法而设计和开发的检测仿真软件非常有限。目前，在驾驶员已发生疲劳的条件下，通过大量反复的人体实车试验来验证检测方法的有效性和可靠性是非常危险的，而方便、安全、可靠的疲劳驾驶检测仿真软件有待进一步研究。1.3研究内容以及论文结构的安排本文重点研究了基于照片图像处理的人脸检测、眼睛定位、特征提取和状态分析。论文的主要内容安排如下:第一章:
19、绪论。简要介绍了疲劳驾驶行为的研究背景和意义，总结了疲劳驾驶检测技术的研究现状，对基于视觉的疲劳驾驶检测关键技术作了简单介绍，为后续研究作准备。第二章：识别系统的总体结构。本章主要介绍该系统的总体结构以及各个主要部件的基础理论。第三章:人脸检测。对人脸检测进行了初步的概述，以及几种常用人脸检测方法作了简要介绍，本文采用了基于肤色检测和形态学的处理方法来进行人脸检测。最后结合人脸结构特征，通过投影来确定面部区域。第四章:眼睛定位。介绍了多种正面人脸中快速定位眼睛的算法，并选取基于灰度投影的方法和变形模板法对眼睛进行精确定位。灰度投影首先利用灰度投影投影确定眼眉区域，再结合水平投影函数精确定位眼睛
20、。变形模板法则是通过给选定的模板，然待定人脸图像与模板进行匹配，最后能过定位人眼。第五章:眼睛特征提取与状态识别。分别介绍了基于上下眼睑的方法对眼睛的开闭状态进行识别，并最终选择了基于眼睛二值化水平投影的识别方法。通过对人眼的二值化水平垂直投影曲线最终确定人眼的状态，进而实现了对各种眼睛状态的识别。第六章:总结与展望。对本文所做的工作进行总结，分析了研究过程中存在的不足，并对未来的研究做了展望。第二章 识别系统总体分析 2.1 论文结构的总流程 开始输入彩色图像Ycbcr颜色空间转换人脸检测边缘检测法变形模板法图像预处理人眼定位图像灰度化二值化水平投影法人眼状态识别结束 图1 人眼定位识别总流
21、程2.2 人脸检测 人脸检测13 (Face Detection)是指使用计算机在输入图像中确定所有人脸(如果存在)的位置与大小的过程。人脸检测系统的输入是可能包含人脸的图像，输出是关于图像中是否存在人脸以及人脸的数目、位置、尺度、位姿等信息的参数化描述。具体地说，就是根据一定的算法确定输入图像是否存在人脸，如果存在的话，标出人脸的位置作为人脸检测系统的输出。人脸检测的研究受到重视，不仅因为它在基于人脸的身份验证、视觉监测以及基于内容的检索等方面有着重要的应用，从学术的观点来看，人脸检测是物体(模式)检测中的一个典型问题。在智能监控、人机交互、基于对象的编码等领域也有着广泛的应用。计算机检测人
22、脸的困难之处在于:背景、表情、光照、成像角度、成像距离等影响，而且从二维图像重建三维人脸是病态过程，目前尚无很好的描述人脸的三维模型。此外，人脸检测还涉及图像处理、模式识别、以及神经网络等多学科。如果用于实时处理，还要加上计算速度的要求。这些因素使得高质量的人脸检测仍为一项极富挑战性的课题，受到研究者的关注。 2.3 人眼定位眼睛定位是指在输入的图像中检测出眼睛的位置，它是判断眼睛状态的前提，因此如何准确、快速地定位人眼是实现驾驶疲劳状态监控的关键。目前其中人眼定位的方法主要有霍夫变换法，对称变换法，变形模板法，边缘特征分析法等。2.4人眼状态识别眼睛状态识别是驾驶员疲劳检测的非常重要的一个环
23、节，为了对眼部状态进行有效的识别，本文提出一种人眼状态识别的新方法，该方法利用二值化水平投影人眼状态识别，快速、实时、有效地识别出驾驶员疲劳时眼部状态。2.5总述本文是主要采用空间变换和肤色检测以及形态学的处理方法来进行人脸检测的，而后再采用边缘特征分析法和变形模板法的方法两种方法来对人眼进行定位。边缘特征分析法在检测出人脸的基础上，在人脸上半部区域采用人提出的灰度图投影算法检测出驾驶员正常状态下睁开的眼睛。把检测出的眼睛与眉毛一起分割出来作为睁开状态的眼睛模板。然后重复以上步骤，如果没有检测到眼睛，把眼睛睁开状态模板与未检测到眼睛位置的人脸上半部图像进行匹配，当该图像最大相似度小于某设定阈值
24、时认为眼睛睁得很小或闭合状态，否则认为眼睛睁得正常。而变形模板法则主要是模板的选择，根据所选模板的维数可分为二维可变形模板和三维可变形模板，有已知模板和待测图像进行匹配定位人眼。最后，使用二值化水平投影法进行对人眼状态进行识别。第三章 人脸检测3.1人脸检测的概述在理论上讲，人脸检测是一项极具意义的研究领域。人脸识别是一种特定内容的模式识别问题。人脸识别从广义上讲包括两个过程14:(1)人脸检测;(2)人脸分类。第一个过程，人脸检测是指在图像上检测有无人脸，若有应判别出人脸的位置和大小。这是一种根据人脸样本模式的共性特征进行模式识别的操作:它将图像内待检的任意一个子区域划分为两类模式:人脸和非
25、人脸。第二个过程，人脸分类(亦即狭义上的人脸识别)是指对当前人脸模式进行比较判别，区分它们的脸型、眼型、口型、表情、性别、年龄、种族和身份等。这是一种根据人脸样本模式的个性特征进行模式识别的操作:它将特定人脸上的有关特征或特征点提取和检测出来并与已知类别的标准样本特征相配，从而描述和刻画人脸。3.1.2人脸检测研究现状 人脸检测技术的研究最早可追溯到19世纪法国人Alotn15的工作。现代研究始于20世纪60年代末70年代初，并随着科学技术而发展。自90年代以来一直是研究热点，各种算法层出不穷，相关杂志上发表的有关论文数以千计。目前国内外针对人脸检测问题的研究很多，比如著名的MIT、CMU等，
26、而且MpEG7标准组织已经建立了人脸识别草案小组，人脸检测算法也是征集内容之一。国外对人脸检测问题的研究很多，许多国家展开了人脸检测的研究，主要是美国、欧洲国家、日本、新加坡、韩国等，著名的研究机构有美国MIT的MediaIab、AI!ab，CMU的Human一Computer Interface Institute，Microsoft Research，英国的Department of Engineering in University of Cambridge等。方法主要集中在以下几个方面:早期的有模板匹配、基于特征的方法(空域)，中期主要是示例学习、神经网络、统计模型、彩色信息、形状分析
27、等方法，近期主要集中在彩色信息、频域中的特征提取、新分类方法的应用，例如支持向量机、多模态信息融学习方法。随着人脸检测方法研究的深入国际上发表的有关论文数量也大幅度增长，如IEEE的FG、ICIP、CVPR等重要国际会议上每年都有大量关于人脸检测的文章。 国内在这方面的研究起步于20世纪80年代，有清华大学、北京工业大学、中科院计算技术研究所等，受到了国家863计划的大力扶持，发展很快。2000年以来，每年一届的“中国生物识别学术会议”极大地推动了包括人脸识别在内的生物识别技术水平的发展。现在，国内也已建成世界上较全面、规模最大的东方人脸图像数据库16。哈尔滨工业大学的研究者实现了一个复杂背景
28、下的多级结构的人脸检测与跟踪系统，其中采用了模板匹配、特征子脸、彩色信息等人脸检测技，能够检测平面内多姿态正面人脸，并可以跟踪任意姿态的运动的人脸。北京工业大学的研究人员提出了人脸重心模板这一新技术并运用这一技术建立了一个于复杂背景中检测人脸的系统。3.2 人脸检测几种方法人脸检测问题所包含的内容十分广泛，从不同的角度有不同的分类方法。本文介绍的方法主要是针对静态图像中的人脸检测。目前已有的人脸检测方法种类繁多，大致可分四类:基于知识的人脸检测方法、基于统计模型的人脸检测方法、基于特征的人脸检测方法和基于模板匹配的人脸检测方法。本文采用基于上述方法利用matlab自己编写的程序，最终实现人脸的
29、检测，主要采用了空间变换，形态学的某些处理，以及图像的边缘处理。3.2.1基于知识的方法基于知识的方法是基于规则的人脸检测方法，规则来源于研究者关于人脸的先验知识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系，如在一幅图像中出现的人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴。特征之间的相互关系可以通过它们的相对距离和位置来描述。在输入图像中首先提取面部特征，确定基于编码规则的人脸候选区域。这种方法存在的问题是很难将人类知识转换为明确定义的规则。如果规则是详细的(严格的)，由于不能通过所有的规则，检测可能失败;如果规则太概括(通用)，可能会有较高的错误接收率。此外，很难将这种方
30、法扩展到在不同的位姿下检测人脸，因为列举所有的情况是一项很困难的工作。3.2.2基于统计模型的方法由于人脸图像的复杂性，显式地描述人脸特征具有一定困难，因此另一类方法基于统计模型的方法越来越受到重视。此类方法将人脸区域看作一类模式，即模板特征，使用大量的“人脸”与“非人脸”样本训练、构造分类器，通过判别图像中所有可能区域属于哪类模式的方法实现人脸的检测。实际上，人脸检测问题被转化为统计模式识别的二分类问题。(1) 基于特征空间的方法。此类方法将人脸区域图象变换到某一特征空间，根据其在特征空间中的分布规律划分“人脸”与“非人脸”两类模式。主元分析(PCA，principal-Component
31、Analysis)是一种常用的方法。它根据图像的统计特性进行的正交变换(K一L变换)，以消除原有向量各个分量间的相关性。变换得到对应特征值依次递减的特征向量，即特征脸。(2)基于人工神经网的方法人工神经网(ANN) 17方法是把模式的统计特性隐含在ANN的结构和参脸这类复杂的、难以显式描述的模式，基于N的方法具有独的势。3.2.3基于特征的方法基于特征的方法不仅可以从已有的面部特征而且可以从它们的几何关系进行人脸检测。与基于知识的方法相反，它是寻找人脸的不变特征用于人脸检测。人们己经提出了许多先检测人脸面部特征，后推断人脸是否存在的方法。面部特征，如眉毛、眼睛、鼻子、嘴和发际，一般利用边缘检测
32、器提取，根据提取的特征，建立统计模型描述特征之间的关系并确定存在的人脸。基于特征的算法存在的问题是，由于光照、噪声和遮挡等使图像特征被严重地破坏，人脸的特征边界被弱化，阴影可能引起很强的边缘，而这些边缘可能使得算法难以使用。3.2.4基于模板匹配的人脸检测方法在机器识别事物的过程中，常需把不同传感器或同一传感器在不同时间和不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准，或根据已知模式在另一幅图中寻找相应的模式，这就叫匹配。早期基于模板匹配18的检测方法是这样做的:首先建立一个标准的人脸模板，由包含局部人脸特征的子模板构成，然后对一幅输入图像进行全局搜索，对应不同尺度大小的图像窗口，计
33、算与标准人脸模板中不同部分的相关系数，通过预先设置的闭值来判断该图像窗口中是否包含人脸。3.3 基于肤色检测和形态学处理的人脸检测3.3.1色彩空间的选取为了把人脸区域从非人脸区域分割出来，需要使用适合不同肤色和不同光照条件的可靠的肤色模型，高效肤色模型的建立首先要选取一种合适的色彩空间。色彩空间又称为色彩坐标系，在机器视觉中一般称为色彩模型，是颜色在三维空间中的排列方式。目前人脸定位19主要使用的色彩空间有RGB色彩空间、Hls色彩空间、YcbCr色彩空间等。(1) RGB色彩空间RGB色彩空间也称为红、绿、蓝基色模型。为标准化起见，CIE(国际照明委员会)在1931年选择红色(波长A=70
34、0.0nm)，绿色(波长A=546.1nm)，蓝色(波长A=435.8nm)三种单色光作为表色系统的三基色，这就是RGB色彩空间，它也是最常见的色彩空间。由于彩色图像是多光谱图像的一种特殊情况，对应于人类视觉的三基色，即红、绿、蓝三个波段，是对人眼的光谱量化性质的近似。因此利用R、G、B三基色这三个分量来表征颜色是很自然的一种格式。而且多数的图像采集设备都是以CCD(电荷藕合器件)技术为核心，直接感知色彩的R、G、B三个分量，这也使得 RGB模型成为图像成像、显示、打印等设备的基础，具有十分重要的作用。(2) HIS色彩空间 HIS色彩空间，即色度、饱和度、亮度模型，反映了人类观察色彩的方式，
35、同时也有利于图像的处理。优点在它将亮度与反映色彩本质特性的色度、饱和度分开。我们提取物体在色彩方面的特性时，经常需要了解其在某一色彩空间的聚类特性，而这一聚类特性往往体现在色彩的本质特性上，并且经常受到光照明暗等条件的影响。光照明暗给物体颜色带来的直接影响就是亮度分量，所以若能将亮度分量从色彩中提取出去，而只用反映色彩本质特性的色度、饱和度来进行聚类分析，会获得比较好的效果。这也正是HIS格式在色彩图像处理和计算机视觉的研究中经常被使用的原因。(3) YcbCr色彩空间 YCbcr10 (也称为YUV)是被欧洲电视系统采用的一种颜色编码方法，主要用于优化彩色视频信号的传输，使其向后兼容老式黑白
36、电视。与RGB视频信号传输相比，它最大的优点在于只需占用极少的带宽(RGB要求三个独立的视频信号同时传输)。在YUV空间中，Y表示明亮度(Luminance)，也就是灰阶值;而U和V表示的则是色度(Chrominance或Cbroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。亮度是通过RGB输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。色度则定义了颜色的两个方面:色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映RGB输入信号蓝色部分与RGB信号亮度值之同的差异。YcbCr空间可以直接由RGB空间通过线性变换
37、得到，转换公式如下: （3.1） 研究表明21:虽然不同人的皮肤颜色可能相差很大，但它们在色度上的差异要远远小于亮度上的差异。也就是说，不同人的肤色在色度上往往是相近的，但在亮度上有较大差异。因此，对于以颜色特征来检测人脸的系统而言，需要颜色空间的聚类效果好，基本不受亮度影响。我们知道RGB空间中的三个分量都分别包含亮度信息和色度信息，这样肤色分割的结果就容易受光照的影响，所以选用一个把亮度信息作为单独分量的色彩空间更为合适。本文选择YCbCr空间对肤色分布进行研究。3.3.2形态学处理 (1)二值图像的膨胀腐蚀运算设A为图像集合，B为结构元素，数学形态学运算是用B对A进行操作。其中A，B中的
38、元素都是逻辑值0或1组成。膨胀:用B来膨胀A记做:AB。定义为:AB=xA （3.2）代表先对B作关于原点的映射，再将其映像平移x。用B来膨胀A得到的集合是B的位移与A至少有一个非零元素相交时B的原点位置的集合。腐蚀:用B来腐蚀A记做:AB。定义为： AB=xA （3.3）代表将B平移x。B腐蚀A的结果是所有x的集合，其中B平移x后还在A中。即结果是B完全包含在A中时B的原点位置的集合。(2) 开运算与闭运算膨胀和腐蚀并不是互为逆运算，所以可以级联结合使用。开运算和闭运算就是基于腐蚀膨胀两种顺序不同的级联运算。开运算是先腐蚀后膨胀，其定义为:AB=(AB)B （3.4）闭运算是先膨胀后腐蚀，其
39、定义为: AB=(AB)B （3.5）开运算与闭运算22无论运用于二值图像还是灰度图像上都可以去除比结构元素小的特点图像细节并起到平滑的效果，同时保证不产生全局的几何失真。开运算可以把比结构元素小的凸刺滤掉，切断细长搭接从而起到分离作用。闭运算可以把比结构元素小的缺口或孔填充上，搭接短的间断从而起到链接的作用23。3.3.3 人脸检测有了上述工作作为基础，我们就可以对一幅彩色图像进行人脸检测了。具体流程图如下：彩色图像YcbCr空间 建立高斯模型最优阈值二值化膨胀腐蚀图像去噪得到人脸图像 图2 人脸检测流程图 图3 原图像 图4 人脸检测 图5 最优二值化图 图6 膨胀 图7 边缘检测图8 图
40、像去噪 图9 人脸定位 3.3.4 实现人脸检测程序如下： clear; %清空工作区变量Image=imread(z1.jpg); %读取图像文件imshow(Image);Iycbcr=rgb2ycbcr(Image); %颜色空间转换m,n,k=size(Image);for i=1:1:m %根据CbCr的阈值生成二值图像 for j=1:1:n if(Iycbcr(i,j,2)90&Iycbcr(i,j,3)133) Ibw(i,j)=255; else Ibw(i,j)=0; end endendfigure,imshow(Ibw); %绘图IbWSE = strel(square
41、,3);Ibwopen=imopen(Ibw,SE); %开运算（即先腐蚀再膨胀），消除杂散点%figure,imshow(Ibwopen);Ibwoc=imclose(Ibwopen,SE); %闭运算，去掉由于开运算引入的许多缺口%figure,imshow(Ibwoc);imf=imfill(Ibwoc,holes); %填充孔洞%figure,imshow(imf);Iedged=edge(imf,Roberts); %边缘检测%figure,imshow(Iedged);Ilabeled regionnum=bwlabel(Iedged,8); %连通区域标记%regloc是一个二维
42、数组，第1维：region编号，第2维：1234分别代表top、left、right、bottom值for i=1:1:regionnum regloc(i,1)=n; regloc(i,2)=m; regloc(i,3)=0; regloc(i,4)=0;end%通过对图像的象素级搜索得出各个连通区域的regloc值，为画框作准备for i=1:1:m for j=1:1:n if(Ilabeled(i,j)=0) num=Ilabeled(i,j); if(iregloc(num,1) regloc(num,1)=i; end if(jregloc(num,3) regloc(num,3)
43、=j; end if(iregloc(num,4) regloc(num,4)=i; end end endendhold on;for num=1:1:regionnum if(regloc(num,4)(regloc(num,1)+(regloc(num,3)-regloc(num,2)*1.2) %人脸长宽比限制 regloc(num,4)=regloc(num,1)+(regloc(num,3)-regloc(num,2)*1.2; end x=regloc(num,2);regloc(num,2);regloc(num,3);regloc(num,3);regloc(num,2);
44、y=regloc(num,1);regloc(num,4);regloc(num,4);regloc(num,1);regloc(num,1); plot(x,y); %画框end 3.4 本章小结 这一章首先介绍了几种常用的人脸检测方法，并对它们各自的优缺点进行了比较，选择了实时性能较好的基于肤色检测和形态学处理的人脸检测算法。其次，对几种主要的色彩空间以及肤色在YcbCr色彩空间中的聚类特性作了说明，但肤色在YCbC泡彩空间中的聚类区域受光照影响较大，后经过一系列的处理，最后结合人脸结构特征，定位人脸。第四章 人眼定位4.1 引言研究表明，驾驶员疲劳主要表现在眼睛上，眼睛状态能可靠地反映驾
45、驶员是否疲劳。眼睛定位24是指在输入的图像中检测出眼睛的位置，它是判断眼睛状态的前提，因此如何准确、快速地定位人眼是实现驾驶疲劳状态监控的关键。本章主要介绍了在定位驾驶员面部区域之后，如何对人眼进行识别和定位，并将一种实时跟踪眼睛的算法融合到实验中，获得了良好的眼睛定位与跟踪效果。在人脸图像中定位眼睛是一个重要的研究课题。在人脸的特征抽取、人脸图像的校准以及表情识别等应用中眼睛常常是关键部位，因此定位眼睛是这些研究领域中必须解决的问题。4.2正面人脸中的眼睛定位方法鉴于驾驶这一特殊环境条件下所获取的基本为正面人脸，并且驾驶过程中人脸一般正视前方，所以本节首先讨论正面端正人脸中的眼部区域定位。目前正面人脸中快速定位眼睛的算法主要有25: 霍夫变