《毕业设计（论文）-视频中的人脸检测定位与跟踪识别.doc》由会员分享，可在线阅读，更多相关《毕业设计（论文）-视频中的人脸检测定位与跟踪识别.doc（27页珍藏版）》请在三一文库上搜索。
1、视频中的人脸检测定位与跟踪识别华见 张祥 龚小彪（西南交通大学信息科学与技术学院，四川 成都 610031）摘要人脸检测定位跟踪作为生物特征识别的一项重要技术，其应用相当广泛。人脸检测定位跟踪的方法有很多，为了实现视频中彩色图像人脸的精确定位，本文采用了一种基于肤色模型、肤色分割处理的人脸定位算法。通过建立肤色模型，经自适应阈值的二值化处理后，再进行肤色分割，将非人脸区域去除；最终利用眼睛特征定位人脸。实验结果表明，该算法对于复杂背景下的彩色图像中的人脸正面定位和人脸转动一定角度后定位都有较好效果。关键字：人脸检测跟踪； 肤色建模； 二值化；Face Detection And Trackin
2、g Identification In The Video HuaJian Zhang Xiang Gong Xiaobiao（School of Information Science & Technology, Southwest Jiaotong University, Chengdu, 610031, China）Abstract Face detection positioning and tracking as a biological feature recognition is an important technique, it is widely used in many
3、aspects. In this article, in order to localize the human face in color images captured from the video accurately, a human face localization algorithm based on skin module and skin color segmentation was presented. Firstly, we build the skin module. Then, the non-face region was removed in color imag
4、e after binary image processing with adaptive threshold and the skin color segmentation. And finally the human face was localized by using the characteristic the eyes Experiments show that the algorithm is effective to localize the human front face and the face after turning an angle in color images
5、 under complex background.key words: face detection and tracking; skin module; enbinary目录第1章绪论21.1 课题研究背景与意义21.2 国内外研究状况31.3 人脸检测与跟踪的难点41.4 主要研究内容及章节安排5第2章人脸检测和跟踪的主要方法52.1 人脸检测的方法52.2 基于肤色的检测方法72.2.1 RGB模型72.2.2 YCbCr(YUV)格式72.2.3 HSV（色调/饱和度/强度）模型82.3 基于启发式模型的方法92.3.1 基于知识的方法102.3.2 基于局部特征的方法102.3.3
6、 基于模板的方法102.3.4 基于统计模型方法102.4 人脸跟踪的方法112.4.1 基于特征检测方法的人脸跟踪112.4.2 基于模型的人脸跟踪122.5 本章小结14第3章基于肤色模型的单图片人脸检测143.1 基于肤色的人脸定位143.2 RGB到YCrCb色彩模型的转换153.3 人脸肤色模型和二值化163.4 后处理193.5 人脸定位193.6 本章小结19第4章基于肤色模型视频中的人脸检测204.1算法流程204.2 图像差分运动目标提取214.3 模型建立和光补偿224.4 眼部特征检测244.5 本章小结25第5章 总结25参考文献26第1章绪论1.1 课题研究背景与意义
7、近年来，随着计算机技术和数字信号处理技术的迅猛发展，人们用摄像机获取环境图像并将其转换成数字信号，且利用计算机实现对视觉信息处理的全过程，这就是计算机视觉技术的起源。计算机视觉成为一门独立的学科，至少可以从美国麻省理工学院(MIT)Marr教授这一代人所作的奠基工作开始追溯，已有二三十年的历史。如今，计算机视觉已经成为人工智能领域最热门的课题之一，受到普遍的重视。它的目的是用计算机实现人的视觉功能对客观世界的三维场景进行感知、理解和解释。它既是工程领域，也是科学领域中的一个极富挑战性的综合性的学科，融合了图像处理、模式识别、人工智能、自动控制等不同领域成果，吸引了来自各个学科的研究者加入到对它
8、的研究之中。计算机视觉与研究人类或者动物的视觉是不同的：它借助于几何、物理和学习技术来构建模型，从而用统计的方法来处理数据。这里主要有两类方法：一类是仿生学的方法，即参照人类视觉系统的结构原理，建立相应的处理模块完成类似的功能和工作；另一类是工程的方法，即从分析人类视觉过程的功能开始着手。并不去刻意模拟人类视觉系统内部结构，而仅仅考虑系统的输入和输出，并采用任何现有的可行的手段实现系统功能。其中第二类方法是目前计算机视觉技术研究的趋向，目前已经发展起一套独立的计算理论与算法。作为人脸信息处理的一项关键技术，人脸检测与跟踪近年来成为计算机视觉领域研究的热点。人脸的检测与跟踪是指在指定输入的图像或
9、者视屏序列中确定所有目标人脸的位置、大小、姿势和运动轨迹等参数随时间变化的过程，最初作为人脸识别(Face Recognition)系统中的一个关键环节而出现。在早期的人脸识别问题的研究中，人脸图像往往具有很强的约束条件(如无背景图像)，因此使人脸检测问题并未受到很好的重视。近几年随着社会的发展，在经济、安全、犯罪和军事领域需要对用户身份进行核对，特别像银行、海关等重要安全部门。人脸识别成为继指纹识别之后最有潜力的生物身份验证的手段。在此应用背景之下要求识别系统能够适应一般场景下的图像，由此引起的一系列问题使得研究者开始将人脸检测和跟踪作为一个独立的课题进行研究，使其应用背景远远超出人脸识别系
10、统的范畴。目前简单背景、人脸偏转角度不大的正面人脸检测算法已经比较成熟，有较高的检测效率和速度，但对于人脸偏转角度较大、严重遮挡的情况下，算法鲁棒性一般。在实际应用中需要实时跟踪、搜索人脸，这就要求算法对于人脸偏转、遮挡具有较强的鲁棒性，既要有较高的检测速度，满足实时性的要求；又要有较高的检测精度，尽量减少误检、漏检的情况。因此构造出高效、准确的人脸检测和跟踪算法，从学术和实际应用的角度都有非常重要的意义。1.2 国内外研究状况目前，国外从事人脸检测与跟踪问题的研究的机构，比较著名的有MIT的AI实验室与多媒体实验室、CMU的人机结构实验室等；国内的清华大学、中国科学院计算技术研究所、北京工业
11、大学等也从事相关的研究。此外，MPEG-7标准组织建立了人脸识别草案小组，人脸检测算法也是一项征集的内容，随着研究的不断深入，国际上一些权威期刊，如IJCV(International Journal of Computer Vision)、CVIU(Computer Vision and Image Understanding)、PAMI(IEEE Transonic Pattern Analysis and Machine Intelligence)及重要学术会议，例如ICCV(International Conference on Computer Vision)、CVPR(IEEE C
12、omputer Society Conference on Computer Vision and Pattern Recognition)、ECCV(European Conference on Computer Vision)、IWVS(IEEE International Workshop on Visual Surveillance)每年都有大量关于人脸检测与人脸跟踪的论文，极大地促进了研究学者的学术交流。国内外对于人脸检测跟踪的实现方法多种多样，但是由于任意场景下的人脸准确检测和跟踪的复杂度很高，并不存在一个适合各种实际应用下的算法，这也就决定了当前的人脸检测与跟踪问题的研究仍然是建
13、立在一定约束条件之上的，如运动的平滑性，遮挡的数目，光照不变条件，目标与背景之间的对比度等。1.3 人脸检测与跟踪的难点人脸是一类具有相当复杂的细节变化的自然结构目标，由于外貌、表情、肤色等不同，具有模式的可变性而难以用统一的模式加以描述。图像或者视频序场景中存在的背景复杂、人脸运动的非刚性、目标遮挡等问题，这对检测和跟踪带来的很大的难度。在实际应用中，人脸检测所面临的主要难点可以归结为：(1)数学模型不能精确描述人脸；(2)人脸受到光照、阴影、距离的影响；(3)特定的复杂背景对检测率有很大影响；(4)人脸在运动中的非刚性，角度、偏转、遮挡等使人脸特征缺失。新的人脸跟踪算法不断被提出使得人脸跟
14、踪技术得到一定的发展，但是由于运动场景的复杂性，人脸跟踪算法要实现在不同的环境行下对多个目标人脸实现实时准确跟踪还是比较困难的。一般来说，人脸跟踪算法主要实现的目标为：(1)鲁棒性。在实际应用中适应各种强干扰(光线的强度变化、目标自遮挡、目标间遮挡、背景遮挡等)，能够持续准确的定位目标人脸，实现跟踪。(2)准确性。对目标人脸状态改变时(偏转、运动、附属物等)，精确分割跟踪。(3)实时性。不降准确性的同时算法计算复杂程度相对较小，在现有的硬件条件下，对人脸实时跟踪。1.4 主要研究内容及章节安排人脸检测与跟踪问题的内涵十分广泛，由于人脸模式的复杂性，实现通用的人脸检测与跟踪方法还不现实。如何解决
15、特定应用场合、特定约束条件下的人脸检测与跟踪问题，仍将是该领域研究的主要方向。另外复杂背景图像中的多姿态人脸的检测与跟踪也是研究的重点之一。本文主要研究了彩色图片和视频序列中的人脸检测与跟踪的问题。在人脸检测方面文章主要讨论了基于肤色的检测方法、基于启发式模型的方法和基于统计模型的方法等几种主要方法，并利用肤色在 YCrCb 空间的聚类特性来检测人脸，同时为了去除亮度对肤色的影响，增强检测的可靠性，采用了亮度补偿。最后选取眼部特征作为条件确定人脸区域。在基本的人脸跟踪的方法上，主要研究了基于肤色的人脸检测方法检测视频图像中的人脸以及通过背景差分法对视频中运动目标的检测与追踪，并基于肤色模型与人
16、脸的眼部特征（启发式特征人脸检测）相结合对视频中运动目标的人脸进行检测与跟踪。本文章节安排如下：第1章为绪论，主要讨论了本课题的研究内容和背景以及应用范围，分析了人脸检测与跟踪在国内外的研究状况，就这一课题的难点进行了论述。第2章主要分析了人脸检测与跟踪的主要方法。人脸检测的主要方法有基于肤色的检测方法、基于启发式模型的方法和基于统计模型的方法等。人脸跟踪的方法主要有基于特征检测的方法、基于模型的方法和基于贝叶斯滤波的方法等。第3章主要分析了基于肤色的人脸检测方法检测视频图像中的人脸。本章主要介绍了基于肤色人脸检测的具体方法，并对视频帧中单张图片单人脸进行检测和定位。第4章主要讲了通过背景差分
17、法对视频中运动目标的检测与追踪，并基于肤色模型与人脸的眼部特征（启发式特征人脸检测）相结合对视频中运动目标的人脸进行检测与跟踪。第5章总结第6章参考文献第2章人脸检测和跟踪的主要方法2.1 人脸检测的方法人脸检测与跟踪问题所涉及的内容十分广泛，从不同的角度可以有很多分类的方法。本文主要讨论静止图像中的人脸检测问题以及动态图像序列中的人脸跟踪问题。人脸模式具有复杂而细致的变化，所包含的模式特征也十分丰富(如图2.1)，实际应用中往往无法找到一个通用的算法，因此一般需要采用多种模式特征综合的方法。图2.1人脸模式特征目前，按照不同的分类角度，可以将人脸检测问题分为多种类型，如表2.1所示：表2.1
18、人脸检测问题的分类一般情况下，按照人脸检测所处理图像的不同将其分为两类：基于灰度图像的人脸检测和基于彩色图像的人脸检测。对于灰度图像，目前存在的方法主要有：基于整体外貌(Appearance-based)的方法、基于特征(Feature-based)的方法和基于模板(Template-based)的方法。对于彩色图像，由于其能够提供丰富的信息，因此可以采用有别于灰度图像的处理办法，利用彩色图像本身的特性进行人脸检测。一般都是用肤色检测加快人脸检测的速度。例如，Yang和Ahuja在1998年的工作中，利用人的皮肤颜色建立了一个人脸检测器：首先根据图像的颜色进行分割，将其划分为不同的区域，然后将
19、符合皮肤颜色的区域进行合并，知道形成椭圆区域(近似人脸轮廓)来判定人脸是否存在。2.2 基于肤色的检测方法肤色方法是最通常的的方法之一，也是最容易理解的。它的主要手段就是利用人脸肤色与周围环境颜色的差异，通过肤色将人脸与背景环境区分开来。根据计算机理论，对一种颜色而言，在计算机中有不同的表达方式，这样就形成了不同的色彩空间。每个色彩空间也都有其各自的产生背景、应用领域等。主要的色彩空间有以下几种。2.2.1 RGB模型由于彩色图像的多光谱图像的一种特殊情况，对应与人类视觉的三基色即红、绿、篮三个波段，是对人眼的光谱量化性质的近似。因此利用R、Q、B三基色这三个分量来表征颜色是很自然的一种格式。
20、而且多数的图像设备都是一电荷藕合器件(CCD)技术为核心，直接感知色彩的R、G、B三个分量，这也使得三基色模型成为图像成像、显示、打印等设备的基础，具有十分重要的作用。2.2.2 YCbCr(YUV)格式这种色彩空间是以演播室质量标准为目标的CCIR601编码方案中采用的彩色模型，被广泛的应用在电视的色彩显示等领域中。它同样具有HIS格式中将亮度分优点，但由于它可以从RGB格式线性变化得到，YCrCb与RGB的转换公式为： （2.1）YCbCr格式直接应用于物体色彩聚类分析的情况不多，相比之下，在其基础上的变换模型的应用更为普遍。肤色模型是人脸非常重要的一个特性。研究表明：尽管不同种族、不同年
21、龄、不同性别的人的肤色看上去不同，但这种不同主要集中在亮度上。在去除亮度的色度空间里，不同肤色的分布具有据聚类性。在YCbCr色彩空间里，肤色聚类只在一个很小的范围内且具有二维高斯模型分布G=(m,C)，其中m=E(x)为均值，x=(Cb,Cr)T，C为协方差矩阵，C=E(x-m)(x-m)T。通过这个肤色模型分布可以得到待检测彩色图像中任意各一个像素点属于皮肤的概率，对于某像素点s，从RGB空间转换到YCbCr色彩空间得到色度值(Cb,Cr)，则该像素的肤色概率密度可由下式计算得到：（2.2）式中，。2.2.3 HSV（色调/饱和度/强度）模型它采用色调和饱和度来描述颜色，这种格式反映了人类
22、观察色彩的方式，同时也有利于图像处理。其中V表示颜色的亮度，H表示色调，而S则表示颜色的饱和度。这种格式的优点在于它将亮度(V)与反映色彩本质特性的两个参数即色度(H)与饱和度(S)分开。在对色彩信息的利用中，我们提取一类物体(目标人脸)的色彩方面的特性时，经常需要了解其在某一色彩空间的聚类特性，而这一聚类特性往往体现在色彩的本质特性上，而又经常受到光照明暗等条件的干扰影响。若能将光度分量从色彩中提取出去，而只用反映色彩本质特性的色度、饱和度来进行聚类分析，会获得比较好的效果。彩色空间(RGB)转换到HSV空间的转换公式参见下式： （2.3） （2.4） （2.5）其中，。肤色模型建立的步骤：
23、对于一幅被检测的彩色图像，首先将它由RGB空间装换到YCbCR色彩空间，然后根据(Cb,Cr)值，通过式(2.2)计算该值所对应的肤色似然度，并且得到整幅图像的最大肤色似然度。再根据选定的阈值得到其二值化图像。如图2.2所示： 原始图像 肤色似然图像二值化图像图2.2 肤色分割图像肤色分割后，得到一系列的肤色连通区域，本文采用椭圆准则来检测每个肤色区域是否为人脸区域。首先计算每一块肤色区域中肤色像素的坐标均值和协方差：（2.6）（2.7）N是区域的肤色像素点总数，Xi为各像素点坐标向量。根据椭圆面积准侧(为椭圆轴长)，若检测区域的面积Se的值超过阈值，则该区域包含人脸。2.3 基于启发式模型的
24、方法该方法首先抽取几何形状、灰度、纹理等特征，然后检验他们是否符合人脸的先验知识，利用较少的特征实现较高的检测速度，实现实时检测与跟踪。但是想进一步提高知识模型的适应能力，需要综合更多的特征，实际上涉及到了图像理解这一困难的问题，这是此类方法进一步发展遇到的主要障碍。基于启发式模型的人脸检测方法进一步又可以分为基于知识和基于局部特征的检测策略。2.3.1 基于知识的方法该方法是首先定位候选人脸区域，然后再通过人脸的先验知识来检验人脸是否存在。人脸器官的关系可以总结为一些规律。例如，人眼对称出现在人脸上，鼻子和嘴巴中心的连线垂直于人眼的连线，等等。于是，可以利用一组描述人脸的局部特征分布的规则来
25、进行人脸检测(人脸局部特征之间的相对距离和位置关系)，如果图像满足这些规律，则存在人脸区域。Yang等提出了基于镶嵌图(马赛克图)的人脸检测方法，将人脸的五官区域分别划分为不同解析度的马赛克块，使用一组规则进行检验，并利用边缘特征进一步验证。他们利用分层的策略来检测人脸，系统共分三层，首先最高一层的规则描述的是人脸整体应该满足的条件，而下层规则侧重与人脸的细节应满足的条件。基于知识的方法所存在的主要问题是：(1)识别率不高，如果图像背景存在类人脸区域，则必然导致误检；(2)该方法没有给出如何确定最恰当的人脸位置的方法；(3)对于不同角度的人脸，由于某些特征不可见，所以不能用这种方法检测；(4)
26、用与描述人脸特征之间的关系规则不易设计，规则制定过高或者过低会造成识别失败。2.3.2 基于局部特征的方法人脸存在一些固有的特征，使得人们能够在不同的环境、姿态下也能发现人脸。这个方法就是先要找到固定的人脸特征，然后搜索到人脸。但是该方法面临的主要问题是由于图像噪声、光照、阴影等原因破坏，弱化的局部特征，导致该算法失效。Chin-Chuan Han等则研究了利用形态学预处理方式实现人脸快速检测的算法。这个检测系统分成三个主要步骤：(1)在原始图像中采用诸如闭运算、或或运算等形态学操作定位眼睛近似物像素的位置，然后用标记过程产生眼睛近似物分段。(2)利用眼睛近似物分段来指导搜索潜在的人脸区域。(
27、3)人脸区域验证。将所有候选人脸区域正规化，输入到一个训练过的BP网络用于鉴别人脸。2.3.3 基于模板的方法首先建立一个标准人脸模板，由包含局部人脸特征的子模板构成，然后对输入图像进行全局搜索，通过预先设置的阈值来判断该图像窗口中是否包含人脸。固定模板的方法简单，容易实现，但是也存在缺点：(1)图像噪声对检测结果影响很大，需要对输入图像作适当预处理。(2)模板大小人为设定，不能动态地检测眼睛的位置。2.3.4 基于统计模型方法由于精确描述人脸特征具有一定困难，因此另一类方法基于统计模型的方法越来越受到重视。此类方法将人脸区域看作一类模型，即模板特征，使用大量的人脸与非人脸样本训练并构造分类器
28、，通过判别图像中所有可能区域属于哪类模板的方法实现人脸检测。在这个方法里，人脸检测问题实际上转化为统计模式识别的二分类问题。它不依赖与人脸的先验知识和参数模型，避免不精确或者不完整的知识造成的误判，并且采用了实例学习的方法获取模型参数，统计意义上更为可靠，同时它可以通过增加学习的实例扩充检测模型范围，提高检测的鲁棒性，因此，基于统计模型的方法目前比较流行。这类方法基本分为：(1)基于特征空间的方法：将人脸区域图像变换到某一特征空间，根据其在特征空间中的分布规律划分人脸和非人脸两类模式。(2)基于人工神经网络的方法：这是一种重要的机器学习方法，将人脸这类复杂的、难以描述的模式的统计特性隐含在人工
29、神经网络(ANN)的结构和参数之中。(3)基于概率模型的方法：一种基于贝叶斯判别准则的方法，它的思路是计算输入图像区域属于人脸模式的后验概率，据此对所有可能的图像窗口进行判别。(4)基于支持向量机的方法：支持向量机(SVM，Support Vector Machines)是Vapnik等提出的基于结构风险最小化原理的统计学习原理，用于分类与回归问题。Osuna等将SVM方法用于人脸检测，取得了较好的实验结果，该方法的基本思路是对每一个像素的检测窗口使用SVM进行分类，以区别“人脸”和“非人脸”窗口。2.4 人脸跟踪的方法人脸跟踪进行动态人脸信息处理的第一个环节，在视频会议、可视电话、人工智能交
30、互等方面有着重要的应用价值。与人脸检测不同，人脸跟踪是指在视频或者图像序列中确定某个人脸的运动轨迹及大小变化的过程。它的挑战性来自于两个方面：一是鲁棒性。由于人脸运动的不规则性、场景的复杂性，使得人脸跟踪的难度加大；另一个就是实时性。人脸跟踪处理的较多的是视频序列，这就要求人脸跟踪算法需要具有较高的运算效率。在计算机视觉领域，人脸跟踪研究是运动目标跟踪研究的一个分支问题，然而二者在算法上又存在较多交叉之处。例如在视频图像运动目标的提取过程中运用的光流法、背景减除法、时域差分等方法均可应用到人脸跟踪上。根据跟踪的方法，人脸的跟踪算法可以分为三类：一、基于特征检测方法的人脸跟踪；二、基于模型的人脸
31、跟踪；三、基于贝叶斯滤波方法的跟踪。2.4.1 基于特征检测方法的人脸跟踪基于人脸局部特征的跟踪方法主要思想是根据不同的人脸器官特征信息进行器官跟踪，这类方法经常利用眼睛、嘴和鼻子等器官特征信息进行跟踪定位。传统的人脸特征点跟踪方法通常是在人的脸部画上标识点进行跟踪。但是特征点会由于遮挡、光照或者阴影不可见，而导致跟踪失败，这是特征点跟踪方法的缺点。1)人脸特征点的跟踪Kouadio等提出了一种通过加标识点来跟踪视频中人脸特征点的方法，这些特征点跟踪方法的局限是要在被拍摄者脸部添加标识点，而不能直接获取面部某些特征点的位移。Jebara和Pentlan使用自动定位来跟踪人脸，用运动技术对特征点
32、的三维位置进行估计，并用本征脸的约束方法匹配人脸的几何特征，来对于面部特征点位置估计。文献提出一种基于Gabor小波系数的人脸特征点的跟踪方法，将基于Gabor小波用于跟踪视频中的人脸特征点，在输入视频序列的起始帧开中，手动标定需要跟踪的人脸特征点，提取这些点的小波系数。接着以前一帧特征点的坐标作为这一帧参考点，提取参考点的小波系数，对比新旧小波系数来估计特征点的新坐标，从而得到特征点在新帧中的位置，实现跟踪目的。2）基于KLT算法的人脸特征点跟踪KLT(Kanade_Lucas_Tomasi)算法是一种以待跟踪窗口在视频图像帧间的误差二次方和作为度量的跟踪算法。参考文献给出了一种在首帧中确定
33、搜索特征点，采用改进的KLT算法对未加标识点的人脸正面视频图像进行特征点的跟踪，进而求得人脸特征点运动参数的方法。与传统的在人脸部画上标识点的特征点跟踪方法不同，KLT算法可以从未加标识点的正面人像视频序列中通过纹理信息直接获取脸部某些特征点的位移，该文献还在KLT算法中加入了基于人脸统计信息的经验约束，使KLT算法更加合理有效。3）基于器官跟踪的人脸跟踪这种方法利用形态学运算对嘴进行跟踪，并在很好的局部旋转运算处理后，简单地分析人脸的对称性，从而高速准确地跟踪人脸。这种方法不熟背景复杂程度、人脸运动强度和背景颜色等因素的影响，而只利用图像的灰度信息，进行形态运算，运算效率较高，具有较强的鲁棒
34、性。2.4.2 基于模型的人脸跟踪基于模型的人脸跟踪方法就是获取目标的先验知识，建立低价参数模型，对输入的每一帧图像通过滑动窗口进行模板匹配，实现人脸的识别与跟踪。常见的跟踪模型、双眼模板匹配模型和可变形模型等。1）基于肤色模型的人脸跟踪肤色是人脸最重要而且最明显的特征，人脸面部肤色特征可以用几个简单的参数来表征，而且在一定光照条件下基本保持不变。基于肤色模型的跟踪方法就是利用合适的表色模型，把肤色作为实现人脸跟踪的关键信息。由于肤色信息对放大、缩小以及微小变形不敏感，这种方法比较容易在前一帧图像分析结果的基础上跟踪到下一帧图像的人脸区域，具有速度快，姿势不变性等特点。目前的人脸跟踪技术大都采
35、用基于肤色模型的方法。2) 基于椭圆模型的人脸跟踪由于绝大部分人脸轮廓都近似为椭圆形状，椭圆模型正是利用这一特征建立模型来实现人脸识别与跟踪。该算法的思想是用一个椭圆模板在人脸的候选区域内进行搜索，使环内尽量包含最多的人脸边缘点，对人脸的跟踪就是确定这个椭圆模板。该算法能够在自然光照条件下去的较为满意的结果，同时对人脸在旋转、缩放、遮挡等条件下，多人脸背景下的跟踪有较强的鲁棒性。3) 基于双眼模板匹配模型的人脸跟踪该算法在对前一帧图像进行人脸区域监测的基础上，预测当前帧中人脸区域可能的尺度与位置范围，在预测范围内，利用人的脸部双眼外形的独特性，采用双眼模板匹配与人工神经网络分类的方法跟踪人脸。
36、在搜索预测区域时，对每一个候选窗口使用双眼模板匹配进行粗筛选，跟踪时使用前一帧结果，进一步求解新的监视区域。该方法在复杂、动态变化背景的图像序列中比较有效。4) 基于可变形模型的人脸跟踪Goldenstein和Vogler等人利用可变形模型和预测滤波器实现在劣质图像序列中跟踪三维人脸。他们用这种方法对脸部表情演变的参数值和形变进行恢复，在每个时刻测量高维可变模型的参数观测值的正确分布。该方法将二维图像偏移的置信区域限制在放射体内，并将他们传播到参数空间，在劣质图像序列中提取信息有很好的鲁棒性。2.4.3 基于贝叶斯滤波的人脸跟踪贝叶斯滤波方法是对目标状态进行估计，得到的一组观测量来构建后验概率
37、密度函数。这个后验概率密度函数包含了所有当前的统计信息。这里所谓的滤波，就是利用过去和当前的观测结果来估计目标当前状态的过程。基于贝叶斯滤波的方法实际上是一种自顶向下的模型驱动的跟踪方法。此方法将目标跟踪问题巧妙的转变为在贝叶斯滤波理论框架下的序贯滤波过程。通常在贝叶斯滤波理论框架下采用状态空间法(State Space Approach)实现视觉跟踪。此方法主要包含以下几种跟踪算法：卡尔曼滤波及其改进方法，格子基搜索算法（格子滤波），粒子滤波方法。卡尔曼滤波：卡尔曼滤波方法是美国著名学者Kalman和Bucy在1960年提出的一种递推最优线性均方误差估计方法。卡尔曼滤波利用目标的动态信息，试
38、图去掉噪声的影响，从而得到一个关于目标位置的好的估计。卡尔曼滤波方法采用线性递归滤波的方法，可以用任意一点作为初始化开始递归，实时计算，预测具无偏、稳定和最优。使用该方法的前提是系统为线性而且噪声为高斯分布，此时它是最优的，为了克服传统卡尔曼滤波在非线性非高斯条件下的缺陷，有人提出了改进的卡尔曼滤波方法，主要有扩展卡尔曼滤波（EKF），无迹卡尔曼滤波（UKF）等。格子基搜索：这种方法首先将数据空间划分成为有限个单元的网格结构，计算都是以单个的单元为对象，处理速度只与把数据空间分为多少个单元有关。在有限的状态空间和离散的状态空间的条件下，它可以给出最优的序贯滤波概率密度。其代表算法有：STING
39、算法、CLIQUE算法、WAVE-CLUSTER算法。粒子滤波方法：粒子滤波本质上是一种基于蒙特卡罗模拟实现贝叶斯递推的技术，其核心思想是使用一组带有相关权值的粒子(随机样本)来对后验概率密度函数似然描述，然后基于这些粒子来对状态进行估计。但在实际应用中，粒子数目不可能是无穷大的，所以它是一种次优估计。粒子滤波在使用中会出现粒子“退化”的现象，即经过几次迭代滤波，很少有粒子可以到达高似然概率区域。有人提出可以采用选取最优重要性密度函数或通过重采样的方法来解决此问题。重采样的方法虽然可以有效缓解“退化”的问题，但它又带来了“粒子耗尽”的问题。2.5 本章小结随着人机交互技术日益成为当前研究的一个
40、中心，人脸检测与跟踪问题越来越受到重视，成为模式识别与计算机视觉领域的一个热点。本章节就人脸检测与跟踪领域的主要方法进行概要性的分类和简要介绍。人脸检测问题的内涵十分广泛，由于人脸检测与跟踪问题的复杂特点，实现通用的人脸检测与跟踪方法还不现实。如何解决特定应用场合、特定约束条件下的人脸检测与跟踪问题，仍将是该领域研究的主要方向。另外复杂背景图像中的多姿态人脸的检测与跟踪也是研究的重点之一。人脸检测与跟踪的趋势是利用多特征(如轮廓、肤色、器官等)，综合多种分类方法(如概率模型、神经网络、SVM等)提高特定约束条件下的人脸检测的准确率、人脸跟踪的实时性，增强检测系统的准确性和鲁棒性。与此同时，如何
41、平衡系统的性能提升与算法复杂度，仍是研究者需要解决的一个重要课题。第3章基于肤色模型的单图片人脸检测3.1 基于肤色的人脸定位我们之所以能通过眼睛和大脑把单帧图像中的人脸从背景区域中区分出来，很重要的一点原因就是人脸和背景之间存在着可以区分的色彩差异，这种差异同样可以成为程序区分人脸和背景的依据，因此我们可以从脸部肤色入手，从背景中分离出人脸区域，并定位人脸，从而检测出人脸。设计流程如下：图3.1 人脸定位和检测流程图3.2 RGB到YCrCb色彩模型的转换我们从视频中获取的帧图像通常是RGB模型的图像，在RGB空间中颜色是有红、绿、蓝三种颜色按照不同的比例混合而成，这样的表达方式不不能准确的
42、反映出颜色本身的特征。因为，人眼看到的任何一种色彩光都是彩色三要素：亮度、色调、饱和度综合而成的效果。其中，亮度是光作用于人眼时所引起的明亮程度的感觉，它与观察事物的光强度有关；色度反映颜色的种类，是当人眼看到一种或多种波长的光时所产生的色彩感觉，它与光的波长有关，是决定颜色的基本特征；饱和度是指颜色的深浅程度，即各种颜色混入白光的程度。由此可知，这三个要素是对颜色本身最本质的诠释。此外，统计表明，不同的人种，不同环境下的肤色区别主要受亮度影响，受色度影响较小。可见，RGB彩色空间并不适合人类的视觉特征。一次，我们选择更能突出颜色特征的色彩空间的YCrCb彩色空间来分析人脸肤色和背景色，并为人
43、脸建模。YCrCb彩色空间（也称为YUV彩色空间）的Y分量是表示像素的亮度， Cr和Cb称为色度，其中Cr(U)分量表示红色色差分量，Cb(V)表示蓝色色差分量，这两个色差信号分别传送红基色分量R和蓝基色分量B与亮度分量Y的差值信号。即和，其中、为加权系数。对于黑白图像有：R=G=B，则Cb=0，Cr=0。而对于彩色图像，决定了图像的色调， 代表图像的饱和度。在多媒体计算机中采用的YCrCb彩色空间，数字化后Y:Cb:Cr为8:4:4或8:2:2。具体的实现方法是处理亮度分量时，每个像素数字化为8bit（256级亮度），而Cb、Cr色差分量则是每四个像素用一个8bit数据表示，这样以来，将一个
44、像素用24bit表示压缩为用12bit表示，对这种变化人眼是感觉不到的。为了简化起见，本文从RGB彩色空间转换到YCrCb彩色空间的每个像素存放位数未做压缩，变换公式如下： (3.1)转换后的单帧图像，仍以24bit表示一个像素值，其中第1个字节（前8位）表示Y分量，第2个字节（中间8位）表示Cr分量，第3个字节（后8位）表示Cb分量。3.3 人脸肤色模型和二值化将单帧图像转换到YCrCb空间后，要检测该单帧图像中某一像素是否属于人脸像素，可以通过“阈值处理”的方法对该像素的灰度值进行判断，然后把符合“阈值处理”公式的像素标识出来，从而实现图像的二值化。其中，阈值处理就是指，对于输入图像的各像
45、素灰度值属于某阈值范围内时，赋予对应输出图像的像素为白色或黑色。要通过“阈值处理”的方法实现对单帧人脸图像的二值化，必须先解决的问题是确定适合的人脸肤色模型。虽然人脸的肤色看起来是变化的，但是人脸肤色的变化多数情况是因为肤色亮度值的差异造成的。因此，在确定人脸肤色模型时，我们可以把这种由肤色亮度值造成的差异忽略掉，即只采用肤色的色度值来确定人脸的肤色模型。忽略肤色亮度值将不会影响对人脸肤色的成功检测，反而可以减少对大容量的三维YCrCb彩色空间的处理，转而对易处理的二维CrCb图进行研究，同时还有助于减少对单帧图像的计算量。为了寻找适合的人脸肤色模型，我们首先依照所介绍的人脸肤色模型进行实验。
46、人脸肤色模型忽略了人脸肤色的亮度值，因此我们所进行的试验都是在二维的UV（CrCb）图中展开的。为了确定在UV（CrCb）图中的脸部肤色精确度，使用重复实验法来找出压缩方法，用于在不同的肤色变换情况下，确定所有实验人脸都共有的色度性质。这些实验的结果把最佳匹配（best-fit）区域分为3个单独的脸部肤色类，分别是浅肤色、中等肤色和深肤色，每一个类表示一种特殊的人种群。用浅肤色类来判断白种人，用中等肤色类来判断黄种人，用深肤色类来判断印第安人。 图3.2 浅肤色 图3.3 中等肤色 图3.4 深肤色以上三幅CrCb图所呈现的区域就是针对三种肤色类得到的最佳匹配（best-fit）区域，由此可以
47、观察到，这三类肤色在CrCb图中共享一个公共的连续区域，人脸肤色具有很好的聚类性，该区域形成的最后二维脸部肤色模型见图（3.4）所示。 图 3.5该图中所描绘的区域可以用下列不等式组表达：不等式组一：0.2611tan-10.3111 且 4378（3.2）不等式组二：0.25tan-10.3611 且070 （3.3）但是在程序中我们并没有这么来进行阈值化，而是通过Cr和Cb两个分量来实现阈值化分割人脸区域的，经过多次试验，我们发现Cr和Cb满足下面的式子就可以很好的分割出人来区域了，式子如下：Cr173且Cb144(3.4)即：Cr在150附近取值，Cb在120附近取值，在实现中，我们可以尝试最佳分割阈值，为式子(6)。结果表明式子(6)能够很好的实现人脸区域分割，效果如下： 图3.6 原始图像 图3.7 阈值化图像 图3.8 定位检测的人脸图像3.4 后处理通过二值化操作得到的单帧