附录B人脸和表情识别.ppt

《附录B人脸和表情识别.ppt》由会员分享，可在线阅读，更多相关《附录B人脸和表情识别.ppt（42页珍藏版）》请在三一文库上搜索。

1、章毓晋 (TH-EE-IE),附录B 人脸和表情识别,B.1 生物特征识别 B.2 人脸检测定位 B.3 脸部器官提取和跟踪 B.4 表情识别 B.5 人脸识别,章毓晋 (TH-EE-IE),B.1 生物特征识别,1、 生物特征 人脸、指纹、掌纹、手形、虹膜、视网膜、步态、足迹、笔迹和签名等（还有一些借助其他技术的，如语音，染色体DNA等） 普遍性（人人拥有）、惟一性（人与人不 同）、稳定性（不因时间、年龄、环境的变化而变化）和采集方便性（应采集容易，设备简单，对人影响程度小）,章毓晋 (TH-EE-IE),B.1 生物特征识别,2、 生物特征性能比较,章毓晋 (TH-EE-IE),B.2 人

2、脸检测定位,人脸检测定位是人脸分析中的第一步 要在输入图象中搜索人脸，并确定人 脸的位置、尺寸等信息 B.2.1 人脸检测定位的基本方法 B.2.2 基于Hausdorff距离的人脸 检测定位,章毓晋 (TH-EE-IE),B.2.1 人脸检测定位的基本方法,利用静止图象 (1) 基于特征的方法： 在图象中搜索特定的角点，边缘，肤色和纹理区域 来定位人脸 (2) 基于人脸知识的方法： 根据对人脸知识的了解，建立人脸特征间联系的规 则，再根据这些规则来判断检测和定位的结果 (3) 基于模板匹配的方法： 先对人脸建模，构建相应的模板，通过匹配来检测 和定位人脸,章毓晋 (TH-EE-IE),B.2

3、.1 人脸检测定位的基本方法,利用静止图象 (4) 基于外观的方法： 基于外观的方法也使用模板匹配的方法来检测和定 位人脸，只是这里的模板（或模型）是通过训练学 习而得到的 利用视频图象 (1) 基于图象差的方法： 与检测运动目标的方法类似 (2) 基于光流场的方法： 也与检测运动目标的方法类似,章毓晋 (TH-EE-IE),Hausdorff距离： 目标的匹配在一定意义上是点集的匹配 Hausdorff距离的几何意义 如果点集A和B之间的Hausdorff距离为d，那么一个点集中的所有点将都落在另外一个点集中以任意一点为中心，以d为半径的圆中,B.2.2 基于Hausdorff距离 的人脸检

4、测方法,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距离 的人脸检测方法,Hausdorff距离： 如上定义的Hausdorff距离对噪声点或点集的 外野点（outline）很敏感 改进的Hausdorff距离 用平均值代替最大值,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距离 的人脸检测方法,1. 方差加权的Hausdorff距离 MHD对点在点集中的分布不敏感 图(a)和图(b)的MHD均为d，但图(a)中点的分布应比图(b)中点的分布给出更小的Hausdorff距离才符合一般情况,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距

5、离 的人脸检测方法,1. 标准方差改进的Hausdorff距离 借助点集间距离的标准方差 S(A, B)表示点集A中一点到点集B中最远点距离的标准差,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距离 的人脸检测方法,1. 标准方差改进的Hausdorff距离 S(B, A)表示点集B中一点到点集A中最远点距 离的标准差 对图(a)有S(A, B) = S(B, A) = 0，而对图(b)有 S(A, B) = S(B, A) = 31/2 标准差加权的Hausdorff距离（SDWHD）,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距离 的人脸检测方法,

6、1. 标准方差改进的Hausdorff距离 上述改进距离不仅考虑了两个点集间的平均距离，而且通过引入点集间距离的标准差加入了点集间点的分布信息（点分布的一致性），所以对点集的刻画更为细致 参数k：调节分布信息在距离计算中所占的比重,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距离 的人脸检测方法,2 边缘加权的Hausdorff距离 人脸区域中不同位置的贡献不同 对Hausdorff距离中的各项分别进行加权 权值函数可以根据图象灰度值来确定 将灰度值（利用取阈值法）转化为二值时常丢失一些信息，不能完全忠实地反映图象上各点对人脸匹配的重要性 权值函数可以根据图象边缘信息来确定

7、 能够更直接有效地反映人脸的结构信息,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距离 的人脸检测方法,2 边缘加权的Hausdorff距离 人脸图象，边缘图象 ，二值图象 权值函数正比于训练集中各图象在对应位置处边缘点出现的频率,章毓晋 (TH-EE-IE),B.2.2 基于Hausdorff距离 的人脸检测方法,2 边缘加权的Hausdorff距离 人脸检测定位方法的比较实验 相对误差指标：d = max(dl, dr)/|Clt Crt| 其中Clt和Crt分别为左右两个眼睛中心的真实值，而dl和dr分别为左右两个眼睛中心的真实值与检测值的差,章毓晋 (TH-EE-I

8、E),B.3 脸部器官提取和跟踪,脸上器官对人脸识别和表情分类都很重要 B.3.1 眼睛几何模型及确定 B.3.2 眨眼过程中的眼睛 轮廓跟踪,章毓晋 (TH-EE-IE),B.3.1 眼睛几何模型及确定,典型的眼睛几何模型 可变形模型或模板 一个圆表示虹膜的轮廓 两条抛物线表示上下眼 帘的轮廓 利用P1和P2的信息可以帮助调整眼睛的宽度 利用P3到P6的信息可以帮助确定眼帘的高度以及帮助精确和鲁棒地计算眼睛参数,章毓晋 (TH-EE-IE),B.3.1 眼睛几何模型及确定,借助SUSAN算子检测角点 G为一个固定的几何阈值，可取为3Smax/4， Smax是S所能取得的最大值（等于检测模板的

9、象素数减1）,章毓晋 (TH-EE-IE),B.3.1 眼睛几何模型及确定,采用主动轮廓模型确定眼睛几何模型 能量项 N为所检测出的角点个数 R(xi, yi)为在第i个角点处的检测响应值,谷点域 峰点域 边缘点域 角点域,章毓晋 (TH-EE-IE),B.3.1 眼睛几何模型及确定,眼睛（虹膜和眼帘）检测示例 三步法 原始图象 初始轮廓 第1步后 第2步后 第3步后,章毓晋 (TH-EE-IE),B.3.2 眨眼过程中的眼睛轮廓跟踪,1. 虹膜跟踪 对虹膜的检测可帮助判定眼睛的闭合状态 对虹膜的具体检测中仅考虑其下半圆 双状态眼睛模型 如果虹膜被检测到，则 认为眼睛的状态为睁开，并利 用眼帘

10、中点来跟踪眼帘的位置 反之，则认为眼睛的状 态为闭合，采用一条直线来描 述眼睛,章毓晋 (TH-EE-IE),B.3.2 眨眼过程中的眼睛轮廓跟踪,1. 虹膜跟踪 (1) 计算第一帧图象中虹膜下半圆的平均灰度I0 (2) 提取其后各帧中眼睛区域的轮廓，并计算虹 膜检测区域内的边缘点数目N0 (3) 在内眼角点和外眼角点之间的眼睛区域内 以虹膜下半圆为模板搜索最大边缘点数目 N(x, y)，要求N(x, y)/N0 TN (4) 计算(x, y)处虹膜下半圆的平均灰度I(x, y)， 如果有|I(x, y) I0| TI，则认为虹膜被检测 到，其中心位置为(x, y),章毓晋 (TH-EE-IE

11、),B.3.2 眨眼过程中的眼睛轮廓跟踪,1. 虹膜跟踪 同时利用虹膜区域的灰度和边缘信息,章毓晋 (TH-EE-IE),B.3.2 眨眼过程中的眼睛轮廓跟踪,2. 眼帘跟踪 通过对眼角点位置的检测来确定抛物线参数 当眼睛在眨眼过程中闭合时，抛物线会变成直线，上下眼帘重合。接下来眼睛重新睁开，由于上下眼帘的运动方向不同，常会导致眼帘的跟踪出现问题，并会将误差传播到后续帧中 预测模式 用眼睛闭合前眼帘的状态模式来预测眼睛重新睁开后眼帘的状态模式,章毓晋 (TH-EE-IE),B.4 表情识别,B.4.1 表情识别和步骤 B.4.2 表情特征提取 B.4.3 基于Gabor变换的表情 特征提取 B

12、.4.4 表情分类 B.4.5 基于高阶奇异值分解的 表情分类,章毓晋 (TH-EE-IE),人脸表情分析 人类情感交流中的地位 Mehrabian 1968 语言内容：7 语音语调：38 脸部表情：55 表情反映内心 测谎（ 95%）,B.4.1 表情识别和步骤,章毓晋 (TH-EE-IE),现代研究开始于上个世纪70年代 主要集中在心理学和生物学方面的分析 不同性别，不同种族的人群中有一致性 面部表情编码系统（FACS） 用44个运动单元（AU）的变化来描述人 脸表情的变化 六种基本表情/情感类别 高兴、悲伤、惊奇、愤怒、厌恶、恐惧,B.4.1 表情识别和步骤,章毓晋 (TH-EE-IE)

13、,表情识别步骤 (1) 人脸检测与定位 (2) 表情特征提取 (3) 人脸表情分类,B.4.1 表情识别和步骤,章毓晋 (TH-EE-IE),好的表情特征提取结果： （1）完整的表示出人脸表情的本质特征 （2）去除了噪声、光照变化及其他与表情无关的 干扰信息 （3）数据表示形式紧凑，避免过高的维数 （4）不同类别表情的特征之间有较好的区分性 三个步骤： 1）原始特征获取 2）特征降维和提取 3）特征分解,B.4.2 表情特征提取,章毓晋 (TH-EE-IE),表情特征提取的三个步骤及方法,B.4.2 表情特征提取,章毓晋 (TH-EE-IE),特征降维和提取的方法 主元分析（PCA）法 提取了

14、最有代表性的特征 可以有效地消除冗余，降低维数 但没有考虑不同类别数据之间的区分性 线性判别分析（LDA）法 通过最大化数据的类间离散度和最小化类内 离散度来选择合适的投影方向 侧重于寻找具有最大分辨力的方向,B.4.2 表情特征提取,章毓晋 (TH-EE-IE),特征分解的方法 人脸图象包含了丰富的信息 不同的识别任务所利用的信息各不相同 人脸检测寻找的是人脸图象共有的一致性 人脸识别需要利用表示人脸个体差异的信息 表情识别需要表示各种表情之间差异的信息 把人脸表情识别中不同的因素， 如表情因素和个体因素分离开来,B.4.2 表情特征提取,章毓晋 (TH-EE-IE),1、 Gabor变换

15、核函数 取n = 0, 1, 2，q=0, /6, 2/6, 3/6, 4/6, 5/6，则可得到由3 6个Gabor变换滤波器组用于提取表情特征 与表情图象进行卷积,B.4.3 基于Gabor变换的表情特征提取,章毓晋 (TH-EE-IE),2、 Gabor变换系数和分级直方图相结合 Gabor滤波器在分析局部纹理变化方面的能 力非常强 直方图是一种常用的表示图象全局特性的特 征 对图象进行逐级分块，并在分块后对每一个 块区域内的Gabor系数计算其直方图分布， 从而将Gabor系数和直方图统计的方法在每 个块区域结合起来,B.4.3 基于Gabor变换的表情特征提取,章毓晋 (TH-EE-

16、IE),1、 表情分类方法 表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别 是否利用时间信息 (1) 空间分析方法 (2) 空时分析方法,B.4.4 表情分类,章毓晋 (TH-EE-IE),2、 表情分类系统比较 对每一种系统列出了其采用的特征提取方法、分类方法和识别目标（AU或基本表情），还列出了所用数据类型（静态、序列或序列中抽取若干帧）、数据量、以及训练/测试比等实验的客观条件。测试结果列出识别率 表情分类（FER）系统在Cohn-Kanade库和JAFFE库上得到的一些结果,B.4.4 表情分类,章毓晋 (TH-EE-IE),3、 讨论 性能主要受到以下几个方

17、面的限制： (1) 特征提取方法仍有不足 (2) 某些表情相对易于识别 (3) 大多数都针对特定条件下采集的图像或者图像序列 几个热点： (1) 将多种特征结合 (2) 特征降维、提取和选择 (3) 将心理学和生物学知识与机器学习的方法相结合 (4) 对混和表情、表情强度的研究,B.4.4 表情分类,章毓晋 (TH-EE-IE),B.5 人脸识别,人脸表情识别和人脸识别有着非常密切的关系 B.5.1 边缘本征矢量加权的 Hausdorff距离 B.5.2 非特定表情人脸识别,章毓晋 (TH-EE-IE),B.5.1 边缘本征矢量 加权的Hausdorff距离,人脸的不同区域在人脸识别中具有不同

18、的重要性，因此需要对不同的人脸区域给以加权 权值函数可以建立在灰度域的基础上，也可以建立在梯度域的基础上 用边缘本征矢量加权的Hausdorff距离（edge eigen-vector weighted Haussdorf distance）,章毓晋 (TH-EE-IE),B.5.2 非特定表情人脸识别,利用高阶奇异值分解的框架来减小人脸表情变化对识别的影响 先将对影响人脸外观的多个因素进行分解，然后利用分解所得到的张量脸（tensor face）来对人脸进行识别 相似的人具有相似的表情：测试人的表情与训练集中的某个表情越相似，那么可以用与这个表情相关的人脸特征来表示测试人的含有表情因素的人脸特征的概率就越大,章毓晋 (TH-EE-IE),通信地址：北京清华大学电子工程系 邮政编码：100084 办公地址：清华大学东主楼，9区307室 办公电话：(010)62781430 传真号码：(010)62770317 电子邮件： 个人主页： 实验室网：,联 系 信 息,