《基于非刚性 ICP 算法的三维人脸配准.doc》由会员分享，可在线阅读，更多相关《基于非刚性 ICP 算法的三维人脸配准.doc（7页珍藏版）》请在三一文库上搜索。
1、精品论文基于非刚性 ICP 算法的三维人脸配准林源，梁舒，王生进（清华大学电子工程系，北京 100084）5摘要：本文提出一种基于非刚性迭代最近点算法(nonrigid ICP)的三维人脸配准方法。这种 方法可以对三维扫描仪获取的三维人脸数据进行参数化，进而可以用于构建具有密集的点点对应的三维数据库。该算法首先利用基于三维特征点的刚性迭代最近点算法(ICP)进行两个 头的粗配准，而后利用非刚性 ICP 做最终的三维人脸配准。配准的精度利用刚性 ICP 进行点10点的相对误差评价。本文提出的配准算法精度很高，在北京工业大学三维人脸数据库的前100 个三维人脸上所得到的相对误差均值为 0.62%，
2、相对误差标准差为 0.09%。关键词：图像处理；三维人脸匹配；非刚性 ICP；刚性 ICP中图分类号：TP399153D face registration via nonrigid ICP methodLIN Yuan, LIANG Shu, WANG Shengjin(Electronic Engineering Department, Tsinghua University, Beijing 100084)Abstract: In this paper, we proposed a method to registrate 3D human head data via nonrigid
3、ICP. This method can create dense correspondences between head meshes so that we can parameterize20the 3D-scanned head data. The method first uses feature landmarks to get an approximatecorrespondence between two meshes with rigid ICP, and then optimize the registration using nonrigid ICP. After the
4、 registration, the method is evaluated on the relative errors between the corresponding points generated by rigid ICP. We demonstrate the accuracy of our method on 1003D head meshes from BJUT-3D dataset with a mean relative error of 0.62% and an average25relative standard error of 0.09%.Key words: i
5、mage processing; 3D face registration; nonrigid ICP; rigid ICP0引言随着三维扫描技术的发展，研究三维人脸正成为计算机视觉领域的一大热点。不同的人的人30脸形状千差万别，如何能够对采集到的三维人脸数据进行配准和应用也涵盖了非常广泛的课 题，例如医学上的人脸特征测量、病症诊断；计算机图形学中的三维建模、动画；人工智能 中的人脸识别1等等。三维人脸配准正是这多项研究的基础。 三维人脸配准是指为模板三维头上的每一个顶点在数据三维头上找到一个对应点。这些对应 点应该具有相同的物理位置，即眼角点对应眼角点、鼻尖点对应鼻尖点。由于三维扫描所得35
6、的人脸数据中的点过于密集、不同人脸差异较大，如何较为快速而准确地建立不同人头间的 对应关系一直是一个难题。传统的方法有基于三维的重采样技术、光流法等等，但它们大多 都没有能很好地利用三维人脸的特征，从而导致精度不高、匹配不准确等问题。 本文所采用的非线性 ICP 算法相较于以上的方法而言在精度和准确度上都有着明显的优势。 其三维配准结果也可以应用到后续的三维人脸重建分析2等工作之中。基金项目：国家自然科学基金（项目编号 61071135）；教育部博士点基金项目（项目编号 20090002110077） 作者简介：林源（1985-），女，博士研究生，主要研究方向包括计算机视觉和计算机图形学 通信
7、联系人：王生进，男，教授，主要研究方向包括计算机视觉、视频监控及虚拟现实. E-mail:- 7 -401三维人脸配准框架本文将刚性迭代最近点算法和非刚性迭代最近点算法相结合进行三维人脸扫描数据（数据三 维头）与标准三维人脸数据（模板三维头）的配准。首先进行两个三维人脸上的特征点提取， 之后按照特征点间的对应关系利用刚性迭代最近点(刚性 ICP)算法3获得两个三维头之间的 刚性变换参数，进而调整模板三维头至数据三维头坐标系，并进行相应的尺度变换，至此完45成两个三维头的粗配准。基于此采用非刚性迭代最近点（非刚性 ICP）算法4将模板头形变 至与数据头形状一致，而完成最终的配准。整个配准框架如图
8、 1 所示。图 1 三维头配准框架Fig.1 The framework of the 3D face registration process502刚性迭代最近点算法 本文利用刚性迭代最近点算法进行基于三维特征点的模板三维头和数据三维头之间的粗配 准，并且基于此算法评价本文提出的三维配准算法的精度。2.1基于对应点的刚性变换矩阵求解55当待配准的两个三维人脸具有相同尺度时，二者之间的刚性变换可以利用旋转和平移矩阵表r T 2 2 2 2示。采用单位向量 qR = q0 ,q1 ,q2 ,q3 来表示旋转矩阵，其中 q0 0, q0 +q1 +q2 +q3 =1 。它r T产生的旋转矩阵可以表
9、示为（1）式。利用 qT = q4 ,q5 ,q6 表示三维平移向量。因此这两个r r r T三维点集的刚性变换参数可以由向量 q =qR qT来表示。 q2 +q2 -q2 -q22 ( q q -q q )2 (q q +q q )0 1 2 3 1 2 0 3 1 3 0 2R= 2 ( q q +q q )q2 +q2 -q2 -q22 (q q -q q ) (1)1 2 0 3 0 2 1 3 2 3 0 1 2 ( q q -q q )2 ( q q +q q )q2 +q2 -q2 -q2 1 3 0 2 2 3 0 1 0 3 1 2 60当模板点集V =vi i=1,K ,
10、NV 和数据点集 P= pi i=1,K ,NP 之间具有一一对应关系，即r r r T相同标号点为对应点，且 N P =NV 时， q =qR qT可利用 SVD 分解最小化下式获得：qf ( r ) = 1NP2.2基于最近点的对应点提取rNPi =1p -R () -r r r 2i qR vi qTr r r(2)定义点集V 上点 v 到点集 P 的距离为该点到其最近点的距离：l (v ,P ) = mr inpP v -p。定义 D65为采用最近点算子 C 运算后所得的V 在 P 上的对应点点集：D=C (V ,P) 。即可利用上节算r r法求解变换参数： (q,l ) =Q(V ,
11、D) ，进而更新模板点集：V =q (V ) 。2.3刚性 ICP 算法流程r T1. 初始化模型参数。V0 =V ,q0 = 1,0,0,0,0,0,0最终的配准参数也是全局的配准参数。702. 求解最近点集： Dk =C (Vk ,P) 。r,k =0 。配准参数相对于V0 进行求解，这样3. 计算配准： (qk ,lk ) =Q (V0 ,Dk ) 。这里的 lk 是所有配准点的距离均值。r4. 更新模板集：Vk +1 =qk (Vk ) 。5. 计算 lk -lk +1，如果其小于门限值t ，则终值迭代。反之， k =k +1，跳转至步骤 2。3非刚性迭代最近点算法75非刚性迭代最近点
12、算法通过形变一个模板三维头，使之与三维目标数据头进行配准。通过对 每个三维顶点进行不同的三维仿射变换进行模板三维头的形变。整个配准过程中主要考查三 项指标：数据项误差、平滑项误差和特征点配准误差。数据项误差描述当前形变后的模板头 与目标三维头之间的相似程度。平滑项误差描述整个形变过程中相邻顶点对应的仿射变换参 数矩阵的一致性。特征点配准误差描述形变后的模板头与数据头之间特征点的距离，在迭代80初期引导形变过程。本文采用了 17 个特征点，记为 Ki(i=1,2.17)，分布如下图所示，包含 4个眼角点，鼻尖点，鼻翼 2 个点，鼻下点，2 个嘴角点，左右耳朵各 3 个点。图 2 选取的 17 个
13、特征点Fig.2 The 17 landmarks853.1基于非刚性迭代最近点的三维配准算法给定一个三维网格模板头V 和一个目标三维网格数据头 P ，为每个V 上的顶点 vi 定义一个r44 的形变矩阵 X i =Ri qTi ;0,0,0,1（i=1,2,.N， N 为V 上的顶点个数），由此将V 变形成一个形变模板头V ,使得V 与 P 的形状越接近越好，以保证V 上每个顶点在 P 上的对90应点即为其在 P 中的最近点。这个形变过程迭代进行，以保证V 逐步逼近 P 。该过程的目 标函数定义为：E = a Ed + b Es + g E f(3)其中 Ed 为数据项误差，Es 为平滑项误
14、差，Ef 为特征点配准误差。数据项误差 Ed 的定义如下：2NEd = wii =1X i vi - Di(4)95其中，Di 为 P 上距离 vi 最近的点。wi 表示权重，若 vi 在 P 上找不到对应点（与其最近对应点间的距离大于某个阈值），则将 wi 置为 0，否则 wi 为 1，|为范式距离。为了加速最近 点查找过程，可以事先通过初始化特征点将三维网格划分区域，在对应区域中寻找最近点。平滑项误差 Es 的定义如下：Es =（ vi ,v j）edge (V )2X i - X j(5)100其中 (vi ,v j ) 表示连接 vi 和 v j 的线段， edge (V ) 表示模板
15、头网格V 中所有边的集合。特征点配准误差 Ef 的定义如下：1053.2非刚性 ICP 算法流程i1. 初始化 X 0 (i=1,K ,N ), k =02. 对于一组固定参数a ,b ,g17 2E f = TKi vKi - DKii =1(6)对于V k 上的每个点 v k ，寻找 P 上距离最近的点作为其对应点 D k 。ii计算 X k (i = 1, 2,.,N )i使得误差 E（公式（3）最小。i i i更新模板头形状：V k +1 =vk +1 i=1,K ,N=X k vk i=1,K ,N重复-直到Ni =1k k +1X i -X i e , k = k +1110115
16、1201253. 增大a 和 b 、减小g 重复过程 2。我们利用 L-BFGS-B 算法5进行优化迭代，在迭代的初期，使得g 占据较大权重，随着迭代 进行，逐步调整三项误差的权重，使得g 减小，a 和 b 增大，以达到较好的配准效果。4实验结果本文实验所用数据库为北京工业大学三维数据库(BJUT-3D 数据库) 6。该数据库含有 500 个 利用三维扫描仪获取的三维人脸数据。选取其中一个头作为模板头，利用本文提出的三维配 准算法配准模板头与其它三维数据头，建立他们之间密集的点点对应关系。统计形变之后的 模板头和原始的数据头之间的点点相对误差以示配准算法的有效性。 这里用去噪之后的一号人脸作为
17、模板头，见图 3(b)。因为一号人脸上具有比较明显的飞点， 直接配准会影响配准结果，所以先对其人脸左侧噪声点和头发区域附近的区域进行了去噪。 去噪前后的一号人脸分别如图 3(a)、(b)所示。图 3 去噪前后的 BJUT-3D 数据库中一号人脸。(a) 原始一号人脸 (b)模板三维头Fig.3 The first 3D face before and after denoising of BJUT-3D face database. (a) The original 3D face (b) The template head利用模板头对剩下的 499 个头进行了配准，随机选取了 10 个三维数
18、据头，统计每个三维头 在 6 组不同的a ,b ,g 参数下数据项、平滑项和特征点配准项三项误差均值，如图 4 所示。130135可以看出，随着配准过程的进行，数据项误差迅速减小且最终趋于收敛，表明形变模板三维头在逐步逼近数据头；平滑项的误差会随着模板头的形变而逐渐增大，但 b 的逐步增加可 以有效的控制模板头在一定范围内形变而不陷入局部极值；特征点配准项在配准初期占据主 导地位，但到了最后 趋近于 0 的情况下，其变化对配准过程的影响可以基本忽略。(a) Ed(b) Es(c) El图 4 不同参数下配准过程中 10 个目标头的三项误差均值 (a)数据项 (b)平滑项和(c)特征点配准项Fi
19、g.4 The means of three kinds of errors of 10 target mesh heads during the registration process with different parameters. (a)The Point Errors Ed, (b) Smooth Errors Es, (c) Landmark Errors El为了比较直观的了解本文提出的非刚性 ICP 配准算法，这里给出 4 个三维人脸真实值及其形 变后的模板三维人脸对比图，分别见图 5(a)和图 5(b)。为了度量本文提出的三维配准算法的140精度，统计形变的模板三维人脸与
20、其真实值之间的相对误差：ei = vi -pipi 。图 5(c)给出了相对误差的分布。其中深红色表示相对误差为 2%，深蓝色表示相对误差为 0.1%。可以看 出面部的配准误差都很小，小于 1%。耳朵和发型上部分区域的误差偏大，在 2%左右。145150图 5 三维头配准误差分析 （a）BJUT-3D 数据中的三维人脸数据 （b）基于非刚性 ICP 获得的形变后的模 板三维头 （c）三维配准相对误差分布Fig.5 The 3D registration error estimation. (a) The 3D faces of BJUT-3D face database (b) The def
21、ormed 3Dtemplate head with nonrigid ICP (c) The relative error distribution of the 3D registration进一步的，基于此前提出的配准方法，本文对数据库中前 100 个三维数据人脸分别利用模板三维人脸进行配准，并评价配准精度。图 6 给出了模板三维人脸与每个三维人脸的相对距离均值、中值、最大值和最小值的分布。表 1 给出了这 4 项分布的统计结果。模板人脸与配准 人脸之间的相对距离均值为 12.51%，说明模板头与待匹配人脸之间存在较大的差异。155160165170图 6 模板三维头与待配准的 100
22、个数据三维头之间的相对距离Fig.6 The relative distance between the 3D template face and the 100 scanner captured 3D faces.表 1 模板三维人脸与 100 个待匹配三维人脸相对距离统计结果Tab.1 The distribution of relative distance between the 3D template face and the 100 scanner captured 3D faces 相对距离均值相对距离中值相对距离最大值相对距离最小值 均值标准差均值标准差 均值标准差均值标准差1
23、2.51%3.73%11.64%3.27%32.70%8.31%0.79%0.63%统计形变后三维人脸与真实值之间的相对误差均值、中值、最大值和最小值的分布，如图 7 所示。表 2 给出了这 4 项分布的统计结果。可以看出本文提出的配准算法精度很高，在实验 数据库上所得到的相对误差均值为 0.62%，相对误差标准差为 0.09%。图 7 100 个三维数据人脸的相对配准误差Fig.7 The 3D registration errors of the 100 scanned 3D face表 2 形变后的模板三维人脸与 100 个三维人脸真实值之间的相对误差统计结果Tab.2 The dist
24、ribution of relative distance between the 3D template face and the 100 scanner captured 3D faces 相对误差均值相对误差中值相对误差最大值相对误差最小值 均值标准差均值标准差 均值标准差均值标准差0.62%0.09%0.49%0.03%14.07%6.73%0.00%0.00%综合表 1 和表 2，可以看出在模板脸与待配准的三维人脸之间的差异较大(相对距离 12.51%) 时，基于本文提出的三维人脸配准算法仍然能够很好的将模板脸形变成目标三维人脸(相对 误差均值为 0.62%)。并表明本文提出算法有较
25、好的普适性(相对误差均值的标准差为 0.09%)。1751801851905结论本文提出一种基于非刚性迭代最近点算法的三维人脸配准算法。首先，利用模板三维人脸和 数据三维人脸上的特征点，基于刚性迭代最近点算法将两个三维人脸调整至相同尺度，同一 坐标系下，完成粗配准。在此基础上利用非刚性迭代最近点算法，通过对描述形变模板人脸 与数据人脸的点点距离的数据项、描述形变后三维模板人脸中共边的顶点之间的仿射变换矩 阵相似程度的平滑项和描述两个人脸上特征点距离的特征点配准项的加权融合进行优化，使 得模板人脸逐步逼近目标三维数据头。实验表明，本文提出的算法具有较高的配准精度，在 模板人脸与数据人脸存在较大差
26、异(12.51%)时，仍然能让形变后的模板三维人脸与目标三维 数据人脸具有较高相似度，相对误差均值为 0.62%，相对误差标准差为 0.09%。说明本文提 出的算法也具有较好的鲁棒性。 此外，由于每个三维人脸都与模板三维人脸之间具有点点对应关系，则可以建立任意两个人 脸之间的点点对应关系，即完成二者的配准。由此，可以完成整个三维人脸数据库的参数化。6致谢本研究受国家自然科学基金（项目编号 61071135）及教育部博士点基金项目（项目编号20090002110077）的资助。参考文献 (References)1952001周 大 可 ， 杨 欣 .三 维 人 脸 识 别 研 究 综 述 OL.
27、2011-12-15.http:/ 永 红 ， 倪 蓉 蓉 ， 阮 秋 琦 .三 维 人 脸 重 建 技 术 研 究 与 发 展 OL.2010-5-14.http:/ Allen, B., Curless,B., Popovic, Z. The space of human body shapes: reconstruction and parameterization from range scansJ. ACM Transactions on Graphics(TOG), 2003, vol.22: 587-5944 Besl,P.J., Mckay, N.D. A method for
28、 registration of 3-d shapesJ. IEEE Trans. on Pattern Analysis andMachine Intelligence, 1992, 14(2):239-2565 Zhu,C., BYRD,R.H., LU,P., NOCEDAL,J. L-BFGS-B:Fortran subrontines for Large-Scale bound contrained optimizationJ.ACM Transactions on Mathematical Software, 1997, 4(12):550-5606 Beijing university of Technology, The BJUT-3D Large-Scale Chinese Face Database,http:/ (2005)