《3D测量系统中的高精度摄像机标定算法.doc》由会员分享，可在线阅读，更多相关《3D测量系统中的高精度摄像机标定算法.doc（7页珍藏版）》请在三一文库上搜索。
1、W.35,No4April、2008第35卷第4期2008年4月光电工程Opto-Electionic Engineenng文章编号:1003-501X(2008)04-0058-063D测量系统中的高精度摄像机标定算法李中伟，王从军，史玉升(华中科技大学材料成形与模具技术国家重点实脸室，武汉430074 )摘要：本文在分析完整的摄像机锐头畸变模型的基础上，提出了一种新的标定算法.该算法包括三个步骤，首先 在不考虎僥头畸变的悄况下利用标定块上的中间若千个点，采用线性优化方法求出除畸变系数以外的其他外部参 数和主要的内部参数；然后固定上述已求得的枣数，利用线性优先方法求解畸变系数；最后对所有内部
2、冬戟和外 部衣数进行全局非线性优化.我后对本文的标屯算法进行了标定实脸.实脸结果表明，木文算法的标定赫度可以 达到0 0367 mm,可以满足高精度三维测量及其他应用的要求“ 关键词：计算机视觉；摄像机标定；非线性优化中图分类号：TB877文献标志码：AHigh Precision Camera Calibration Algorithmfor 3D Measuremeut SystemrLI Zhong-weit WANG Cong-jun. SHI Yu-sheng(State Key Laboratory of Material Processing and Die & Moul
3、d Technology'.Huazhong Universe of Science and Technology Wuhan 430074, China )Abstract: On the basis of analyzing complete camera distortion model, a new calibration algorithm is proposed The new algorithm consists of three steps. In the first step, the calibration parameters are estimated usin
4、g a close-fonn solution based on a distortion&ee camera model In the second step, estimating the set of distortion parameters with the other parameters fixed In the third stq>, the parameters estunated in the first step are improved iterath ely through a nonlinear optimization, and make, all
5、the parameters globalization Very good results arc obtained with real data calibration The results show the precision of the new proposed method is up to 0 0367 inin, which meets the requirements of high precision 3D measurement and other applicationKey words: computer x ision, camera calibration; n
6、onlinear optimization1引言数字摄像机是计算机视觉系统获得图像信息的主要工具。近年来，利用数字摄像机进行二维、三维重 建和尺寸检测获得了越来越多的运用和研究。栓査和较准摄像机的内部参数和外部参数的过程称为摄像机 标定(Camera calibration).摄像机标定是从二维图像获取高精度三维信息的前握，其标定精度和可靠程度将 直接影响到测量结果的精度。随着摄影测量和计算机视觉理论的发展，许多学者对摄像机标定技术进行了深入研究【'T。从摄像机在 视觉检测中获得应用以来.有关学者根据实际应用具体需要提出了一些不同的摄像机模型和标定方法现 有的摄像机标定方法根据模型中是
7、否考虑光学系统的畸变可分为畸变模型标定法和非畸变模型标定法; 根据所采用的求解方法不同可分为非线性搜索法、全线性化方法、线性与非线性相结合的方法等。根据 收稿日期：2007-07-18;牧到修改稿日期：2007-12-05基金项目：湖北冒自然科単基金创新群体顼目一 連制這关犍技术2004ABC001)作者简介：李中伟(1981-).男(汉族).湖北冬P3人.博士研究生.主婆从事机寻视觉.数字C3像处理諄方面的硏兗:E_ma山 hzhongwei22671994-2016 China Academic Journal Electronic Publishing House. All rights
8、 reserved, 2008年4月李中伟 竽：3D测量系统中的高精度摄像机标定算法61标定过程是否需要控制场将摄像机标定分为传统标定方法和自标定方法(。传统的摄像机标定方法需要在 场景中放置一个标定物.在髙危险地区的监测、星球探测机器人的自主导航等情况下难以实现，自标定技 术在这方面有独特的作用、但其精度水平则无法与传统的标定方法相比。Tsai采用摄像机的径向畸变模型.利用“径向准直约束”(Radial aligmuent constraint)条件提出一种俩 步”(Two stage)标定方法.先用径向准直约束求解模型参数中的大部分.然后再用非线性搜索法求解畸变系 数、有效焦葩及一个平移参
9、数"这种方法I十算量不大.精度适中，张正友干1998年提出了一种利用旋转矩 阵的正交性条件及非线性最优化进行摄像机标定的方法叫该方法要求摄像机在两个以上不同的方位拍摄 一个平面模板的图像，网格状的模板可以用普通的激光打印机打印，贴在一个平面上(如玻璃板等)，摄像 机和模板都可以自由地移动，且不需要知道运动参数。这种方法也属干传统的摄像机标定方法，只是用平 面模板代昔了传统摄像机标定中的三维标定块，其特点是方法简单方便、成本低.标定稳定性和精度相对 干自标定要高.其标定精度为0335 pixels。上述两种标定方法在计算机视觉领域得到了较务的运用.但其 标定精度均有待提高.本文在分析完
10、整的摄像机镜头畸变模型的基础上，提出一种新的标定方法J亥算法包括以下三个步骤： 第一步：在不考虑镜头畸变的情况下利用标定块上的中间若干个点，采用线性优化方法求出除畸变系数以 外的其他外部参数和主要的内部参数(定义为加)，然后采用非线性优化的方法进一步优化：第二步：固定 皿利用线性优化方法求解畸变系数(定乂为。第三步：对所有内部参数和外部参数进行全局非线性优化。2摄像机模型2.1不考虑镜头畸变的摄像机模型不考虑殖头畸变即是将所有的光学畸变均忽略不考虑，采用小孔成像模型作为摄像机的数学模型.可 用式表示叫fu '+ V + G(1)C_q+ 3 + 4f fv+ g其中：(")为
11、空间点的图像坐标(单位：mm), o；c)为对应的图像坐标(单位：pixel), R = rtJ是一个3x3 的从世界坐标系到摄像机坐标系的旋转止交矩阵，T = (r1,r273)是一个3x1的半移向量，4,0为计算机 帧存图像中心的坐标，/为摄像机的焦距,/分别为图像平面中”和v方向单位距 离上的像素数)。此模型下需要标定的参数包括：內部参数,5,兀,/及外部参数尺和八2.2考虑镜头畸变的摄像机模型由干摄像机光学系统存在装配俣差和加工俣差、便得物朱点在摄像机图像平面上实际所成的像与理想 成像之间存在光学畸变，物体点在摄像机成像面上实际所成的像与理想成像之间存在有光学畸变误差一镜 头畸变影响了
12、被测点在国像坐标系下的坐标值，可用如下公式修正：uf = u + 3u(uyv) , vr = v+(2) 其中：为镜头畸变引起的误尝 为了确定垓误差、我们首先分析各种镜头畸变的来源及其 俣差畸变模型。主要的畸变误差分为三类：径向畸变，偏心時变和薄棱镜畸变第一类只产生径向位置的 偏差，后两类则既产生径向偏差，又产生切向偏差。同时考虑径向畸变、偏心畸变和薄棱镜畸变时、/轴 和v轴的总畸变可用下式衰示：f 爲(",V)= 5, (u 2 + v2) + 3pw2 + py2 + 2p,wv + kp 心2 +V2)dr (w, v) = s2 (w2 + v2) + 2 pv + p2u
13、2 + 3 p2v2 + kN”2 + v2)令 +g产S2+P2, Si = 2p), g4 = 2p2 ,则式表示为16 ("M = (© + g J"' + gpQ + ku2 + v2)jv0/,V)= g2U2 + g"/V+ 2 + g4” + M«2 + V2)2. 3本文的摄像机模型根据式(3).不考虑畸变的图像坐标点(匕巧与其相应的像素位置关系可用下式表示:M+ ("*) = 0-")/» V+Jv(W,V)= (C-C0)/5r引入新的变量：宀(一心)/兀，v = (c-c0)/；.则：
14、W a ("»)V a Q(S)="9 = V 由干标定过程中所拍摄的图像存在误差，理论的图像坐标点(")不可能准确获得，因此采用"3来表 示摄像机畸变模型，即：(8)y=W + (W,V), y = V+4(M,V)由式(1)、式(4)、式(8)可得到本文的摄像机畸变模型为=w + (© + gi)ir + g4nv + gjV- + ktr + v-)空g” + g/+(g, + 沪+吓(沪+沪) mx + 3+W + g*所以若有足够的三维坐标点(兀J厶)与其相应的像素位置坐标(”,c；),则可确定出不考虑畸变时的内 部与外部参
15、数AM = O-,co,/l，/T,«,/?,/) ,(40是旋转矩阵R的三个独立参数)和畸变参数d = 局,gl，g2，g，g4】°从式(9)可知.本文的畸变模型只考虑了三种能引起较大误差的畸变.并未包含所有的畸变，因为工程 运用中并不需要也不可能考虑所有的畸变。3标定算法3. 1线性优化方法求解加(将设为零)本步处理过程先在不考虑畸变的情况下采用线性优化的方法求解加作为后续非线性优化的初值 由式(4)知道每个控制点和它相应的像素位置可以得到两个非线线性方程：卩丫-几)兀小 + a-几"心 + a-几)观3 +曲3 -九“】- fy2 - fuz,ru - fu
16、tx = 0(0)« 一 Co)x/U + (c； -cQ)y,iy2 + (c： 一 c°)z必 3 + « 一 ah - £x,E i - f y2 2 一 f. z - fYt2= 0在上式中包含了 R T的六个外部参数和四个内部参数.由式(10)可知要得到十个非线性方 程的解至少需要五个控制点.然而即使有更多可用的点，这个解也是不能保证的，因为这个求解过程需要 迭代搜索.而且这个过程并不是总能够成功。我们定义了以下中间参数，将式(10)转化为线性方程以方 便求解。叭=fuR + rQ3 » 胪2 = f、Rl + CqR)、叭=R)，叫
17、=fuh + 啼3 W5 = fyt + Cog ,叫=G (11) 其中：&忌Rj为旋转矩阵人的三个列向量 那么式由"个控制点组成的方程组可用矩阵形式表示为_X100_Z100A =_x”_儿_z”0000_x开其中/的表达式:AW00-Jl_Z1C；X00z”d儿(12)护是所有未知参数向量:炉=叭 W. W. w. vv5 叫JT(13)式(12)的齐次线性方程中炉的解不唯一，本文引入以下两个约束，满足这两个约束条件的解才是正确 的结果。两个约束条件为1) 炉3的模数为1；2) 肌的正负必须与世界坐标系中摄像机与标定板的相对位置一致.即：当摄像机在标定板前面时小，6 为
18、正，反之为负。由干根据世界坐标系的定文可知4H0,可设叫f = 1，则式)转化成一个非齐次线性方程： /炉'+ 尺=0(14)式中：为丄的前11个列向量组成的矩阵.'为-4的最后一列列向量，羽为相应减少的未知向量。根据 式(14)采用最小二乘法求得FT,进而求得形 再根据上述两个约束条件由护可得到S：£ = £刁5S J=±嵩网Wzw vv5 1V6T(15)由S,炉以及&,兀弘的相互关系，可得到外部和内部不考虑畸变时的内部参数的初值帀，如式(16) 所示：币=时：，q =无=一|0-治j| , I =115,-11石七-和 6” 无,石，
19、6=尺=($-审J/无，忌=(6-6厲)/工，(16) 上述求解过程没有考虑炉'内的约束关系.即旋转矩阵尺是标准正交的.利用此约束修正凤，凤，鸟得 到斤，恳工,然后利用兀用忆进一步修正其他参数得到鬲:K = s：丘、盒=S禹,Z=-Ili-満 II，7 = II6 - C.R. II« =(» - rQStV fu »2 =G -強6)/人 h=h(17)3. 2化.非线性优化过程根据实际图像坐标H，C：和由式(1)求解的图像坐标、利用非线性优化算法对所求的参数实施进一步的优 非线性优化的目标函数为M3.3F =工 E J；(” )】2 + < 7(
20、” ")' r-1上述目标函数既可以用来单独优化m(d固定)，也可以同时优化加和礼 线性优化方法求解"(加固定)将加值固定求解"时，上述优化函数是一个线性最小二乘问题.由式(6)、式得： r(md)-r =r fuii-r =rQ + fuHJ+ " _(g + %M2_g宓_gly2_仲7(2 + 沪)卜r>3 + 3 + 2 + "(18)(19)式(19)是关干"的线性方程因此，利用个控制点.我们可构建矩阵0和向量C这样式(19)可变换成:I0 + GF(20)其中：0是个2x5的矩阵、<7是个2的向量.两者
21、是由给定的个控制点的三维坐标和测得的图像坐标 构建的。然后采用最小二乘法可得到优化的向量必最后.再返回上节介绍的非线性优化过程.利用式(18)对加和"进行全局非线性优化、以获得最佳的 tn."值。4标定实验及结果采用本文算法对图1所示的双目视觉系统进行标定，该系统由两妄Hitachi KP-F3 CCD (分辨率为 71994-2016 China Academic Journal Electronic Publishing House. All rights reserved, 2008年4月李中伟 竽：3D测量系统中的高精度摄像机标定算法63644x493）和焦距为12
22、 mm的镜头组成。实验所用标定块是一个带有30个标准圆孔的金属平面孔型标靶. 标定块大小为100 iniiixlOO ninix30 mma圆孔型靶标的优点是孔心可以使用高精度三坐标测量机精确测定, 同时孔心的图像坐标也可以由孔的边缘准确拟台。图2为双目系统在三个不同高度拍摄三组标定块图像。 图3是标定孔经阖值分割、边缘提取及圆心拟台后得到的圆心示意图，框内的12个圆心为线性优化求解加 时使用的中心点。得到的标定结果见表1。图1双目视觉系统Fig 1 Binocular visual system图2标定所拍摄的图像oo OOO OOOOO OOOOO OOOOO QQQ0O OOOOO二二二
23、二 j j i +504030202 O.1O2OBE J f f J 1 二 1 二一 二一 T二 二二二 />A 二二二 A2 土丰工W 一 二二frr r"r-trr-tr乂 "二 J 祕*4>4* I:.20£<3400.080.070 060.050.040.030.020.01图3提取的圆心示意图Fig 3 Extracted circle centers图4 匹配出的三维点Fig.4 Reconstmcted points010203040Points number图5测量误差Fig.5 Measurement errorsFig.
24、2 Calibration images表1相机标定结果Table 1 Calibrauon results of the two camerasLeft cameraRight cameraa1 241.991241.81p1 234.361232.24r89 950S9 960r/o322.21323 85Intrinsicvx>243.13241.63parameterski0.009 6-0.0102口0.003 20.00690.012 1-0000260.052 70.19070.193 4-0.01520.995 77,0.005 347 4, -0.091 70 4; 0
25、 005 200.0.992 25,4).007 553 & 0.124 01; -0.012 076,Extrinsic0 995 10 0 098 762 0 091 782 -0 098 821 0 990 860.994 71,0.102 01; -0.12412, -0.102 72,0.986 91parameters :T-60 839 & -16.396 3.-1 568.7427 903. -21 902 9.-1 57669为了验证本文算法的标定精度.利用标定结果和立体视觉原理.分别匹配出三组图像中的中心12个 标定点（共36个点）的三维坐标，结果如图4。将
26、匹配出的三维坐标P与便用高精度三坐标测量机测得的坐 标值厲进行比较，并i十算出P与Po中对应点的距离，这些距离值可以用来本文所标定的双目视觉系统的 测量误差，绪果如图5°由图可见Z点的测量误差分布在0.01908 mm之间，36个圆孔中心的测量I吴差的 均方根（RMS）为 0.036 7 mm5总结本文提出了一种新的标定算法，该算法采用线性优化与非纟戈性优化相结台的方法，可以对所有参數进 行全局优化一标定实验结果義明，该算法的标定精度可达0 036 7 mm,完全可以满足高精度三维量测及其 他应用的要求由干本文的标定方法标定时需要辅助的升降设备或运动控制系统，柔性相对较差，今后可 以
27、在提髙系统标定柔性方面进行研究。参考文献：1 Yang H, Zhang S、Guo G, et al. Key techniques for xision measuiement of 3D object surface C/ Sixth International Symposium on Instrumentation and Control Technology: Signal Analysis, Measurement Theory, Photo-Electronic Technology, and Ai tificial Intelligence Beijin. China: SP
28、IE 2006: 63571 乙2 Zhang Z A flexible new technique for camera calibration J IEEE Transactions on Pattern Analysis and Machine InteUigence. 2000> 22(11): 1330-1334.3 Song L M, Wang M P> LuL, et al. High precision camera calibration in vision measurement J. Optics & Laser Technology, 2007, 3
29、9(7): 1413-1420.4 Tnggs Bill Autocalibration from Planar Scenes C/ Proceedings of the 5th European Conference on Computer Msion London,UK: SpringerAerhg. 1998 1: 89-105.5 Zhang Y Zhang Z Zhang J. Camera calibration teclinique with planar scenes C/ Machine Vision .Applications in Industrial Inspectio
30、n XI Santa Clara, CA, USA: SPIE, 2003: 291-296.6 Tsai R A versatile camera calibration technique for high-accuracy 3D machine ision metrology using ofifthe-shelf TV cameras and lenses J IEEE J Robotics and Automation 1987, 3(4): 323-344.7 SturniP, Maybank J On Plane-Based Camera Calibmtum: A General
31、 Algorithm> Singularities, ApplicationsC/ Proceeding of the IEEE Conference on Computer Vision Pattern Recognition Fort Collins. Colorado. USA: IEEE. 1999: 432-437.8 Tratnig M. Paul O L, Hlobil H et al Camera calibration, data segmentation, and fitting approaches for a visual edge inspection syst
32、em C/ Machine Vision Applications in Industrial Inspection XII San Jose, CA, USA: SPIE, 200: 42-519 HongweiG, Chengdong V. Lifu G, et al. An Improved Two-Stage Camera Calibration Method C/ Proceedings of the 6th W orld Congress on Intelligent Control and Automation Dalian. China: IEEE, 2006: 9514-95
33、18.10 Tnggs B. Mchuchlan P F, Hartley R L et al. Bundle Adjustment -AModem Synthesis C/ Msion Algorithms： Theoiy and Practice Corfii. Greece: SpringerAerlag. 1999: 153-177.11 Weng J、Cohen P. Hermou M Camera calibration with distortion models and accuracy evaluation J IEEE Transactions on Pattern Analysis and Machine Intelligence > 1992、14(10): 965-98012 Meng X Hu Z. A new easy camera calibration technique based on circular points J. Pattern Recognition. 2003, 36(5): 1155-1164.71994-2016 China Academic Journal Electronic Publishing House. All rights reserved,