《多视频运动对象实时分割及跟踪技术.doc》由会员分享，可在线阅读，更多相关《多视频运动对象实时分割及跟踪技术.doc（9页珍藏版）》请在三一文库上搜索。
1、1632浙江大学学报（工学版）第42卷DOI :10. 3785/j. issn. 10082973X. 2008. 09. 030多视频运动对象实时分割及跟踪技术孙志海，朱善安（浙江大学电气工程学院，浙江杭州310027 ）摘要：利用帧间差异积累信息进行自适应背景建模,采用背景差的方法检测视频运动对象区域.设计了一种变系数的空域滤波器，有效地对背景差图像进行了增强，使获得的视频运动对象区域更具有空域连通特性.给岀了一种改进的基于 Otsu法的自适应阈值化方法，能更准确地对背景差图像进行阈值化.采用形态学边界提取技术对视频运动对象轮廓进行提取.在获得视频运动对象轮廓的基础上，用区域生长法对视频
2、运动对象进行定位，将矩形中心坐标视为视频运动对象的质心坐标.用基于空间欧氏距离最短的方法对每个视频运动对象质心进行关联跟踪并绘制轨迹.试验结果表明，该方法实时有效.关键词：运动对象分割；运动对象跟踪；差异积累；空域滤波；背景更新中图分类号：TP391. 41文献标识码：A文章编号：10082973X (2008 ) 0921631 205Real2time segmentation and trackingtechnique of multiplemoving objects in video sequeneeSUN Zhi2hai , ZHU Shan2an(College of Elect
3、 rical Engineering , Zhej iang Universit y, H angz hou 310027 , China)Abstract : Effective background was modeled by accumulative f rame2to2frame differences , and foregro und could be ext racted using backgro und subtract ion operati on. A variable coefficie nt spatial filter was prese n2 ted , whi
4、ch could effectively enhance the background subtraction image and make the foreground region has much more spatial connectivity. An improved Otsu2based segmentation method was presented to accurately threshold the backgro und differe nee image. Morp hological operati on was used in extract ing con t
5、ours of movi ng object s. After getti ng the c on tours of movi ng object s , region grow ing segme ntati on method was applied to locate the foreground region , and the rectangle centre was seenas the mass centre of t he moving object s. Moving object s were tracked using minimal Euclidean distanee
6、 and the motion trajectories were also pain ted. Experime ntal result s showed that p roposed algorit hm was effective and efficie nt.Key words : moving object segmentation ; moving o bject tracking ; difference accumulation ; spatial filte 2 ring ; background update1994-2010 China Academic Journal
7、Electronic Publishing House. All rights reserved. 1632浙江大学学报（工学版）第42卷1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 1632浙江大学学报（工学版）第42卷收稿日期：2007204227.浙江大学学报（工学版）网址：www. journals. zju. edu. cn/ eng作者简介：孙志海（1981 -）,男，福建漳州人，博士生，主要从事视频运动对象分割的研究.E2mail :eeszh 163. com
8、通讯联系人:朱善安,男，教授，博导.E2mail :zsa cee. zju. edu. cn视频运动对象分割及跟踪处于整个视觉监视系 统的最底层，是各种后续高级处理如视频分析1视频编码2、视频检索3以及视频监控4等的基础 运动对象分割是指从视频流中实时提取出运动对 象，而运动对象跟踪则是指对目标进行连续的跟踪 以确定其运动轨迹.尽管文献57报道了有关视频运动对象分割的算法，但视频运动对象自动分割 的问题还没完全解决.实时自动分割视频语义对象 的难点有：对复杂场景快速准确的背景建模；环境变化及噪声影响算法的鲁棒性；算法通用性差，复杂 的分割算法满足不了应用的实时性要求；多运动对象的分割及跟踪6
9、?7对分割算法提出了更高的要求 .Bail。等人8从算法实时性角度出发，利用高斯分布特性构建自适应背景更新模型，实现了对视频运动对象的分割，此类算法需要估计镜头噪声或静止 背景中由噪声所引起的方差，算法自适应程度较不理想.Yang等人9利用视频像素水平及帧水平特 性有选择地更新背景模型，然后采用形态学后处理 方法对视频运动对象进行分割，该算法对图像 RGB颜色空间的三维数据均进行了处理，当视频窗口变大时，算法处理速度成倍下降，影响实时性.Chen等人10提出了一种采用背景记录技术恢 复背景区域，结合背景差和邻帧差信息分割视频运 动对象的算法，该算法如果没有准确的前景物体分 割，背景记录技术得到
10、的背景信息则不可靠，反而影响了下一帧运动对象分割的准确性.本文结合实际视频运动对象的特点，针对实际拍摄的交通视频系列，给出了一种多视频运动对象 实时分割及跟踪技术1分割及跟踪技术框架多视频运动对象实时分割及跟踪的技术框架如III 图1所示.主要有5部分：自适应背景建模;空域滤 波、轮廓提取；目标定位、质心标记；运动对象质心关 联;轨迹绘制利用每隔一段时间内每个像素的帧间积累差异 信息自适应建立背景模型，利用背景差技术检测出运动物体区域；根据背景差图像的特点，设计了一种变系数的空域滤波器，结合形态学处理的方法对背景差图像进行空域滤波并提取出视频运动对象轮 廓;采用区域生长法对视频运动对象进行定位
11、和质 心标记；在视频运动对象分割的基础上，利用运动对象质心建立视频运动对象帧间向量，并比较运动对象的帧间向量模值，对视频运动对象质心进行关 联跟踪及轨迹绘制2视频运动对象分割2.1自适应背景建模设有M帧视频序列f （ x，y，t1），f （ x，y，t2），f （x，y，tM），取f （ x，y，t1）为基准图像，则一幅 差异积累图像是由将基准图像和视频序列后续图像 进行对比得到的11.当基准图像和序列中图像之 间在某个像素位置上出现一次较小差异就令计数器 计数一次，这种计数器在差异积累图像每个像素的 位置上都有一个当第k帧图像与基准图像相比较前疑提咆Du Dlt D空域滤波图1多视频运动对象
12、实时分割及跟踪技术框架Fig. 1 Frame of real2time segmentation and tracking tech 2 nique of multiple moving objects in video sequence时，差异积累图像中一个给定像素的输入项给出在 此位置上对应的像素与基准图像中同一位置的像素 间灰度级变化的次数随着时间的更新，差异积累 图像可视为一个像素值在动态更新的矩阵D（x，y，tk），差异大小是根据某阈值Tf设定好的.如取第k- r帧图像f（x，y，tk-r）为求取差异积累图像的参 考帧，则当前帧f（x，y，tk）与参考帧f（x，y，tk-r） 之间
13、的差异图像F（x，y，tY ）以及差异积累动态矩阵D（x，y，tk）分别如式（1）、（2） 所示，通过分析差 异积累动态矩阵来决定某像素属于前景或背景：,、f 1;| f （x，y，tk） - f（x，y，tk- r）| > Tf，F（x，y，tY）= o,其他，（1） 广D（ x，y，tk- i） + 1，F（x，y，tY）= D（x，y，tk） =0，D （x，y，tk- 1） < 入，（2）.0,其他.式（2）表示当某位置像素的帧间差异较小时，使D（ x，y，tk）加1，否则D （ x，y，tk）赋值为0，表示该 像素的帧间差异比较大 ，入记录每个像素差异积累1994-201
14、0 China Academic Journal Electronic Publishing House. All rights reserved. 1634浙江大学学报(工学版)第42卷的深度.设当前背景的更新模型为 B (x , y , tk),则 当D(x,y,tk)积累至入值时(其中入>0),相应位置 的背景像素值可根据式 (3)进行自适应更新 ，对 D(x,y,tk)为0的点则不更新背景像素值 ，保持原 背景像素值不变.B(x,y,tk) = a ? f (x , y, tk) + (1 - a) ? B (x , y , tk- 1)(3) 式中：系数a影响着背景缓存平滑滤波
15、的程度及更 新的速度，a取值区间为0,1.根据经验，取值在 0.05,0.1区间时背景更新效果较好.一般以获取 的第一帧图像作为初始背景.2.2变系数空域滤波根据背景差技术可以快速地区分前景(视频运动对象)和背景区域的特点，将当前帧f (x,y ,tk)与 更新所得背景B(x,y,tk )相减得背景差图，记为Bd (x , y , tk) = | f (x , y, tk) - B( x, y ,tk) | . (4) 从试验结果来看，如果直接对Bd(x,y,tk)进行 二值化操作，所获得的视频对象平面大多具有空域 不完整特性，所以需对背景差图像进行空域滤波 ， 使视频对象平面保持空域连通性.
16、常见空域滤波器 有均值滤波器、中值滤波器及拉普拉斯滤波器等 ， 但这些滤波器均有其各自的适用场合 ，直接采用某 种滤波器对背景差图像进行滤波并不一定能获得理 想的效果.建立在对以上这几种滤波器滤波效果分 析的基础上，本文给出了一种新型的变系数空域滤 波器(variable coefficient spatial filter , VCSF)掩 模.考虑有意义掩模的最小尺寸为3 X3,图2显示了变系数空域滤波器掩模的两种形式 ，其中w为待 整定的系数，取值为w >1,当w = 1时，该滤波器 即还原为常规的均值滤波器.JiL工99w99flhi'酉kF99T图23 X3变系数空域滤
17、波器掩模Fig. 2 Mask of 3 X3 variable coefficient spatial filter给出的这种变系数空域滤波器，建立在均值滤 波器滤波原理的基础上，调整掩模系数，以适应对 不同图像的增强.该滤波器可以理解为均值滤波器 和变斜率灰度线性算子先后联合操作的过程，即经过变系数空域滤波器增强的图像，不但带有均值滤 波器的平滑效果，而且还具有局部区域的灰度增强 特性.从试验的效果来看，给出的这种滤波器掩模形式很适用于对背景差图像的滤波.在使用滤波器之前需先整定w值，这里w的整定可采用两种方法：一是直接观察对应系数滤波 图像阈值化后的效果；二是根据最大类间方差的原 理，比
18、较不同w系数下滤波图像在特定阈值下的类 间方差12,从而整定w值.图3为对MA TLAB提供的Viptraffic视频测 试序列(160 X120 , 15帧/s)的第68帧图像采用不 同空域滤波器及阈值化后的效果示意图.为了更有效地进行比较，所选择的视频帧里含有一辆黑色的 车辆，其与背景的对比度明显不如视窗里的白色车 辆从图3(d)可以看出，直接对第68帧的背景差 图像进行阈值化，其运动对象平面内部存在比较多 的空洞，特别是黑色车辆，这将直接影响视频运动 对象下一步的分割定位；在图3(e)中，由于均值滤 波器的平滑效果，视频运动对象即三辆小车的内部 空洞面积相比图3(d)有所减小；从图3(f
19、)可看出复 合拉普拉斯滤波操作不但没有减少空洞区域，反而增加了背景差图像的高频分量；图3(g)则为采用VCSF滤波器的效果，其视频运动对象的空域连通 性对进一步分割定位非常有利.图4给出了对Vipt raffic视频测试序列第 68帧 背景差图像采用变系数空域滤波器时，不同系数值及其对应的最大类间方差比值 曲线.图4中当go求厦哦thHY誥植划w)廿氐书阈値化 2均值滤彼If) 4'f.if拉斯腮谨VCSFfifi波團 第林 帧不同方式滤递及阑憤代效果示竄图Fig, 3 rjiffcrmi fiberinji 界rwl ihn?啊huhL resullH of frame 68 ih图
20、4 不同垂散值及所对应巔大类间方茸比値曲壤卜 |真，4 I hffrrrnC vcm FfifiL'trl nnd Ks corri sjHiriding 耳Imum vhrinnec r.：Lia curvesw/9 = 0. 21时的滤波效果如图3(g)所示，但当 w/9 >0.22时,会造成过分割问题,即分割结果出 现大面积的前景区域而造成误分割.2.3自适应阈值化及轮廓提取对经过空域滤波后的背景差图像采用自适应阈 值算法，即可快速地分割出视频运动对象.基于Otsu阈值化算法的原理 '，在分析常规Otsu法当 分割目标与背景灰度差异不明显时，会造成误分割的基础上，提
21、出了一种增强的Otsu法，常规Otsu法的原理可参阅文献12.设由常规Otsu法求得的当前滤波后背景差帧 的最优二值化阈值为To k ,定义增强的Ot su法最优二值化阈值为 Tk,则Tk可表示为ToA Tok < £ ? ToA ;Tk=”，(5)I Tok,其他.式中：2T°k = arg 罔?為(° ( Tki),Toa = k£Tk/B;B = k- 1 ,B > 1 ,即Toa为前k- 1个Tk值的非零最优二值化阈值的 均值，当B =0时，Toa需设为适当的初始阈值£为一个权系数，经验值区间为0.5,1.图3(d)(g)
22、所示的二值图均为采用该阈值化方法的效果对阈值化后的图像采用适当的形态学腐蚀及膨 胀操作，可以使视频运动对象平面更具有空域连通 性.再结合形态学边界提取的方法，即可提取出视频运动对象的轮廓.轮廓提取算法描述如下：设阈值化后的二值图像可表示为集合F,集合F运动对象的轮廓表示为 B( F),则B( F)可先由B 对F腐蚀，然后用F减去腐蚀得到，见式(6):3( F) = F- ( FB) ,(6)式中：B是一个适当的结构元素，为腐蚀算子. 2.4目标定位及质心标记有点类似分水岭思想的区域生长法是一种图像 分割算法，其基本原理是将有相似性质的像素集合 起来构成区域.具体地讲，是先对每个需要分割的 区域
23、找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像 素合并到种子像素所在的区域中.运动对象定位就是用包含运动对象的最小矩形框将对象框起来.确定对象的位置，即将一幅图像分割成为有意义的区 域，并确定区域间的坐标关系及位置.基于区域生 长法的原理，采用两步区域生长法的迭代思想，实现了视频运动对象的准确分割定位.设第i个运动对象外接矩形框4个顶点的坐标点分别表示为 (xq , ye)、( xi0 , yi1) > ( xi1 , yQ)、x” , yi1),记第i个运动对象的质心为(xi ,yi).为保证算法的实时性，直接将运动对象外接矩形的中心标 记为运动对
24、象的质心，运动对象外接矩形坐标示意 图和质心表达式分别如图5和式(7) 所示.图5运动对象外接矩形坐标示意图Fig. 5 Coordinates of enclosing rectangle of moving objects3视频运动对象跟踪，屮 I 'l>''|i'Af目标跟踪算法常常用卡尔曼滤波器作为目标状态估计器，粒子滤波器、Mean Shift及基于Snake 的跟踪算法等逐步被用于运动对象跟踪.然而，这几种跟踪方法需要大量的运算，特别是在应用于多 目标跟踪时，不利于实时处理；受制于算法的数学 特性，这些算法也较难移植或应用到嵌入式领域.建立在分
25、割的基础上，根据待测试视频序列的特点，从算法实时性角度出发，采用空间欧氏距离最 短的方法，判断邻帧运动对象是否为同一对象，进而完成时域视频运动对象的关联跟踪.跟踪算法描述如下：在多数情况下，视频序列第k帧与第k - 1帧 中同一视频运动对象质心的欧氏距离最短，根据该特点实现对视频运动对象的跟踪.设当前视频帧为 第k帧，并含有N k个视频运动对象，记Z (k)= (zix,ziy)为第k帧第i个运动对象的质心坐标向量，其中i =1 ,2,Nk.如果第k- 1帧中含有Nk- 1个 视频运动对象，则第k帧中的某个视频运动对象质 心Zi (k)与第k- 1帧中Nk-1个视频运动对象质心 间最短的欧氏距
26、离dijmin可表示为式(8),其中j =1 ,2,N:du min = arg jmin II Zi (k) - Zj (k- 1) II ,(8)则dijmin所对应的第k - 1帧Nk-1个视频运动对象中 的第j个运动对象质心向量Zj ( k - 1)与Zi (k)关联，实现了对第k帧视频运动对象i质心坐标的跟 踪关联.当Zi(k)中的i从1变化到N k时，即可在 第k- 1帧的Nk-1个视频运动对象中找到相应的关1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 第9期孙志
27、海，等：多视频运动对象实时分割及跟踪技术1635联，从而实现对两帧之间同一视频运动对象的跟踪.这里还需要考虑当N k大于、小于和等于N k- i的情况.如果假设每帧只有一个视频运动对象进入 或离开视频窗口 ，则当Nk等于(Nk-i+1)时，说明 第k帧有新对象进入;当Nk等于(Nk- i - 1)时，说 明第k帧有老对象离开；当Nk等于Nk-i时，说明 第k帧没有运动对象进入或离开.这3种情况在算 法实现时需分别进行考虑，以自动地创建、释放及保持跟踪器资源，保证每个视频运动对象均有对应 的跟踪器，从而实现自适应地对每个视频运动对象 进行跟踪.视频运动对象，分别标记为 A、B、C、D、E、F、G
28、、H, 实际运动对象的运动轨迹是一系列点，为了更直观，程序里面设计了两点之间的线连接；图6(f)即第81帧里面的A、B、C、D、E为第68帧的相应视频 运动对象,I、J则为新进入窗口的运动对象，而第68帧里的H和F已在第81帧之前离开了视频窗口 .图 7示意了 Highway第110160帧之间视频对象的运 动轨迹.4实验结果及分析 车车犒20-1弭】蜩 车辆 4( 110-127) *HO- IS3) HOdOO)为测试算法的实际分割及跟踪效果，采用VC+ + 6. 0 开发环境,在 Windows XP SP2、CPU 为 Celeron 2. 4 GHz ,内存为 512 MB的PC机上
29、对 Highway (320 X240 , 15帧/ s)的500帧视频测试序 列进行了分割及跟踪试验，视频序列来源于ht2图7 Highway第110160帧之间视频对象运动轨迹Fig. 7 Trochoid of video moving objects betweenframe110 and frame 160 in Highway sequencetp :/ / cvrr. ucsd. edu/aton/ shadow ,每帧处理的平 均耗时为46. 6 ms ,即每秒可以处理24. 5帧，完全 可以满足实时处理的要求，图6是对视频运动对象即车辆的分割及跟踪效果.图6(c)、(d)为提
30、取出来 的视频运动对象轮廓，图6(e)、(f)为对视频运动对 象的定位、跟踪及轨迹绘制的效果.图6(e)有8个(鮎第砧慟奴度图(帕聲期袖黨度图4讨第阴袖运助对象轮邯(川幕和込动对繰轮耶1J1第佔愉运谕对象 (0淞嗽运动对啟给出了一种多视频运动对象实时分割及跟踪方 案.该方案在背景建模方面采用的是差异积累的方 法，建立的背景模型自适应程度高，且算法易于实现.该方案中给出的变系数空域滤波器，在调整好合适系数的条件下，可以较好地对背景差图像进行 增强，以获得空域连通特性更好的视频运动对象平 面.在阈值化问题上，考虑到当分割目标与背景灰 度差异不明显时，会造成误分割的情况，提出了一种增强的阈值化方法.
31、建立在分割的基础上，利用 空间欧氏距离最短的方法对视频运动对象质心进行 关联跟踪及轨迹绘制，该跟踪方法不适用于运动对 象质心距离很近的情况.在整个方案中没有对阴影 存在的情况进行考虑，故该方案比较适用于阴影影 响较小的场合.可用于如车辆的运动跟踪、车流统 计及交通控制等方面的应用.总之，该算法实现容 易、具有良好的实时性，特别适用于大小适中的刚 性视频运动对象的检测和跟踪.参考文献(References):1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 第9期孙志海，等：多视频
32、运动对象实时分割及跟踪技术16351994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 第9期孙志海，等：多视频运动对象实时分割及跟踪技术1635图6多视频运动对象实时分割及跟踪效果示意图Fig. 6Real2time segmentation and tracking technique ofmultiple moving objects in video sequence1 FORESTI G L. Object recognition and tracking for remo
33、te video surveillance J . IEEE Transactions on Circuits and Systems , 1999, 9(7) : 104521062 .(下转第1660页)1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 1660浙江大学学报（工学版）第42卷1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 1660浙江大学学报（
34、工学版）第42卷32Oligonucleotide Array Data : Background , Normaliza 2 tion and Summarization D . Berkeley : University ofCalifornia , 2004.ROCKE D M , DU RBIN error for gene expression putatidBialogB. A model for measurement arrays J . JouriofiDom 8(6) :557 2569.33 HUB ER W , H EYDEBREC K A V , SU EL TMAN
35、NH ,et al. Parameter estimation for the calibration and34ures J . BioinfolriiCE004,20(3) 323 331 .36 IRIZARR Y R A , WU Z J, JAFFEE HA. Comparisonof Affymetrix GeneChip expression measures J . Bioiniailrcs06,22(7)：789 2794.37 IRIZARR Y R A , BOL STAD B M , COLL IN F ,et al.Summaries of Affymetrix Ge
36、neChip probe level data j . NuclACides2005 ,31 (4) : e15.38 variance stabilization of microarray data J . Statistical ApplicatiOilne1anlMlolecBldrog 加,2(1) : Article3.FREUDENB ER GJ M. Comparison of background cor 239STEFFEN D , YV ES M , AREK K,et al. BioMart andBioconductor : a powerf ul link betw
37、een biological data 2 bases and microarray data analysis J . Bioi nfotims 2005 £1(16)：343923440 .Textual description of affydata. Vignette EB/ OL .rection and normalization procedures for high 2density oligonucleotide microarrays R. Leipzig , Germany : Interdisciplinary Centre for Bioinformatic
38、s ,2005.35 COPE L M , IRIZARR Y R A , JAFFEE H A , et al. A benchmark for affymetrix genechip expression meas22007208208 . http : /www. bioconductor. org/ reposi 2tory/ devel/ vignette/ affydata. pdf40IHA KA R , GEN TL EMAN R R. A language for dataanalysis and graphics J .JComGOpStal996,5 ( 3) :2992
39、314.（上接第 16352PORIK L I F. Real2time video object segmentation forComputer Society , 2006 , 1 : 8282831.MPEG encoded video sequences C / SPIConferenGeBA ILO G, BARIAN I M , IJAS P, et al. Background orfeaTimteagirigHI San Jose : s. n. , 2004 ,5297 :195 2203.34KIM C , HWAN G J N. Fast and automatic v
40、ideo object, Isegmentation and tracking for content 2based applicationsj. IEEEarsacddCSclalSBystems, 12(2) ：1222129 .NASCIM EN TO J C , MARQU ES J S. Performanceestimation with gaussian distribution for image segmen2 tation , a fast approach C / ProceedftigsOOS IEE lnterratidnldrlksdrM easureSyendms
41、 forhomelaSiBcuritiyo :Contraband Detectionand Personal Safety Workshop , 2005 :225.9 YAN G Tao , L I S Z , PAN Quan , et al. Real2time and567evaluation of object detection algorithms for video sur2IEETa rsacOdMl3ltimed0a8veillance J .(4) ：7612774 .PORIK LI F , WAN G Y. Automatic video object seg2me
42、ntation using volume growing and hierarchical cluste 2accurate segmentation of moving objects in dynamicscene C /dfthgACMndhternationalWorksboViddBurveill&rSensetwrks.New York : ACM , 2004 :1362143.10CH EN Shao2yi , HUAN G Yu2wen , HSIEH Bing 2yu ,ring j . EURAJoPnofflAppliSigriarocess ing2004(1
43、)：8142832 .COLOMBARI A , FUSIELLO A , MURINO V. Seg2et al. Fast video segmentation algorithm with shadowSocancellation , global motion compensation , and adaptive threshold techniques J . IEETansactjcMstlti me(d2si4 ,6(5) :7322748.mentation and tracking of multiple video objects J . Fatteffecogrjt0o
44、r| 40(4) ：1307 21317 .L IN Shin2ping , CHEN Yuan2hsin , WU Bing2fei. A realtime multiple 2vehicle detection and tracking system with pri 211GONZAL EZ R C , WOODS R E. Digitahgprocess ingsen cedldi(dn) Beijing : Publishing House ofElectronics Industry , 2002.or occlusion detection and resolution , and prior queue detec2 tion and resolution C / Poceedftgiah Inte 2na tionQbrfeoPCteRcogriHOdrdng： ieee12OSTU N. A threshold selection method from gray2level histograms J . IEElEarsacdOinystemrage meanCybemetiQ1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.