视频序列中对的运动目标提取.docx

1、武汉理工大学专业导论综述题目：专业导论综述完成人：师敏班级：100l班专业：电路与系统学制：2.5年学号：视频序列中对运动目标的提取摘要：本文主要讨论视频序列中运动目标的检测和提取算法，在静止背景下的目标检测方面，介绍了帧间差法的根本原理及其特点；研究了利用混合高斯模型提取具有扰动的背景模型的方法，分析了混合高斯模型的优缺点；并简要介绍了最常用的微分光流法。关键字：帧间差法、背景模型、混合高斯模型、光流法Abstract：Thisarticlefocusesonmovingobjectsinvideosequencesinthedetectionandextractionalgorithms,

2、inthestaticcontextoftargetdetection,theframedifferencemethodintroducedthebasicprinciplesandcharacteristics;ofGaussianmixturemodelextractionusingabackgroundmodelwithdisturbancemethodtoanalyzetheadvantagesanddisadvantagesofGaussianmixturemodel;andbrieflydescribesthemostcommonlyuseddifferentialopticalf

3、lowmethod.Keywords:framedifference,backgroundmodel,Gaussianmixturemodel,opticalflow0引言：随着国民经济的快速增长、国力的不断增强和社会的迅速进步，银行、电力、交通、平安、仓储、建筑以及军事设施等领域对平安防范和现场记录报警系统的需求与日俱增，要求越来越高，从而促进了视频监控系统的开展。同时由于计算机硬件技术的开展，计算机在处理速度、存储容量、并行计算等方面的性能快速提高，使智能化的视频监控序列图像的快速理解成为可能。1视频序列的特点自动视频监视技术的主要内容之一就是监视特定场景中是否有新目标出现,这个任务的最根

4、本的内容可以看作是在视频序列中检测并提取这样两种类型的目标：运动目标以及原先场景中未出现而后又停止并滞留在场景中的新目标。目标提取，就是当目标检测算法检测到有目标出现时，把这个目标从视频序列图像中分割提取出来，为下一步目标跟踪和识别提供数据。因此一个视频监视系统工作的好与坏，目标检测和提取算法是非常关键的。人们总希望一个好的视频目标检测和提取算法，能适用于监视各种环境。但实际应用中要解决这个问题是十分困难的，因为实际应用中不但要考虑到算法要尽量适应于多种环境。要进行自动目标识别与跟踪，就要将图像中的运动目标提取出来，如何快速有效地把运动目标提取出来是一个很大的问题。在背景单一，目标明确的情况下

5、如地对空导弹跟踪系统，背景为天空，目标是飞机，这样的问题就相对简单一点，我们可以利用灰度的不同，用一些简单的阈值分割方法将它们从背景中提取出来。但是如果背景很复杂，如空对地导弹的跟踪系统，而且当今随着科技的开展，电视跟踪系统被越来越多的用于视频监控系统中，例如可以用来统计公路上的车流量，这样的背景就更加复杂，背景和目标的灰度差变得很小，甚至背景和目标的灰度是交叉的，无法简单的用一张图片上的信息把运动目标提取出来。所以，就需要找出一种在复杂背景下的可靠的目标提取方法。一个实时的视频采集系统都具有以下特性：(1)背景的连续性和差异性。在实时监控系统中，由于视频采样的速度很快，一般每秒采样20到3

6、0帧。相对于运动物体，背景在一段时间内是静止的，或者连续的，总之不会变化很大的；同时由于光照，干扰等因素的存在，背景又是会变化的，这些变化对于运动物体的提取来说就是干扰。(2)目标形状的连续性。运动目标一般在一段时间内的变化是连续的，不会发生突变。(3)目标位置的连续性。运动物体的轨迹一般是连续变化的。相邻帧之间的差异是很小的，可以利用这一点定位出运动物体的当前位置。4)一般情况下，运动目标的面积要比背景的面积小。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的

7、影响，使得运动检测成为一项相当困难的工作。常用的运动检测的方法有：帧间差法、背景差法、光流法。3帧间差法帧间差分法主要是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提取的。一个最根本的帧间差分法的过程如下图。图1帧间差分法框图假设摄像机位置固定并且光照恒定，那么在不同时刻上获取的图像之间的简单相减使得运动检测成为可能。这个运动检测的原理和人眼检测运动物体的原理也有相似之处，因为人眼对视场中的运动物体也是通过分析前后时间图像的不同来识别运动物体的。首先计算第t帧图像与第LI帧图像之间的差异。得到差分后的图像D,然后对差分后图像B进行二值化,当差分图像中某一像素的差大于某一个给定的阈值

8、时，那么认为该像素为可能的目标像素，反之那么认为是背景像素。在差分图像2二值化后得到尺，最后对其进行连通性分析，当某一连通的区域面积大于某一给定的阈值，那么检测到目标。并认为该区域就为目标所占的区域。如果场景中没有运动的目标，那么连续帧图像之间变化很小（实际应用中，由于受到环境亮度变化、电路噪声、A/D噪声等影响，即使图像未变化，帧间差也往往不为零）.反之假设有运动目标进入，那么会引起图像变化，运动估计中有一个依据是图像强度的变化，可以用图像序列中相邻时间的一对图像的差来表示强度。这种计算简单、运算量小、检测速度快，并且容易实现实时监视，而且由于相邻帧的时间间隔一般比拟短。因此该方法对场景光线

9、的变化一般不太敏感。使用帧间差方法的时候，可以将帧间的差先存起来，然后用阈值分割的方法分割出差分图像。总的来说，帧间差分法计算简单，速度快，由于相邻两帧图像之间时间间隔较短，所以算法对光线的变化不是非常敏感。但是，这种方法的精度不高，而且对两帧之间的时间间隔有要求，如果帧率过大，导致目标重叠，检测不出目标；如果帧率过小，那么会产生假目标，导致错误。实验结果及程序如下：SOUrC=avirad(,E:shuzishipinCod2(BG_Extraction)san_fran_traffic_3C)Sc_QVGA_CinPak.avi,);fr=SOUrC(1).CClata;fr_bw=rgb

10、2gray(fr);T=20;forn=2:100cur=SOUrC(n).cdata;cur_bw=rgb2gray(cur);diff=abs(cur_bw-fr_bw);diff=diffTfigure(1),subplot(1,2,1),imshow(cur_bw),subplot(1,2,2),imshow(diff);frbw=curbw;end4混合高斯背景模型现实中背景常常不是一成不变的，例如光照变化，树叶随风飘动，水面波光闪动等，这就使得背景的变化不是按照单蜂的形式。如果说用上述的高斯背景更新方法还能对光照等缓慢的变化起适应作用的话，那么当在光照变化时，树叶也同时飘动的话将造

11、成背景的不确定性。即多模态背景的情景，在这种情况下，就需要利用多个单模型的集合来模拟一个场景中一个像素的变化情况，即对背景用多个高斯模型来综合表述。多模态背景的情形那么需要用多个分布来共同描述一个像素点上的颜色分布，StaUffer等提出了一种自适应混合高斯模型，对每个像素采用了多个高斯模型的混合表示。用(X,)来表示均值为，协方差矩阵为的高斯分布的概率密度函数。我们选择多个高斯分布的混合去模拟每个像素的历史记录X1,X2,Xt,设用来描述每个点颜色分布的高斯分布共有K个，分别记为：(Xt,it,it)i=l,2K;其中下标t表示时间。因此当前像素Xt的概率为：KP(XJ=J,r(X“)z=l

12、其中是每个单模型的权值，其大小表达了当前用这个模型表示像素时的可靠程度；为这个单模型的均值，表达了每个单峰分布的中心；“为这个单模型的单峰分布的宽度大小，其大小表达了像素值不稳定的程度；K表达了像素值多分布的峰的个数，K的取值依赖于像素值分布情况，同时也取决于系统的计算能力，通常取值为3-5之间，是预先设定的。本文根据各个像素的值的分布情况，动态地建立模型。可以看出，上述方法把一个像素值的观测用多个单模型来表示。为了使模型能不断贴近当前像素值的分布规律，需要对每一个新到的像素值更新这个模型的参数。其参数修正步骤如下：1） 对于每一个新的像素，首先检测其是否匹配这个模型，检测的方法是：match

13、edXt-a：(1-)g+。=1z=lz=l所以无需对其进行归一化处理。如果有新的模型产生，那么就要对原来的的各个模型的权值进行归一化处理：9z=l使用上述模型实现了对像素值的模拟，即对每一个新到的像素值需要判断其是否为目标像素或背景像素，也就是说在判别哪些单模型是用于表示背景像素的。一个混合模型中是背景像素的模型应具有这样的特点：权值较大，方差较小。同时考虑这两方面因素，但很难说两者中哪一个参数对判断单模型是背景模型更重要。可以不必单独讨论这两个参数对判断是否是背景模型的影响，只需考虑二者在模型集合中的相对大小，以便求出那些属于背景的模型来。可以使用相对值%的大小作为各高斯分布的优先级。求取

14、背景像素模型的方法如下：(1)计算每个高斯模型的优先级%(2)依照优先级%的大小对各高斯分布按从高到低的次序排序(3)从K个高斯分布中选出前B个高斯分布作为背景模型，B认定为：(-bB=argminfojkTk=l)其中，T是作为估计背景的最小测度，通过T的设定可以选出描述背景的最正确的分布，假设T的值选的较小，背景模型通常是单模态的，如果这与实际情况相符.仅仅利用优先级最高的分布就可以得到满意的效果；假设T的值选的较大，那么背景模型可以描述背景重复变化造成的多模态情况（比方：树叶的摇晃，水纹的波动等等），这对估计同一像素上具有两个甚至更多不同颜色的背景有明显的效果。根据前B个高斯分布建立的背

15、景模型,按照优先级次序将X,与B个高斯分布逐一匹配，假设没有表示背景分布的高斯分布与X,匹配，那么判定该点为前景点，否那么就是背景点，从而完成自适应多高斯模型下的目标检测。实验结果及程序如下：SOUrC=avirad(,E:shuzishipinCod2(BG_Extraction)san_fran_traffic_30sc_QVGA_Cinepak.avi,);fr=SOUrC(1).CClata;fr_bw=rgb2gray(fr);fr_size=SiZ(fr);width=fr_siz(2);hight=fr_siz(1);fg=Zros(hight,width);C=3;M=3;D=

16、2.5;alpha=0.01;thresh=0.25;sd_init=;w=Zros(hight,width,C);man=Zros(hight,width,C);sd=ZerOS(hight,width,C);u_diff=Zros(hight,width,C);p=alpha/(1C);rank=Zros(l,C);PiXl_clPth=8;PiXl_rang=2八PiX1_daPth-1;fori=l:hightforj=1:width%initializWightsarray%PiX1mans%PiX1standardClViaticmS%8-bitresolutionfork=l:C

17、man(i,j,k)=rand*pixl_rang；%Inansrandom(0-255)w(i,j,k)=1/C;%WightsuniformlydistSd(i,j,k)=sd_init;ndndendforn=50:100%lngth(sourc)fr=SOUrC(n).cdata;%radinframefr_bw=rgb2gray(fr);%COnVrtframtograyscalform=l:Cu_diff(:,:,m)=abs(ClOUbl(fr_bw)-ClOUbl(man(:,:,m);ndfori=l:hightforj=1:widthmatch=O;fork=l:Cif(a

18、bs(u_diff(ifjfk)rank(:z:m)rank_tmp=rank(:zm);rank(:,:,m)=rank(:,:,k);rank(:,:k)=rank_tmp;rank_ind_tInP=rank_ind(m);rank_ind(m)=rank_ind(k);rank_ind(k)=rank_ind_tamp;endendnd%CalCUIatforgroundmatch=0;k=l;fg(ij)=0;WhiI(match=0)(k=thrash)if(abs(u_diff(iAjrank_ind(k)=D*sd(i,j,rank_ind(k)fg(ij)=0;match=1

19、ISfg(ifj)=fr_bw(izj);endendk=k+1;ndndndfigure(1),subplot(1,2,1),imshow(fr)subplot(1,2,2),imshow(uint8(fg)nd5光流法人们基于不用的理论根底提出了各种光流计算方法，算法性能各有不同，但根本思想是一致的。现在比拟通用的定义表述有：“流”是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。将二维图像平面特定坐标上的灰度瞬时变化率定义为光流矢量。光流场

20、是指图像灰度模式的外表运动，图像上每一点的光流就形成了光流场。它是一个二维矢量场，它包含的信息即是各像点的瞬时运动速度矢量信息。研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。按照理论根底和数学方法的区别一般将光流法分为四种：微分法、基于区域的匹配法、基于能量的方法和基于香味的方法。这里只介绍最常用的微分法。微分法是以经典的HOrnGSchunck方法为代表。假定图像上的点相=(羽y)在时刻t的灰度值为/(工9)，经过间隔4后对应点的灰度为/(x+d+出/+4),当40时可以认为两点的灰度不变，即/(x+d%,y+dy+4)=(x,y)如果图像灰度随,、y和，缓慢变化，可将上

21、式左边泰勒展开/(x+4,y+dy+4)=(x,yj)+gd+已。+4+其中E代表二阶无穷小项。由于4o,忽略,可以得到IdxIdI八-+-+二Oxdtydtt令-4,V=冬代表羽方向上的光流，4=3，多，”与分别代表图像灰度dtdtoxyQt相对于x、和，的偏导，那么上式可以写成Ixu+Iyv+1=0写成向量形式为WM+4=。其中W=(4,J是图像在点机的梯度，=(,v)是加的光流。上式成为光流约束方程，是基于梯度的光流计算方法的根底。光流约束方程包括K#两个未知量,显然有一个方程并不能唯一确定以L必须引入附加的约束条件。LUCaS和Kanada假设在一个小的空间邻域。上运动矢量保持恒定，然

22、后使用加权最小二乘法估计光流。在一个小的空间邻域Q上,光流估计误差定义为Wx)(lxu+Iyv+I(x,y)其中卬2(力表示窗口权重函数，它使邻域中心区域对约束产生的影响比外围区域更大，上式的解为U=(ArW2Ay1ArW2B其中在/时刻的个点xQ,a=v(x)，v(x”),W=成gw(Xj,W(XJ,B=-A(X1),(XJLHornGSchunck算法比其他光流算法实现起来比拟简单，运算量比拟小，但是该算法也存在一些缺陷。首先，图像灰度保持假设对于许多自然图像序列来讲是不适宜的，尤其在图像的遮挡边缘处时，约束方程存在较大误差。其次，基于梯度的技术要求/(,3V)必须是可微的，因此必须对图像

23、数据进行时空平滑以防止混叠效应，而且对数值微分的求取具有病态性，如果处理不当，将对最终的光流估计产生显著影响。实验结果及程序如图：functionuv=HS(iml,im2,alpha,it，Ulnitial,VlnitialzdisplayFlowrdisplaylmg)ifnarginlnargin2iml=imrad(,yos9.tif,);im2=imrad(,yoslO.tif,);ndifnargin3alha=l;ndifnargin4it=IC)O;ndifnargin5narginUlnitial=Zros(SiZ(iml(:,:,1);Vlnitial=Zros(SiZ(i

24、m2(:,:,1);ISeifSiZ(U工nitial,1)=0SiZ(V工nitial,1)=0Ulnitial=Zros(SiZ(iml(:,:,1);Vlnitial=Zros(SiZ(im2(:,:,1);endifnargin7displayFlow=l;ndifnargin8displaylmg=iml;nd%COnVrtimagStograysealifSiZ(SiZ(iml),2)=3iml=rgb2gray(iml);ndifSiZ(SiZ(im2),2)=3im2=rgb2gray(im2);ndiml=doubl(iml);im2=doubl(im2);iml=smoot

25、hImg(iml,1);im2=smoothImg(im2f1);tic;u=Ulnitial;v=Vlnitial;fxfyfft=COmPUtDrivativs(iml,im2);krn1/61/12;1/6O1/6;1/121/61/12;fori=l:itUAVg=COnV2(ukrn1_1,same,);VAVg=COnV2(v,krn1_1,1Sam,);U=uAvg-(fx.*(fx.*uAvg)+(fy.*vAvg)+ft)./(alpha八2+fx.a2+fy.A2)；V=vAvg-(fy.*(fx.*uAvg)+(fy.*vAvg)+ft)./(alpha八2+fx.a2+fy.A2)；ndu(isnan(u)=O;v(isnan(v)=O;ifdisplayFlow=lPlOtFlOW(U,v,ClisplayImgz5,5);end6结束语本文主要介绍了图像序列中运动目标的提取算法：帧间差分法、混合高斯背景模型以及光流法。重点介绍了帧间差分法和混合高斯模型的背景差法，通过实验分析了这两种方法优缺点，对这两种方法进行改良。针对混合高斯模型的缺乏，本文提出了自适应的多高斯背景模型方法，并做了实验。从实验结果来看，该方法行之有效.