《计算机视觉跟踪运动人体目标方法研究 毕业论文.doc》由会员分享，可在线阅读，更多相关《计算机视觉跟踪运动人体目标方法研究 毕业论文.doc（29页珍藏版）》请在三一文库上搜索。
1、计算机视觉跟踪运动人体目标方法研究目 录摘 要IIIABSTRACTIV1前 言11.1 课题研究背景和意义11.2 国内外研究现状21.3 图像的预处理41.4 目标检测41.5 目标跟踪41.6 技术难点41.7 面临问题52图像预处理72.1 图像增强72.1.1 对比度增强72.1.2 直方图均衡化72.1.3 实时中值滤波快速算法的并行实现82.2 算法介绍82.3 预处理结果与分析102.4 噪声消除112.5 形态滤波112.5.1 腐蚀112.5.2 膨胀122.5.3 开运算132.6 阴影消除143目标物的检测163.1 运动目标检测163.2 目标分类174目标物的跟踪1
2、94.1 运动目标的跟踪技术194.1.1 基于Hausdoff距离的运动跟踪194.1.2 基于区域的运动跟踪194.1.3 相关跟踪204.1.4 光流跟踪204.1.5 基于网格的运动跟踪204.2 人体运动状态估计214.3卡尔曼滤波理论224.3.1 滤波理论基础224.3.2卡尔曼滤波器的特点224.3.3卡尔曼滤波发散的原因和抑制235结 论24谢 辞25参考文献26摘 要视觉跟踪问题是当今计算机视觉领域的研究热点。随着社会公共安全体系的逐步完善，公共场所中对安全智能监控系统的要求越来越高，这使得许多知名公司和科研机构在此课题中投入大量人力财力。人体运动目标的检测与跟踪使视觉跟踪
3、的重要部分，它在未来研究领域中将有广阔的前景并能带来巨大的社会效益。运动目标检测与跟踪的研究对象是视频序列，或者说图象序列。运动目标检测就是判断视频序列中是否存在运动目标，并确定运动目标的位置;运动目标跟踪是指在整个视频序列中监控运动目标的时空变化，如目标的出现与消失，目标的位置、尺寸和形状等。运动目标的检测与跟踪是紧密关联的两个过程，跟踪始于检测，而目标在后续图象序列中的重复检测也有助于目标的跟踪。由于光照变化、背景干扰、阴影、摄像机的抖动以及运动目标之间遮挡等现象的存在，都给运动目标的正确检测与跟踪带来了极大的挑战。关键词：运动目标跟踪；图像处理；卡尔曼滤波 ABSTRACTVisual
4、tracking is currently one of the most active topics computer vision. As U.N. attaching the importance to the social public safety, the safe intelligent detection system needs to be improved and become more and more effective in public. Then the research agency of many countries and some world famous
5、 companies are now paying much attention to this field. As an essential part of the human motion analysis system, the research in people detecting and tracking can provide broad potential use in the future and economic benefits to the society. The research interest of moving objects detection and tr
6、acking is video sequence or image sequence .Object detection in videos involves verifying the presence of an object in image sequences and possibly locating it precisely. Object tracking is to monitor an objects spatial and temporal changes during a video sequence,including presence,position,size，sh
7、ape,etc. These two processes are closely related because tracking usually starts with detecting objects, while detecting an object repeatedly in subsequent image sequence is often necessary to verify tracking. Due to changes in illumination of the scene background perturbations shadows, vibration of
8、 the camera and occlusions between moving objects，precise detection and tracking of moving objects are still a challenge field of research.Keyword：Moving object tracking ;image processing ;Kalman filter 261前 言1.1 课题研究背景和意义计算机视觉是计算机科学和人工智能的一个重要分支。它研究的主要内容是怎样利用各种成像系统代替视觉器官来获取信息，由计算机代替大脑完成对信息的处理和解释，使计算
9、机具有人一样的视觉功能。智能视频监控是计算机视觉的一个重要应用领域，有着广阔的应用前景，尤其是那些对安全要求比较敏感的场合，如飞机场、地铁站、银行、商店、停车场等;另外，还有工业生产现场的监控以及交通系统的监控等等。目前监控摄像机的应用已经比较普遍，但大多没有充分发挥实时主动监督作用，没有智能化，摄像机只是一个电子眼而己，其具体监视过程，仍由人来完成。显然依靠人来执行这种长期的枯燥无味的例行监视工作其效果是不理想的，不但费用高，而且易受人为因素的影响，例如责任心，情感因素等等。因此在这些场合引入智能监控是非常合适的。要求监控系统每天24小时连续监控，能自动分析摄像机捕捉到的图像信息，当监视区内
10、有违法活动或有异常状况出现时，能采取必要的安全措施，同时向保安人员及时准确地发出报警信号，从而防治犯罪的发生，避免不必要的损失。2001年美国9.11事件。2005年英国7.7伦敦地铁爆炸案以及去年的美国校园枪击案等恐怖暴力事件的发生更使得世界各国都高度重视如何对国家重要安全部门和敏感的公共场合进行全天候、自动的、实时的监控，而智能视频监控系统为解决这一问题提供了一种有效的途径。近年来，各行各业对视频监控需求不断升温。特别是美国9.11事件以来，一些人群比较密集的公共场所或比较容易受袭击的公共场所，如机场、体育馆、外国使馆、地铁和银行等，都纷纷安装视频监控系统以保障人民生命和财产安全。目前在建
11、造智能大厦和选购住房时，安全防范系统越来越受到人们的重视。如果对现有的视频监控系统加以改进，实现对被监控目标的自动识别功能，就能够大大地降低犯罪率，节省人力物力资源，节约投资。有效的交通管理是一些大都市面临的难题。智能视频交通控制系统能及时提供各路段的车辆流量和路况信息，记录违章车辆，以便实现准确快速的交通指挥调度，达到充分利用现有的道路资源，提高突发交通事故的处理能力，从而为人们的出行提供快捷舒适的交通服务。一些工业生产线上，也利用无人监控系统检测产品质量。视频监控在军事上也有广阔的应用前景。准确及时地掌握海防区域的军事情况，对于有效保卫祖国的领海和领土，在未来战争中做出快速反应、掌握战争主
12、动权有着极其重要的意义。建立海防远程视频监控系统，对关键口岸、哨所和敏感地区实施监控，就能使情报部门直观、及时地监视边海防前线情况，提高情报获取的实时性和综合处理能力，也能有效防止偷渡、出逃、走私和贩毒等非法行为。毋庸置疑，在2008年的北京奥运会中，计算机视频监控系统将大放异彩，它将广泛用于智能化的交通调度、现代化的体育场馆和优雅舒适的奥运村，为参加奥运会的各国朋友在北京的比赛、游览提供安全舒适的服务。1.2 国内外研究现状目标的目标跟踪是基于对一个图像序列的研究，从序列图像中监测到运动的目标，并对目标运动的规律加以预测，实现对指定的目标进行准确且连续的跟踪。以下讨论目标的分割与跟踪的简单分
13、类：按照检测与跟踪的先后可分为：先跟踪后检测（Track-before-Detect）和先检测后跟踪（Detect-before-Track）两种方法。在远距离搜索与监视过程中，多半是使用先跟踪后检测的方法。如CCD(ChangeCoupled Device)宽场望远镜搜索或跟踪天空中的流星、卫星或其他运动目标，用记载或地面红外（电视）搜索跟踪系统搜索远距离目标等。目标距离传感器较远，它们在传感器中的成像为点目标，相对于背景和传感器噪声而言，目标强度较弱，基本上被噪声所淹没。由于没有形状、大小、纹理等特征，无法用传统的图像处理技术从单帧图像中检测到目标，必须采用基于目标运动特征的序列图像处理方
14、法，边检测边跟踪，设法使目标航迹积累能量，提高信噪比，以达到抑制噪声、目标跟踪的目的。反之，可采用先检测后跟踪的策略。先检测识别目标，再利用目标特征建立模式，然后对目标状态进行预测，搜索匹配实现跟踪。按照目标在视野中的大小比例可分为：点探测跟踪和成像探测跟踪两种探测跟踪方式。点探测跟踪能提供的信息有点辐射能量，点的位置及其变量，通常应用于短距离目标；成像探测跟踪能提供的信息有目标的辐射亮度及其分布，并进一步感知目标的形状特征及矩描绘特征，进而确定目标的位置及其变量。因此，成像跟踪方式较点跟踪方式所能感知的信息要丰富的多，精确的多。在自然干扰及人工干扰情况下，成像跟踪可以根据其丰富的信息量去除干
15、扰的影响以及提高探测跟踪的精度。一般来说，运动目标的分割与跟踪就是通过计算有传感器所获得的图像与包含的参考图之间的相似性，确定目标当前的位置、运动参数、空间结构，并给出相应的跟踪过程。因此，运动目标的分割与跟踪是以图像处理技术为核心、有机融合了计算机技术、传感器技术、模式识别、人工智能等多种理论和技术的新型的目标分割跟踪技术。它是图像处理技术的直接应用。上世纪50年代初，GAC公司就为美国海军开发研制了自动地形识别跟踪系统（ATRAN）。图像信息的获得和处理是图像跟踪的基础。进入70年代以来，随着相关理论与技术的不断发展，图像跟踪技术无论从理论研究、还是从应用研究上都取得了巨大的进展。在学术研
16、究方面：自W.Meger和G.Drius报道了有关二维相关计算以来，Anuta、Blom、Blatnea、Maurer等人对图像跟踪研究领域的新思想、新方法、新进展作了系统而全面的论述。到上世纪70年代初期，自适应跟踪、智能跟踪的思想方法相继提出。1980年，由美国国防预研局（DARPA）和联合军种委员会（JSG&CC）联合发起并成立了自动跟踪识别工作组（ATRWG）。它主要负责图像数据的标准化，为自动目标识别跟踪制定统一的规格，每年定期举行三次会议。许多国际性刊物，如：IEEE on AES，IEEE on PAMI，IEEE on AC，Pattern recognition，Procee
17、dings of SPIE等成了许多专家、学者学术交流的重要园地。在国际上已经为图像跟踪的研究提供了良好的环境，并取得了可喜的成就。我国对图像跟踪技术的研究起步较晚，但是近年来，随着图像处理技术、计算机技术、特别是大规模集成电路技术（VLSI）、超大规模集成电路技术（HVLSI）（TMS320系列芯片，Transputer芯片等）、以及各种传感器技术（如红外、雷达、激光、毫米波、微波等）等的迅速发展，再加上国际上的影响、国内政府的支持，为图像跟踪技术的研究创造了优越的环境、提供了必要的理论基础和技术条件。目前，一些高等院校、科研院所都已经开展了此项研究工作。目前，国外的视频跟踪技术相对成熟，已
18、经有了一些雏形系统，比如卡内基梅隆大学领导的视频安全与控制(VSAM) 研究计划。根据这个计划，研究人员研制了一个端到端的测试系统，集成了很多高级视频安全监控技术，比如静止背景和运动背景下的实时目标探测与跟踪，普通目标(比如人、轿车、卡车)的分类识别，特殊物体(比如校车等具有特殊标记的物体)的分类识别，目标姿势估计，摄像机的自主控制，多摄像机协同跟踪，人体步法分析等等。此外，马里兰大学的实时监控系统W4可以利用单摄像头对人体以及人体的各个部分进行实时地跟踪。所谓W4，是指Who，When，Where，What，也就是说这个系统可以确定目标是谁，什么时间、什么地点，他在干什么。而IBM等大公司也
19、在资助这个领域内的相关研究，期望能将研究成果应用到商业领域中。视频跟踪对运动人体的检测与跟踪主要包括，图像的预处理，运动目标的检测，运动目标跟踪三个方面。1.3 图像的预处理对于视频采集到的图像，由于其受到环境等因素的干扰，会产生噪声信号，需要对采集的原始图像先进行预处理，再实现目标的提取。图像的预处理主要指图像的去噪，传统的去噪方法有中值滤波，均值滤波，Donoho软门限去噪，Lee滤波等等，经过去噪处理后图像更加平滑，对于后续的处理工作起到至关重要的作用。 1.4 目标检测运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是
20、非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。1.5 目标跟踪跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，常用的数学工具有卡尔曼滤波 (Kalman Filtering)、Condensation算法及动态贝叶斯网络 (Dynamic Bayesian Network)等。其中Kalman滤波是基于高斯分布的状态预测方法，不能有效地处理多峰模式(Multi-mode)的分布情况;Condensation算法是以因子抽样为基础的条
21、件密度传播方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。目前，就跟踪对象而言，有跟踪如手、脸、头、腿等身体部分与跟踪整个人体的，就跟踪视角而言，有对应于单摄像机的单一视角、对应于多摄像机的多视角和全方位视角，当然还可以通过跟踪空间(二维或三维)、跟踪环境(室内或户外)、跟踪人数(单人、多人、人群)、摄像机状态(运动或固定)等方面进行分类。1.6 技术难点尽管视觉监控已经取得了一定的成果，但下面几个方面仍是技术上的难点，快速准确的运动分割是个相当重要但又是比较困难的问题。这是由于动态环境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之
22、间或者物体与物体之间的遮挡、甚至摄像机的运动等，这些都给准确有效的运动分割带来了困难。就以运动目标的影子为例，它可能与被检测的目标相连，也可能与目标分离。在前者情况下，影子扭曲了目标的形状，从而使得以后基于形状的识别方法不再可靠;在后者情况下，影子有可能被误认为场景中一个完全错误的目标。尽管目前图像运动分割主要利用背景减除方法，但如何建立对于任何复杂环境的动态变化均具有自适应性的背景模型仍是相当困难的问题。一个可喜的发展是，一些研究者们正利用时空统计的方法构建自适应的背景模型，这也许对于不受限环境中的运动分割而言是个更好的选择。目前，大部分人的运动分析系统都不能很好地解决目标之间互遮挡和人体自
23、遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难于处理。遮挡时，人体只有部分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与身体各部分之间的准确对应问题。另外，一般系统也不能完成何时停止和重新开始身体部分的跟踪。当然，可喜的进步是利用统计方法从可获得的图像信息中进行人体姿势、位置等的预测;不过，对于解决遮挡问题最有实际意义的潜在方法应该是基于多摄像机的跟踪系统。1.7 面临问题虽然对目标检测的援救已经经历了几十年的时间,但是到目前为止面临很多不能很好解决的问题：1、在运
24、动目标分割过程中，背景的提取与更新是比较关键的步骤。如果背景静止不变,则运动目标分割相对容易实现。然而，多数情况下，背景是动态变化的，常存在物体的移入或移出，如果不能很好的处理背景中的干扰现象，则作为背景的运动物体的监测必然将受到影响。2、视频场景中光线变化问题(渐变、突变、反光)同样会影响背景的提取与更新。必须不断地对背景进行实时估计，解决两度变化问题，才能更好的完成运动目标的检测。3、光照条件下，目标存在阴影。与背景不同，运动目标的阴影将随运动目标移动.检测分割的结果可能是阴影与目标的出现。4、遮挡也是运动目标检测过程中一个难以解决的问题，在运动目标前方的遮挡物很可能会作为目标的一部分被提
25、取出来，从而造成监测目标形变.严重时会造成运动目标检测的失败。5、背景物体的干扰运动。背景中存在的如风中树叶的摇动,水面波光的闪动,车窗玻璃的反光以及天气的变化等许多细微活动，同样会影响到运动目标的检测。6 另外目标运动过程是否连续，速度如何，是否存在往返运动的现象等问题也关系到运动目标的检测。2 图像预处理在实际应用中，由于图像在微光CCD摄像系统成像的过程中不可避免地受到各种因素的干扰，以及周围环境的影响，使得所摄取的图像质量较低，对这样的图像直接进行目标的提取和跟踪是比较困难的。因此，我们需要对图像进行预处理，减少或滤除各种噪声和随机干扰，增强有用信息，提高后续处理的有效性和可靠性，为图
26、像分割创造良好的条件。在对运动图像序列进行处理之前，应对其进行预处理，目的在于提高图像质量、增强有用信息。2.1 图像增强由于CCD摄像系统的影响，或者是摄像机周围环境的影响等因素，使得摄像系统摄取的图像存在一些问题，如图像的灰度分布不均匀，整帧图像的灰度范围较小，这样图像显得对比度不够、模糊不清，目标与周围景物之间的灰度差别很小，这样的图像直接进行目标的提取和跟踪将比较困难，而且使得目标的轮廓不清，这样我们需要预先对图像进行图像增强处理，图像增强技术是用于改善图像视感质量所采取的一种较通用的方法。通常要完成的工作是除去图像中的噪声，使边缘清晰以及突出图像中的某些性质等。图像增强技术发展比较迅
27、速，图像增强处理的目的是改善图像的视觉效果，将图像转换为一种更适于人或机器分析的形式。图像增强技术可使图像灰度级的动态范围增大，使得轮廓比较清晰，对比度增大。使被跟踪目标和干扰与背景的灰度区别增大，易于将被跟踪目标和干扰从背景图像中分离出来进行处理。下面介绍几种图像增强的方法：2.1.1 对比度增强照片或电子图像常见的毛病是对比度不理想，这由于图像亮度不够或非线性而引起的。对每一灰度值重新分度，改善图像对比度，从而改善图像的视觉效果。若令代表原图像灰度值，S代表增强后图像的灰度值ST（）。利用这种变换技术可使原图像中灰度小于M或大于N的部分对比度减小，而在M-N区域内的对比度增加，从而使得增强
28、后的图像视觉效果更好。2.1.2 直方图均衡化直方图表示数字图像中各灰度级与其出现的频数间的统计关系。一幅自然图像的线性量化图，各灰度值的概率通常是不一致的，有些分布集中在较暗的区域，图像具有较暗的特性，因此暗区的细节常常看不出来；有些反之。这类图像增强的一种方法是所谓的直方图修正技术，直方图修正是图像增强的最常用、最重要的方法之一。利用图像灰度分布（直方图）信息，对灰度分布形式作校正来修正图像灰度，最终达到图像增强的目的。因此它是基于度量空间（灰度分布）的灰度修正方法。采用直方图修正可使原图像灰度级集中的区域拉开或使灰度分布均匀，从而增大反差，使图像的细节清晰，达到增强的目的。增强后的图像量
29、化误差增大，但视觉效果却得到了改善。直方图修正中具有最优性质的是直方图均衡。图像直方图均衡处理就是用灰度变换函数对输入图像直方图进行修正，修正后的图像直方图趋向均匀分布。设为原始图像的第k级灰度，为变换后的图像的第k级灰度，那么图像直方图均衡的具体方法如下：首先计算原始图像的灰度级直方图，用表示。计算灰度级变换函数 （2.1）其中N是图像的像素总数。然后根据灰度级变换函数完成图像的灰度级变换。由于只是图像灰度级概率密度函数的近似，因此经过直方图均衡后，只能得到接近平坦的直方图。2.1.3 实时中值滤波快速算法的并行实现滤波能增强有用信号，提高后续处理的有效性和可靠性，为图像分割创造良好的条件。
30、目前最常用的图像去噪工具是均值滤波器和中值滤波器它们分别是线性滤波器和非线性滤波器的代表。其中均值滤波器主要用来抑制高斯噪声，而中值滤波器则主要用来抑制脉冲噪声。均值滤波器，算法简单，易于实时处理，且对高斯噪声有较好的平滑能力。但均值算法会破坏图像边缘，且对脉冲噪声十分敏感，没有充分利用图像像素间的相关性和像素的位置信息。中值滤波器具有能够彻底滤除尖波干扰噪声，同时又有能较好保护目标图像边缘的特点。2.2算法介绍中值滤波是由Tukey首先提出的一种典型的非线性滤波技术。由于它较好地解决了消除脉冲干扰和保持信号边缘问题，在图像滤波中得到广泛应用。标准一维滤波器的定义为： （2.2）其中：表示取中
31、值操作中值滤波的滤波方法是对滑动滤波窗口内的像素作大小排序，滤波结果的输出像素值规定为该序列的中值。例如取滑动窗口，中值为窗口内第五个最大的像素值。中值的计算在于对滑动窗口内像素的排序操作。要进行排序，就必须对序列中的数据像素作比较和交换，数据元素之间的比较次数是影响排序速度的一个重要因素。传统的排序串行算法是基于冒泡排序法，若窗口内像素为个，则每个窗口排序需要作次像素的比较操作，时间复杂度为。此外，常规的滤波算法使窗口每移动一次，就要进行一次排序，这种做法实际上包含了大量重复比较的过程。若一幅图像的大小为，则整个计算需要时间，当窗口较大时计算量很大，较费时。针对33中值滤波，采用了一种快速的
32、并行滤波方法，通过巧妙设计，避免了大量的重复比较操作，每一窗口排序需要时间，整个计算需要时间，易于实时处理。快速算法及其实现：为便于说明，将33窗口内的9个像素分别定义为表1 窗口内像素排列第0列第1列第2列第0行第1行第2行首先对窗口内的每一列分别计算最大值,中值和最小值.这样就得到三组数据,分别为最大值组,中值组和最小值组.计算过程表示如下：最大值组：中值组： （2.3）最小值组：（2.3）公式中max表示取最大值操作，med表示取中值操作，min表示取最小值操作。由此可以看到，最大值组中的最大值与最小值组中的最小值一定是9个像素中的最大值和最小值。除此，中值组中的最大值至少大于5个像素：
33、本列中的最小值和其它两列的中值和最小值；中值组中的最小值至少小于5个像素：本列中的最大值和其它两列的最大值和中值。同样，最大值组中的中值至少大于5个像素，最小值组中的中值至少小于5个像素。即最大值组中的最小值为，中值组中的中值为，最小值组中的最大值为中的中值。这一计算过程表示如下： （2.4）采用该方法中值的计算仅需作19次比较，与传统算法相比，比较次数减少了近2倍，且该算法十分适用于在FPGA上作并行处理。2.3 预处理结果与分析我们取33正方形中值滤波的窗口，效果如下图1所示为原始图像，经快速中值滤波和均值滤波处理后的结果。显而易见，快速中值滤波平滑掉了原图中的点状噪声，而且边缘清晰度比较
34、值滤波的效果好。（a） 原始图 （b）均值滤波效果图 （c）快速中值滤波效果图 图12.4噪声消除在背景区域中被错分的像素表现为零散的噪声点或小的噪声块，而在前景区域中会使人体的区域出现空洞现象，这些对于判断前景物体是否为人类和对人体的颜色特征进行提取都会产生不利影响。所以在分割步骤以后还要对二值化映射图进行去噪声和补空洞的处理步骤。这里采取数字图像处理中的数学形态学处理的开、闭运算来完成这个工作。我们可以通过调节膨胀、腐蚀模板的尺寸大小来控制去噪声的力度，它的值的大小可根据场景和噪声的具体情况确定。2.5形态滤波数学形态学是一门建立在严格数学理论上的学科，其基本运算包括腐蚀(Erosion)
35、，膨胀(Dilation)，开(opening)运算和闭(Closing)运算。用这些算子及组合来进行图像结构和形状的分析和处理，包括图像分割，特征抽取，边缘检测，图像滤波，图像增强和恢复等方面的内容。形态学是从数学理论的集合角度去定义分析的，有关数学的理论这里不再累述，只把形态学在图像滤波中的应用总结如下。2.5.1腐蚀 腐蚀算子在对二值图像处理时可以采用不同的腐蚀元，3x3窗口或5x5窗口或更大的窗口，下面表 2以3x3窗口为例说明该算子的算法。从二值图像的起始位置开始，取一3x3的窗口，只有当窗口内的9个像素点的灰度值都为O时，中间点的像素值才为0，如图(d)、(e)所示，如果9个像素点
36、中有一个以上的点的值为255，则中心点的像素值为255，如图(b)、(c)所示。该算法可以用公式描述如下: （2.5） 其中，为窗口中心点的像素。 AbcDefGhi0000025500255000025525500255 (a) (b) (c) 000000000000000000 (d) (e) 表2 腐蚀算子滤波演算图（a）为图像某位置处像素的表示 （b）为该位置处像素的实际灰度值（c）为腐蚀处理后c点的像素值（d）为另一位置处像素的实际灰度（e）为该点腐蚀处理后c点的像素值 腐蚀的一种最简单的用途是从二值图像中消除不相关的细节，从上面的分析可以看出，经过腐蚀算法后的图像中的小的黑色区域
37、被去掉，只保留连续的较大的目标区域，从而达到滤波的作用。不同窗口的腐蚀元具有不同的滤波效果，虽然较大的窗口可以得到更好的滤波效果，但是太大的窗口会使图像损失过大，实验表明，采用3x3窗口或5x5窗口比较合适。2.5.2膨胀膨胀算子在对二值图像处理时也可以采用不同的膨胀元，通常采用3x3窗口或5x5窗口，下表 3以3x3窗口为例说明该算子的算法。从二值图像的起始位置开始，取一3x3的窗口，只有当窗口内的9个像素点的灰度值都为255时，中间点的像素值才为255，如图(d)(e)所示，如果9个像素点中有一个以上的点的值为O，则中心点的像素值为O，如图(b)(c)所示。该算法可以用公式描述如下: （2
38、.6）其中，为窗口中心的像素值。25525525525502550025525525525525525525500255abcdefghi (a) (b) (c) 255255255255255255255255255255255255255255255255255255 (d) (e) 表3 膨胀算子滤波演算图（a）为图像某位置处像素的表示 （b）为该位置处像素的实际灰度值（c）为膨胀处理后c点的像素值（d）为另一位置处像素的实际灰度（e）为该点膨胀处理后c点的像素值膨胀最简单的应用之一是将裂缝桥接起来。从上图的分析可以看出，二值图像经膨胀算法后可以把原来断开的部分连起来，这种算法虽然可以增
39、大目标检测的区域，但是也把噪声增强了。实验表明，采用的窗口越大，目标的断开点越少，但是窗口选择过大时引入的噪声也大大增强，实际中采用3x3窗口或5x5窗口比较理想。2.5.3开运算前面己经分析过，腐蚀使图像缩小而膨胀使图像扩大，而有时单纯的腐蚀或膨胀不能满足我们的要求，如我们希望图像在去噪后再进行断点桥连等，这时需要引入开操作和闭操作。开操作使对象的轮廓变得光滑，断开狭窄的间断和消除长细的突出物。闭操作同样使轮廓更为光滑，但与开操作相反的是，它通常用于填充狭窄的间断和长细的鸿沟，消除小的孔洞，并填补轮廓线中的断裂。开操作的基本过程是先对图像进行腐蚀处理，然后再对腐蚀的结果进行膨胀，而闭操作正好
40、是一个相反的过程，先对图像进行膨胀，然后对膨胀的结果腐蚀。图2给出了形态学滤波的结果，其中，第一列表示原始图像，第二列为差分图像，第三列为腐蚀处理后的差分图像，第四列为开运算后的结果。 图2 采用形态学方法对差分图像进行处理的结果从上图中可以看出，采用开操作后噪声被减小或完全被抑制，同时对目标区域出现的断点也基本得到桥连。2.6阴影消除阴影消除是运动目标精确检测的主要挑战之一。当分割和提取运动目标时，因为阴影具有两个重要的视觉特征:阴影显著地不同于背景而被理解为前景和阴影与产生阴影的目标具有相同的运动属性。而且视频中检测前景目标大多数使用帧间差分和背景差分方法，所以阴影点将被误检测为目标点。在
41、检测运动目标时，如不考虑阴影的影响，将可能导致如下问题:(1) 场景内目标的融合(阴影可能连接若干独立目标)；(2) 目标几何特征的扭曲(光照等外部条件引起的阴影变化将影响目标形状)；(3) 目标的丢失(阴影遮住了其他目标)；(4) 虚假目标的出现泪标与其阴影分离时，阴影被检测为目标)；这些都将直接影响到目标分类、识别、跟踪等后续处理。目前阴影检测方法主要有基于模型和基于颜色特征的方法。基于模型的方法假设目标的三维形状和光源属性已知，通过模型可以精确地计算出阴影的形状和位置，但这在实际应用中是不现实的。基于颜色特征的方法主要根据目标和阴影不同的光学和颜色特征来分离目标和阴影，是目前常用的检测阴
42、影的方法。3目标物的检测3.1运动目标检测运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。下面介绍目前几种常用的方法。(1)背景减除法背景减除方法是目前最常见的一种运动目标检测的方法.它的思想是通过当前图像与背景图像之间的差分来检测图像中的变化区域实现对运动目标的检测.这种方法实现起来比较简单.但一般只适用于背景静止的场景中,而对动态背景以及一些外来无关事件
43、的干扰较为敏感.另外即便是背景保持静止,由于环境光照强度的变化,影子的干扰以及环境噪声的影响等使得这种方法在实际运用中面临着许多鲁棒性问题.背景减除法的核心是如何获得一个较为准确的背景图像,目前最简单的背景模型是实践平均图像,另外现在许多研究人员也开发出其他的背景模型,例如 (2)时间差分法时间差分法指的是在动态图像序列中，利用相邻的两帧或三帧间的差分来实现运动目标的检测，例如.这种方法一般也能快速的从背景中分割出运动区域，并且对动态环境有较强的自适应性，对环境噪声以及光线强度等干扰相对与背景减除法有着较强的抗干扰性，但一般不能获得运动变化区域，在运动实体内部容易产生空洞现象，需要通过进一步的
44、分析处理实现运动目标的完全检测。(3)光流法光流法的历史见较长，是早期计算机视觉研究的比较多的方法之一，他的基本思想是构造光流方程，求解各个像素的光源，根据运动目标与背景随时间变化的光流人、特性的不同，将运动目标与背景进行区分，达到目标检测的效果，如。这种方法的优点是在摄像机运动时任然可以有效的实现运动目标的检测。然而光流法的运算一般都比较复杂，即便是现在的计算机处理水平也难以满足实际应用中的实时性的要求，所以光流法在没有相关硬件设备的保证支持下很难被应用于实时性要求较强的实际问题中。基于光流方法的运动检测采用了运动目标随时间变化的光流特性，如Meyer等通过计算位移向量光流场来初始化基于轮廓
45、的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。(4)运动能量法运动能量法把连续图像看作由二维空域加上时间维构成的三维空间，计算空时梯度，运动对象经过位置的像素空时梯度一致性高，梯度能量大，这种特性可以用于运动对象检测。运动能量法适合于复杂变化的环境，能消除背景中振动的像素，使按某一方向运动的对象更加突出的显示出来，但运动能量法分割出对象不够精确，而且方法过于复杂，不利于实现。在运动变化检测中还有一些其他的方法，如Friedman与Russe利用扩展的PEMIZ(Peetition Maximization)算法，为每个像素建立了混合高斯分类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、影子或者运动前景，在目标运动速度缓慢的情况下亦能较好地完成运动区域的分割，并可以有效地消除影子的影响;另外，Stringa也提出了一种新颖的基于数学形态学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割效果。3.2目标分类目标分类