基于融合判决的人群密度分析方法研究.doc

《基于融合判决的人群密度分析方法研究.doc》由会员分享，可在线阅读，更多相关《基于融合判决的人群密度分析方法研究.doc（8页珍藏版）》请在三一文库上搜索。

1、精品论文基于融合判决的人群密度分析方法研究周宇男，王生进（清华大学电子工程系，北京 100084）5摘要：针对视频监控中人群密集程度的估计问题，综合运用基于前景像素数目的分析方法和 基于图像纹理模式的分析方法，并提出了一种融合判决准则。在前景分析中，提出了对前景 图像进行边缘提取，并经过透视视角归一化处理，将前景边缘像素数目与人群密集度的整体 类别做映射的方法。在纹理分析中，提出了对视频图片进行重点区域提取的预处理方法，将 纹理特征统计量与对应的不同人群密集度建立映射关系。实验结果表明，基于融合的判决准10则，对监控场景的人群密度估计具有良好效果。关键词：视频监控；人群密度估计；前景像素数统计

2、；视角归一化；灰度共生矩阵中图分类号：TP391Crowd density estimation based on comprehensive judgment15ZHOU Yunan, WANG Shengjin(Department of Electronic Engineering,Tsinghua University, Beijing 100084)Abstract: In this paper a comprehensive judgement method, considering both the method based on the foreground pictures

3、and that based on texture information, is proposed for crowds estimating in video surveillance. Forground-based method obtains the eduge picture elements of foreground20pictures, normalizes the features for perspective, and uses the mapping between edge elements and different classes of crowd densit

4、y. In the texture analysis method, pre-process that picks up certain areas is proposed. Experimental results show that the comprehensive judgement between the two methods performs well to estimate the crowd density.Keywords: Crowd monitoring; Estimate crowd densities; Compute the number of foregroun

5、d25elements; Perspective normalization; Grey level co-occurrence matrix0引言随着经济的发展和科技的进步，人类群体活动日益增多，随之而来的群体安全问题得到 广泛关注。人群密集的活动场合，如体育赛事、大型庆典等等，易发生拥挤踩踏等安全事故。30还有很多场合如机场、车站、停车场等，需要获得人群密度与时间的关系信息用于更好的进 行人群管理和资源分配等工作。我们希望通过视频处理方法，实时监控人群密度信息，用于 紧急情况预警或者人群活动管理。现有的一些行人检测的方法通过训练行人特征，例如 HOG 特征1，再进行特征匹配， 目的是识别每

6、一个行人。不同于行人检测，人群密度分析一方面考虑到个人的隐私安全问题352，另外考虑到研究的目的不是给出完全精准的行人数目统计，而是人群密度分类信息。近 年来的研究更倾向于对视频图像进行整体的人群密集度进行分类分析。基于前景像素统 计的方法是利用人群数量与所占像素数成正比的关系 来进行人群密度 估计。该方法由 Davies3等人提出。首先除掉图像的背景，然后计算剩下的人群前景图像所 占的总像素数，或者利用边缘检测算法统计人群边缘的像素数目，同时人工获取图像中的实40际人数。Davies 选用卡尔曼滤波器来逼近像素数目与行人实际人数之间的线性映射关系，该 方法的均方误差是 8%。在简单的线性映射

7、模型基础上，利用混合全局学 习算法的神经网络基金项目：国家自然科学基金（61071135）；教育部博士点基金（20090002110077） 作者简介：周宇男，男，研究生，主要研究方向：计算机视觉及模式识别。 通信联系人：王生进，男，教授，主要研究方向包括：计算机视觉、视频监控及虚拟现实等。E-mail:- 8 -估计方法由 Cho4等人提出。作者将由前景图像获得的特征送入神经网络进行参数学 习，并 进行人群密度估计。在简单的背景减除方法基础上，利用基于 Markov 随机场保持图像前景和背景之间的不连续性信息的方法由 Paragios5提出。该方法基于 Markov 随机场，不仅利45用由背

8、景减得到的背景信息，还利用了图像空域的信息。但是这种方法受到人群重叠问题的 制约，人群重叠程度越高，方法准确性能越差。基于图像纹理分析技术的人群密度估计方法由 Marana6提出，认为高密度的人群在纹 理上对应“细模式”，低密度人群图像在背景图像也为低频时对应“粗模式”。对输入图像的纹 理进行统计分析并提取纹理特征，继而利用分类器对这些纹理特征统计量进行分类，得到人50群密集度的分类结果。Marana 认为纹理分析的方法有如下几类：基于统计模型的方法 7、基 于直线分割的结构方法8、基于傅里叶频谱的方法9，和基于分形的方法10。但是传统方法 中，基于结构的方法在分割过程中时间性能较差，基于傅里

9、叶频谱的方法需要特征量很多且 整体准确率较低，基于分形的方法无法对高密度人群的情况做准确的预测，而基于统计的方 法在人群密度较低的情况下准确性比较低。因而，以下本文对传统的两类人群密度估计方法55进行了改进和验证，并提出一种基于两种方法融合的分类判决方法。1基于前景像素数目统计的方法1.1 前景及边缘提取对视频图像进行前景提取、像素数目统计，继而估计人群密度是进行人群密度分析最直 观的方法。系统将分模块地实现前景提取、边缘提取、人群密度估计，并解决透视视角的归60一化问题。框架图如图 1 所示。图 1 基于前景像素统计方法框架图固定摄像头的情况下，背景变化，可将视频中运动的人群定义为前景。通过

10、对背景建模，65可以对提取出图像前景。前景提取方法有很多种，窦琴11等以 mean-shift 算法为基础，利用 GMM 前景分割和运动预测实现对目标的跟踪预测；熊正祥12通过累积帧差运动对象分割算 法提取运动前景，结合运动像素密度的度量算法，实现对运动的区域的估测。不同方法的效 果和应用场景也有所差异，因此将前景提取工作分离为一个单独的模块，可以适应不同的前 景提取方法。本文采用高斯混合背景模型方法对背景进行建模，使用 UCSD pedestrian70database 的一段用于行人检测是视频作为数据资源13。 图像的边缘提取方法有很多种，张滨14利用 Canny 的高阈值和低阈值边缘进行

11、整合，许迪15等引入基于图像反差的概念，计算局部梯度的相对值，均提高了边缘检测的质量。 希望找到所有行人的边缘，统计边缘像素点的数目。因此，在前景提取得到的二值图像基础 上检测前景边缘，比直接应用于原始图像提取边缘，能得到更好的行人轮廓效果。本文采用75Canny 边缘提取方法，提取前景二值图像的轮廓信息。1.2 透视处理视频中存在透视视角问题，使得距离摄像头位置近的行人在视频中所占据的面积要大于 距离摄像头位置远的行人。因而在进行像素数目统计时，要做透视视角的归一化处理。首先，定义基准区域内的透视因数为 1，如图 2 中左图矩形框区域，并测量矩形框内的80所有像素数 N0 和矩形框高度 H0

12、。为计算视频画面中不同位置的透视因数，可以跟踪同一个 行人所占据的矩形框，在不同位置 x 处，测量框内所有像素数目 N(x)和矩形框高度 H(x)。 则可以定义位置 x 处的边缘像素透视因数 E 和面积像素透视因数 A，如公式(1)： E = A =H 0H (x)N 0N (x )(1)85图 2 透视视角处理示意图在进行目标边缘像素数目 CE 或者面积像素数目 CA 统计时，对不同位置 Xi 内的像素数目乘以相应的透视因数，再进行累加得到最终结果，如公式(2)：C E = C E (xi ) E (xi )i(2)901.3 人群密度估计C A = C A (xi ) A (xi )i由于

13、重叠会引起人群目标像素面积数目的重叠损失，对行人个数的线性关系会有较大影 响，因此利用边缘像素数目进行人群密度估计。对一段视频，计算每一帧图像内的边缘像素数目，并人工数出逐帧图像内的行人个数，建立的映射关系如图 3 所示：95图 3 边缘像素数目与行人个数映射关系图100可以看到由一帧图像内的边缘像素数目难以准确确定行人的个数，但对于相同行人个数，像素数目会在一定参数范围内分布，并且不同区间存在明显的区分度。行人个数越多， 对应的像素数目越多。针对所取视频画面固定大小区域将行人密度分为若干参数区间，则由 边缘像素数目可以准确地估计人群密集程度。2基于纹理分析的估计方法1051101152.1

14、纹理特征统计量采用灰度共生矩阵方法描述图像纹理，灰度共生矩阵是一种基于图像的二阶联合条件概 率密度函数 P(i,j|d,)的特征描述方法，由 Haralick7提出。它描述的是距离为 d 个像素，方 向为 ，灰度级分别为 i 和 j 的两个像素出现的概率 P(i,j)，可以反映图像在不同方向、不同 距离上的变化快慢和幅度的信息。如果灰度共生矩阵的非零元素集中在主对角线上，说明图 像的信息量小，且在该统计方向上像素变化不大；与之相反，如果非零元素分散则说明在该 统计方向上像素变化频繁，因而图像信息量大。如果灰度共生矩阵的大值元素值靠近主对角 线，说明相隔一定位置和方向的像素之间变化不大，图像表现

15、为粗纹理模式；反之同理。由灰度共生矩阵可以计算出多种统计量用作纹理分析的特征量，实现将纹理特征定量的 进行分类识别。根据 Haralick 的研究，这些统计量有能量、对比度、同质性、熵、相关性、 方差、和方差、差方差等等。对比度反映图像纹理的清晰度和纹理的清晰程度，是度量纹理反差的统计量。灰度共生 矩阵中远离对角线的元素值越大，则对比度特征值越大。人群密度越密集，对比度特征值越 大。不同人群聚集度情况下，对比度特征值的区分度比较好，可以作为分类标准之一。计算 方法如公式(3)：N 1 N 1Contrast = (i j )2 P(i, j | d , )i =0 j =0(3)选取 A、B、

16、C、D 四类人群密度逐渐增大的视频帧，计算对比度分布直方图如图 4 所示：120图 4 不同人群密度的对比度特征分布直方图同质性特征统计量是描述纹理灰度相关性的统计量，度量纹理局部变化的大小特征。其值大说明则说明图像纹理的局部很均匀。人群密度越密集，同质性特征值越小。计算方法如 公式(4)：125Homogeneity =N 1 N 1 P(i, j | d , )+ i j(4)i =0 j =0 1相关性特征描述图像的纹理一致性。灰度共生矩阵元素值均匀相等时，相关值就大；反 之如果矩阵元素值相差很大，则自相关值较小。人群密度越密集，自相关性特征值越小。计 算方法如公式(5)：()N 1 N

17、 1i j 1 2 * P(i, j | d , )Correlation =i =0j =0 1 2(5)130能量特征，是计算灰度共生矩阵各元素值的平方和。如灰度共生矩阵中元素值集中分布在一定区域，此时能量统计量值较大；若灰度共生矩阵中元素分布均匀，则能量统计量值较 小。能量值很大，可以表明图像是一种均一变化的纹理模式。人群越密集，能量值越低，灰 度共生矩阵非零元素值越分散，图片纹理越细。计算方法如公式(6)：N -1 N -1Energy = P(i, j | d , )2(6)1352.2 人群密度估计i =0j =0140Marana 文章中选用对比度特征统计量进行研究并给出分析准确

18、率达到 80%。本文利用 具有区分不同人群密度性能的四种纹理特征统计量作为输入，人群密度分类作为输出，训练 具有输入层、隐变量层和输出层的四输入、四输出的三层神经网络分类器，在测试中可以得 到性能更好的人群密度分类结果。3基于融合判决方法的人群密度估计系统1451503.1 分类判决分析基于前景像素的人群密度分析方法在人群比较密集情况会由于重叠的问题导致一定量 的分析误差，而且在基于前景像素数目的分析方法和基于图像纹理的分析方法中，都存在由 于不同密度区域之间有一定量的重叠而引起的误差。为了更准确的预测人群密度，在本章中 综合应用两种分析方法，利用二重判别之后的结果，给出人群密度的分类结果。希

19、望综合方 法可以在预测性能上，相较于每一种单独的分析方法，有更准确更鲁棒的效果。系统框架图 如图 5 所示。图 5 融合方法分析系统框图以两类判决为例，如图 6 所示。以 X=0 为 A、B 两类的判决门限，则 C 区域是判决结 果为 B 类的漏报区域，是判决结果为 A 类的虚警区域。现在若有另一个判决方法，将判决 门限改为 X=1。若待判决点在图中红线处，此时判定方法一判定结果为 B 类，方法二判定 结果为 A 类。针对此问题，提出了综合判定准则，来评价和选择两种判定方法。155160165170175图 6 判决门限模型在方法一中，测试点被判决为 B 类，其衡量标准可以是红线距离判决门限

20、X=0 的距离， 或者是红线距离 B 类均值的距离，此处的距离概念是指概率意义上的距离；同样在方法二 中衡量标准也是上述两种距离。选择距离影响更大的方法所得结果，可以认为该方法判决结 果更接近真实情况。3.2 融合判决准则3.2.1融合判决模型假设 在基于前景像素数目的方法以及基于纹理分析的方法中，做一个合理的假设：假设在行人数目一定的情况下，前景像素数目以及纹理特征量满足高斯分布。在高斯假设下，根据高斯分布的线性性质，在一定行人数目范围内，前景像素数目以及纹理特征量也满足高斯分布。 那么，本文中所做的人群密度分为 A、B、C、D 四类问题，可以转化为三门限高斯分布的 判决问题。两类方法分别定

21、义为 X 分类方法和 Y 分类方法，每种方法均为对人群密度做四类分析， 记为 A、B、C、D，两类方法的映射函数分别记为 f1(x)和 f2(y)，两类方法的分类节点分别 记作X1,X2,X3和Y1,Y2,Y3，两类分类方法的各个区间峰值点记作x1,x2,x3,x4和 y1,y2,y3,y4。3.2.2两类方法给出相同判决 在两类分类方法给出相同分类判决时，以该结果为最终结果。此时的结果拥有更高的准确率，更低的虚警概率，同时也会相应增加一定的漏报概率。1803.2.3两类方法给出相邻分类结果这是在两种分类方法给出不同分类结果时，绝大多数的情况。不妨假设 X 方法给出判 决结果为 A 类，Y 方

22、法给出结果为 B 类，该点记为点 t，两类方法下的映射函数值分别为 f1(t) 和 f2(t)。并引入考察判决结果置信度的两个距离因数，如公式(7)。该因数越大，表示该分类 结果更可信，以该结果为最终结果。可能在参数训练过程中，可以训练出一个衰减因子，与 相应的因素相乘之后，得到可以直接比较的因素，最大可能性地使综合判决结果最接近于真 实情况。X =f1 (t) X 1x1 X 1(7)Y =f 2 (t) Y1y2 Y11851903.2.4两类方法给出不相邻分类结果这种情况往往是因为一种判决方法错误导致。例如 X 分类方法给出判决结果 A，Y 分 类方法给出判决结果为 C。该点记为点 t，

23、两类方法下的映射函数值分别为 f1(t)和 f2(t)。此 时，考虑距离相应区间峰值的距离因素，引入两个距离因数，如公式(8)。此时，该因素越 大，则认为相应的结果跟接近真实情况，认定为最终结果。可能在参数训练过程中，可以训 练出一个衰减因子，与相应的因素相乘之后，得到可以直接比较的因素，最大可能性地使综 合判决结果最接近于真实情况。4实验结果及分析 X = Y =f1 (t) x1X 1 x1f 2 (t ) y3Y3 y3(8)195200本文采用 UCSD pedestrian database 的一段用于行人检测是视频作为数据资源，为 UCSD 某人行道的监控视频，画面为 158*23

24、8 维度，灰度值为 8 位，帧率 fps 为 10。在实验中，为 考虑一定范围内的人群密度，采用画面中58:148, 30:170区域，并作人群密度级别规定：A 类密度 0-5 人，B 类密度 5-10 人，C 类密度 10-15 人，D 类密度 15 人以上，如图 7 所示。图 7 截取密度评价区域图样对长为 800 帧的视频进行测试，利用融合判决准则给出最终分类结果；并对视频逐帧进 行人工判定，对比所得的分类结果，如表 1 所示。表 1 融合判决准则测试结果实际情况判决结果正确率虚警率漏报率A 类密度00100B 类密度333594.09%5.91%0C 类密度66267398.07%1.

25、93%0.30%D 类密度105921012.38%总正确率98.125%205210215220225230235240245250本文对传统的两类人群密度估计方法进行了改进和验证，并给出了一种基于两种方法融合的分类判决方法。从实验结果看到，融合判决准则应用之后，与单独应用前景分析法相比， 明显降低了每一人群密集度分类类内的虚警概率和漏报概率，总体的正确率也有一定的提 升；与单独应用纹理分析方法相比，总体正确率也有提升。在两种方法性能相接近的时候， 综合判决准则拥有更低的虚警概率和漏报概率。致谢本研究受国家自然科学基金（项目编号 61071135）及教育部博士点基金项目（项目编 号 2009

26、0002110077）的资助。参考文献 (References)1 Dalal N, Triggs B. Histograms of oriented gradients for human detection,A Computer Vision and Pattern Recognition, 2005. CVPR 2005C. IEEE Computer Society Conference on , vol.1, 25-25 June 2005. pp.886-893 2 Chan A B, Liang Z, Vasconcelos N. Privacy preserving crowd

27、 monitoring: Counting people without people models or trackingA Computer Vision and Pattern Recognition, 2008. CVPR 2008C. IEEE Conference on , vol. 23-28 June 2008. pp.1-73 Davies A C, Jia Hong Yin, Velastin S A. Crowd monitoring using image processingJ Electronics & Communication Engineering Journ

28、al , vol.7, no.1, Feb 1995. pp.37-47.4 Siu-Yeung Cho, Chow T W S, Chi-Tat Leung. A neural-based crowd estimation by hybrid global learning algorithm J Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on , vol.29, no.4, Aug 1999. pp.535-541.5 Paragios N, Ramesh V. A MRF-based app

29、roach for real-time subway monitoringA Computer Vision and Pattern Recognition, 2001. CVPR 2001C. Proceedings of the 2001 IEEE Computer Society Conference on , vol.1, no.,2001. pp. I-1034- I-1040.6 Marana A N, Velastin S A, Costa L F, Lotufo R A. Estimation of crowd density using image processingJ I

30、mage Processing for Security Applications (Digest No.: 1997/074), IEE Colloquium on , vol., no., 10 Mar 1997. pp.11/1-11/8.7 Haralick R M, Statistical and structural approaches to textureJ Proceedings of the IEEE , vol.67, no.5, May1979. pp. 786- 8048 Marana A N, Costa L F, Lotufo R A, Velastin S A.

31、 On the efficacy of texture analysis for crowd monitoringJ Computer Graphics, Image Processing, and Vision, 1998. Proceedings. SIBGRAPI 98. International Symposium on , vol., no., 20-23 Oct 1998. pp.354-3619 Lendaris G G, Stanley G L. Diffraction-pattern sampling for automatic pattern recognitionJ P

32、roceedings of the IEEE , vol.58, no.2, Feb. 1970. pp. 198- 216.10 Pentland, Alex P. Fractal-Based Description of Natural ScenesJ Pattern Analysis and Machine Intelligence,IEEE Transactions on , vol.PAMI-6, no.6, Nov. 1984. pp.661-67411 窦琴，刘清. 基于前景策略和场景信息的目标跟踪系统OL.2008-11-21. 中国科技论文在线，http:/ 熊正祥. 一种基

33、于运动特征的不良视频帧检测方法OL.2010-12-31. 中国科技论文在线，http:/ A.B.Chan,Z.S.J.Liang,and N.Vascondcelos. Privacy preserving crowd monitoring: Counting people without people models or tracking. Online. Available: http:/www.svcl.ucsd.edu/projects/peoplecnt.14 张滨. 基于 Canny 算子图像边缘提取方法的改进 OL.2009-12-10. 中国科技论文在线，http:/ 许迪，王娟，张天序. 基于图像反差的改进 Canny 算子边缘提取OL. 2011-12-06. 中国科技论文在线，http:/