[精品论文]室内环境下手机相片去噪算法.doc

资源描述

《[精品论文]室内环境下手机相片去噪算法.doc》由会员分享，可在线阅读，更多相关《[精品论文]室内环境下手机相片去噪算法.doc（7页珍藏版）》请在三一文库上搜索。

1、精品论文室内环境下手机相片去噪算法刘敏1,2，顾锞1,2，翟广涛1,2，杨小康1,2（1. 上海交通大学图象通信与信息处理研究所；52. 上海市数字媒体处理与传输重点实验室）摘要：随着科技的发展，手机在我们的日常生活中得到了越来越广泛的应用，并且从无线通信领域扩展到娱乐领域。由于数码相机的不便携带性，手机相机往往成为我们唯一的拍摄工具。然而，手机拍摄的相片往往夹杂有大量的噪声，尤其是在室内环境下。为了解决这个问题，本文提出了一种手机相片去噪算法。总结起来，我们的算法包括四个步骤：图像分割、10噪声估计、图像去噪和子块合成。对于手机在室内拍摄的照片，我们通过有选择性得合成这四个部分，设计了

2、一个交互式图像去噪系统来让用户有效得去除噪声。此外，我们用中低端手机相机拍摄了一幅室内环境下的图像，并采用上述方法对其进行去噪，结果验证了本文的去噪系统是有效的。关键词：图像处理；手机相片去噪；噪声估计；自由能；超级像素 15中图分类号：TN919.82 An Interactive Image Denoising System for MobilephoneCamera in the Indoor EnvironmentLiu Min1,2, Gu Ke1,2, Zhai Guangtao1,2, Yang Xiaokang1,220(1. Institute of Image Com

3、munication and Information Processing, Shanghai Jiao Tong University, Shanghai, China;2. Shanghai Key Laboratory of Digital Media Processing and Transmissions)Abstract: With the development of the technology, mobile phone has been widely used in our daily life, ranging from wireless communication to

4、 entertainment. Since it is impossible that the digital25camera is always taken along with us, the mobile phone camera usually becomes the unique choice to record the most splendid moment. However, images captured by the mobile phone camera are generally companied with a great deal of noise, especia

5、lly in the indoor environment. Aim to solve this problem, an image denoising methodology is proposed in this paper. Summarily, our algorithm includes four steps: image segmentation, noise estimation, image denoising, and patch composition. By30a selective combination of these four parts, we also des

6、ign an interactive image denoising system toallow users to efficiently remove the noise in the mobile phone images captured in the indoor condition. One representative image captured by a mid- and low-end mobile phone camera in the above-mentioned environment and their denoised results are finally p

7、resented and provided to confirm our effective system.35Key words: Image Processing; Mobile phone image denoising; Noise estimation; Free energy; Superpixel0引言近些年来，图像去噪成为图像处理领域最重要的研究方向之一，并且获得了很大的进展。40大多数图像去噪算法的提出通常是基于对真实(或无噪)信号的一些明确或隐含的假设，从而基金项目：高等学校博士学科点专项科研基金 (20090073110022) 作者简介：刘敏(1989-)，女，博士生在

8、读，主要研究方向：图像与视频质量评估通信联系人：杨小康(1972-)，男，上海交通大学教授、博士生导师，国家杰出青年科学基金获得者，上海高校特聘教授（东方学者），现任电子信息与电气工程学院副院长，图像通信研究所副所长，主要研究方向：智能视频分析与检索、图像处理与通信. E-mail: - 5 -可以将它从随机分布的噪声中分离出来。21 世纪初期，基于图像去噪算法的超分辨率分析席卷了整个学术界。实验证明，超分辨率变换可以获得空间局部细节良好的稀疏性，这是一个很重要的信息。因此，根据系数之间复杂的统计相关性，研究人员开发出了大量使用超分辨率变换的先进去噪算法。1-4详45细说明了这类图像

9、去噪算法。最近，5 提出了一个使用变换域增强稀疏表示的图像去噪算法，被称作 Block-Matching and 3D filtering (BM3D)。该方法是通过将相似的 2D 块堆叠成 3D 数列来使稀疏得到增强。协同滤波是处理这些 3D 数列的一个特殊过程。它可以分成三个连续的部分：块的 3D 变换，变换谱的收缩，3D 逆变换。因此，通过组合过滤 2D 阵列可以获得块的 3D 估计。由于块之50间的相似性，变换可以表示为高度的稀疏矩阵，从而通过收缩分离出噪声。通过这个方法，协同滤波表达了分组片段共有的细节，同时保留了每个独立片段的基本特征。然后，基于 BM3D 提出了彩色图像去噪

10、算法 C-BM3D。最后，手机相片可以用如下四个步骤进行去噪：首先，将图像分割成一些超级像素10；然后，基于 NFEQM 和峰值估计每个超级像素的噪声方差；其次，根据估计方差对超级像素55进行去噪；最后，将所有的超级像素组合起来。需要强调的是，本文中，噪声估计不能立即采用14或者别的特殊算法，但是可以采用一种图像质量算法(NFEQM)。我们提出的系统不仅可用于手机相片去噪，而且可应用到下载的和变换后的图像中第二章提出了室内环境下拍摄的手机相片去噪算法(DMID)，并且明确表示了 DMID 算法的四个步骤：图像分割，噪声估计，图像去噪和子块合成。第三章中，我们提出了一个交60互式系统，让用

11、户有更多的选择来对他们的手机相片进行处理。最后，第五章对文章进行了总结，并就将来的工作提出了方向。图 1. DMID 算法的基本框图1DMID 图像去噪方法65得到由于数码相机的不便携带性，我们的中低端手机往往成为获取图像的唯一工具。由于手机拍摄的图像噪声很大，尤其是室内或昏暗环境下(本文只讨论室内环境)，而这个问题很难通过手机自身得到解决。因此，本文提出了一个 DMID 算法，基本框架如图 1。1.1 基于超级像素分割的熵率最近，Liu et al.10针对超级像素分割提出了一个新的目标函数，包括两个部分：随机70熵率和平衡术语。假设我们将一幅图像分成 K 个超级像素，随机熵率作为一个

12、标准被用来获得结构紧凑和同构的集群。 wi , j wiif i j and ei , j Api, j ( A) = 0 if i j and ei , j A(1)1- j : ei. jwi Awi. jif i j因此，随机熵率可以写成集合的形式：H(A) = -m pi, j (A) log( pi, j (A)i j(2)75然后，考虑一个平衡函数。A 是选择的边集， N A 是图中连通分支的个数， Z A 是集成员的分布。例如，边集 A 的图分割是 S A = S1 , S2 ,., S N A 。 Z A 的分布可通过式(3)计算得到ApZ (i )= | Si | , i

13、= 1,., N | V | A(3)b(A) H(ZA) - NA = -pzA (i) log( pzA(i) - NAi(4)目标函数结合了熵率和平衡函数，并且相应支持了紧凑、同态、平衡的族maxA80H( A) + lb ( A)(5)subject to A E and NA K其中 l 0 是平衡函数的权重。非负系数的线性组合保持了子模性和单调性。因此，目标函数也是子模块和单调性增长的。1.2 使用 NFEQM 和峰值的噪声方差估计本文中，噪声方差估计定义为两个函数的乘积。一个函数是最近提出的 NFEQM，这是85一个图像质量评估(IQA)方法。我们首先假设视觉感知的内部生成模型

16、-Leibler 发散是非负的( KL(Q(q | I ) | P(q | I ) 0) )，当且仅当Q(q | I ) = P(q | I ) 。自由能 F (q ) 定义了一个严格的上限约束。总结起来，最终的公式是100V ( I ) = l F ( I ,q )a k (I )b(11)M (I )g其中， l ，a ， b 和g 是模型参数，可以根据手机相机的不同型号进行调整。1051101151.3 去噪后子块的合成观察得知，超级子像素不是有规则的图像子块，不可以直接用 C-BM3D 进行去噪。因此，我们采用下面两个步骤：首先，使用 C-BM3D 来处理每个超级像素的局部矩形块；然

17、后，提取每个超级像素在去噪子块中对应的区域。所有的超级像素经过处理后，我们把它们放在合适的位置，并获得最终结果。2DMIM 交互系统通过对 DMIM 算法四个步骤的不同组合，我们提出了一个交互式系统来让用户有更多灵活的选择来对他们手机图像进行去噪。这个系统主要包括四个部分，图 2 是每一步的操作和简单说明。红色虚线框内是基本的操作。一幅图打开后，有两个选择“Manual ”和 “Automatic”。接着，下面的步骤是：1当点击“Manual”时，你会进入最右边的橘色虚线框；(a) 改变或者不改变初始方差估计 15；(b) 点击底部的“Execution”按钮，开始去噪；(c) 图像去

18、噪后，点击“Switch”按钮来比较原始图和去噪图。如果对结果感觉满意，进行下一步。否则回到(a)重设初始方差值；(d)最后，点击“Save File”按钮来保存最喜欢的去噪图像。2你也可以点击“Automatic”按钮。根据两种选择：对图像进行去噪或者分别对分割子块进行处理，分别进入左侧的绿色或蓝色虚线框：120125(a)绿色虚线框，或者打开“Number of segments”菜单，在 9、16、25、36 中选择需要的分割数；(b) 点击“Execution”按钮开始图像去噪；(c) 去噪过程结束后，点击“Switch”按钮核对初始图、分段标签和去噪图。然后判断结果是否符合你的要

19、求。如果满意，直接到(d)。否则回到(a)重新选择分割数目。此时，原始图被分成几个不同的部分，接着进行去噪过程 C-BM3D，如图 4 最左边的蓝色虚线框；图 2. 本文提出的 DMID 系统操作流程，以及每一步骤的简要说明130(d) 最后，点击“Save File”保存结果。3实验结果在室内环境下，我们精心挑选了一个场景，并用一个 320 万像素的手机拍摄了一张 20481536 大小的相片。为了便于显示，我们去除了不重要的信息，并截取了 768512 大小的- 7 -135140145150图作为原始图，见图 3 的最左边。剩下的四幅图，从左到右，分别是噪声方差值为 15、25的去噪结

20、果，整幅图是唯一噪声的去噪结果，分成 25 个子块的去噪结果。图 4 是图 3 的局部代表性区域。红色和蓝色方块分别是边缘、纹理区域和平滑区域。观察拍摄的图像，我们发现，在不佳的环境下，用中低端手机拍摄的大多数照片都有大量的噪声。如图 3 最左边的图，是在室内环境下拍摄的半身像。从第二和第三幅图中，可见 C-BM3D 算法取得了良好的去噪结果。然而，平滑区域的去噪结果不是很理想，边缘和纹理区域过于模糊。第四幅图没有图像分割这个步骤，是第五幅图的简化结果。由于没有清晰的原始图像计算 MSE 和 PSNR，DMID 算法的精确度只可以通过比较验证。图 3 中右边四幅图的结果和图 4 中的代

21、表性区域说明我们提出的算法取得了良好的结果。在平滑区域(蓝色方块)，噪声得到了很好的消除，同时保护了边缘和纹理区域(红色方块)更多的细节。另外，我们设计了一个交互式系统，让用户可以选择他们想要的 DMID 方法四个部分的组合和相应的变量来修复手机相片。图 3. 原始图，去噪结果(从第二幅图到第五幅图)：噪声方差值为 15，噪声方差值为 25，整幅图像有一个确定的方差值，图像分割成 25 个子块(a) 图 3 中红色方块纹理区域的放大(b) 图 3 中蓝色方块平滑区域的放大图 4. 图 3 中局部代表性区域的放大1554总结和工作展望本文中，我们就手机相片提出了一个交互式去噪系统，包括四

22、个部分：图像分割、噪声估计、图像去噪和子块合成。该方法主要用来解决手机相机拍摄的相片夹杂有大量噪声的问题。实验结果证明我们提出的 DMID 算法是可靠的，并且结果是合理的。正如引言中所说，我们的去噪系统不仅可以用于手机相机拍摄的相片，也可以应用到下载和变换后的图像中。后者是我们的下一个研究目标。另外，由于噪声大小和分布是随机的，我们相信同一场160景的多幅图像可共同用来消除噪声。所以，我们会考虑基于同一场景的多幅图像去噪算法来提高去噪性能。参考文献 (References)1651701751 Sendur L. and Selesnick I.W., Bivariate shrink

23、age functions for wavelet-based denoising exploiting interscale dependency, IEEE Trans. Signal Process. 50 (2002). 2744-2756.2 A.Pizurica, W. Philips, I.L. and Acheroy M., A joint interand intrascale statistical model for Bayesian wavelet based image denoising, IEEE Trans. Image Process. 11. (2002)

24、545-557.3 J. Portilla, V. Strela, M.W. and Simoncelli E.P, Image denoising using a scale mixtureof gaussians inthe wavelet domain, IEEE Trans. Image Process.12.(2003).1338-1351.4 Guerrero-Colon J. and Portilla J., Two-level adaptive denoising using gaussian scale mixtures in overcomplete oriented py

25、ramids., IEEE Int. Conf. Image Process., 2005.5 Kostadin Dabov, Alessandro Foi, V. K. and Egiazarian K., Image denoising by sparse 3d transform-domain collaborative filtering, IEEE Trans. Image Process., 2006.6 Kostadin Dabov, Alessandro Foi, V. K. and Egiazarian K., Color image denoising via sparse

26、 3d collaborative filtering with grouping constraint in luminance-chrominance space. IEEE Int. Conf. Image Process., 2007.7 A.P.Moore, S.J.Prince, J.W.U.M., Jones, G.:Superpixel lattices.CVPR(2008).8 A. P. Moore, S.J., Warrell, J.: lattice cut constructing superpixels using layer constraints. CVPR (2010).9 Veksler, O., Boykov, Y.: Superpixels and supervoxels in an energy optimization framework. ECCV (2010). 10 M.Liu, O., Tuzel,S.R., Chellappa, R.: Entropy rate superpixel segmentation. CVPR (2011).

展开阅读全文