《TV模型在图像修复中的应用研究 毕业论文.doc》由会员分享，可在线阅读，更多相关《TV模型在图像修复中的应用研究 毕业论文.doc（15页珍藏版）》请在三一文库上搜索。
1、TV模型在图像修复中的应用研究 摘 要:图像修复是指利用图像的已知信息来填充待修复区域内已经丢失或破损的信息，从而得到完整图像的处理过程。图像修复与图像去噪都属于图像恢复问题的一般范畴。本文研究了基于偏微分方程或变分原理的图像修复的典型模型即模型。修复模型是对，和提出的经典的去噪模型的扩展。在修复模型的启发下，本文研究基于模型的图像修复算法，并进行相应的改进。然后选择合适的方法对改进的模型进行离散化。再通过计算机编程实现改进的图像修复算法。最后对大量待修复图像进行相关实验，验证改进算法的有效性。实验结果表明：本文改进的模型算法有较好的恢复效果。关键词:偏微分方程;图像修复;模型;扩散函数 一、
2、引言（1）、国内(外)研究现状及分析图像修复是根据已知信息推断缺损的未知的信息。但是，从数学的角度来看，数字图像的修复其实是一个病态问题，因为没有足够的信息可以保证能唯一正确地恢复被损坏的部分。近年来，在数字图像修复方面，国内外的研究者各自从不同的研究角度出发提出了很多卓有成效的算法。数字图像修复算法有两大类：一、是基于偏微分方程的修复算法，它对修复具有较小待修复区域的破损图像，效果较好，主要有模型、 模型、 模型等；二、是基于块的纹理合成图像修复算法，它对修复具有较大待修复区域的破损图像，效果较好。我们这个课题主要涉及基于偏微分方程的修复算法中的模型。以偏微分方程为基础的算法非常多，也是最早
3、出现的图像修复模型。等通过采用偏微分的方法模拟职业修复者对图像进行修复，首次提出了基于偏微分方程的图像修复算法，他们主要采用将待修复区域外部的已知信息沿等照度线方向延伸至待修复区域中。这类方法的主要思路是利用物理学中的热传导方程，将待修复区域周围的已知信息沿等照度线方向延伸到待修复区域中，它包括的典型算法有模型，它是用三阶偏微分方程来模拟平滑传输过程的，还等提出的用三阶PDE来模拟等。在这一类方法中，还有一种叫做基于几何图像模型的变分修复方法，该类方法的主要思想是通过建立图像的先验模型和数据模型，将图像修复问题转换成一个泛函求极值的变分问题。这类方法中比较典型的有整体变分 模型、 模型、模型、
4、模型等。整体变分方法最早是由和提出的，采用了欧拉拉格朗日方程和各向异性的扩散，应用于图像噪声的去除操作,是和首次将整体变分方法引入到图像修复领域，并且取得了巨大的成功。而曲率驱动扩散算法是整体变分算法的扩展，主要的改进是在图像信息扩散的过程中同时考虑图像轮廓的几何曲率信息，可以用来修复较大块的破损区域，并且有些情况下可以解决整体变分算法修复图像时的连通性问题。近年来，出现了许多关于整体变分模型的改进算法，其中许威威和潘志庚等通过先对图像进行前向扩散，然后再用TV模型修复具有较大块破损区域的图像，达到了比用经典TV模型修复更好的效果。郑精灵等在TV模型的基础上通过引入权值，提出了一种适合于修复长
5、条形破损区域的改进整体变分算法。因为，变分法与偏微分方程是可以通过变分原理互相等价推出的,因此,可把这一类方法统称为基于偏微分方程的图像修复算法。（2）、项目的研究意义图像修复是针对图像中遗失或损坏的部分，利用未破损区域的信息，依据一定的修复规则对破损的图像进行修复，来达到良好的视觉效果。数字图像修复技术是当前计算机图形学和机器视觉中的一个研究热点，在文物保护、影视特技制作、虚拟现实、特定目标移除、图像超分辨率分析、视频错误隐藏、图像压缩等领域具有广泛的应用价值。这是一项古老的艺术，原始的修复是由一系列手工技术组成，用来对图像做出令人无法察觉的修复。 20 世纪 60 年代，伴随着电子技术、计
6、算机技术的迅速发展，数字图像处理技术得到高速发展。20 世纪后期，有学者开始尝试利用计算机来自动完成图像修复，这种人机交互式的工作，与手工修补方法相比，自由度更大，它不需要对原作进行不可重复的处理，因而不存在风险、且安全可靠，具有较高的实用价值。 二、TV修复模型的介绍（1）、背景知识介绍在日常的生活中由于自然或者是人为的原因使得一些图像受到了污染或者是破损，在早期的时候采取的是人为的进行修补，这样的修补的效率十分的低，而且有的图像本身就是艺术品，修补的过程要特别的小心，不然将会是艺术品失去它本来的价值。随着科技的发展，现在可以把图像修补的问题用计算机来解决，一个好的算法可以使修补的效果和那些
7、艺术修补大师修补的效果相仿，用计算机进行图像修补的问题最早是由等人在2000年的会议上提出图像修补模型（模型的命名取的是四个人名字的第一个字母），并发表了他们的研究成果，明确地提出图像修补的定义、预期目的及应用分类，并使用了基于偏微分方程（PDE）的分析方法，从而奠定了PDE图像修补的基础，促进了这个领域的研究。整体变分的方法最早是用来对受到噪声污染的图像进行降噪的，在这方面的应用最早是由和等人在1992年提出的，2002年Chan等人把TV模型推广到图像修补中，并提出了基于TV模型的图像修补方法，同时说明了TV修补模型的缺点，进一步提出了修补模型 ，此修补模型改正了修补模型的缺陷，对图像的修
8、补具有很好的效果。图像修复的应用不仅仅包括图像修补，同时也包括对一些图像进行物体的移除，以及文字的擦除等，这些都可以运用图像修补的模型来解决，在实际的操作里我们可以把这些需要擦除的地方当成污损的区域来处理。（2）修复模型的介绍2.1 变分方法的介绍基本概念：表示在区间所有一阶可导的函数组成的集合；引理 2.1设，且，且成立，则。方程:首先考虑最简单的变分模型，推导出满足的必要条件，考虑下面的集合考虑下面泛函这里要求F具有连续的一阶偏导数，下面求，使得这里我们用y来代替y*讨论，当y满足上面的式子时，我们可以得到得到，所以对于有由于y使得J（y）最小，所以我们可得对于一个特定的y来说可以看作是的
9、函数，这里我们设求得的一阶导数和二阶导数，也称之为泛函的变分可得在时，我们知道此时的泛函达到最小值，因为这时的一阶导数应该为0，于是进行分部积分我们可以得到又由引理2.1可以知道根据同样的分析方法我们可以得到当泛函（两个变量的泛函）如下式时这里的下标表示的是偏导数，其中求泛函的最小值，只要求下式即可三、TV修复模型的应用（1） 基于TV模型的图像修复算法记是待修复区域,E是待修复区域的外部,是的边界, 如图一所示. 该模型的主要思想是用已知信息 通过扩散的方法去修复破损的图像区域 . 它主要是通过建立图像模型, 根据整体变分原理,将图像建立的模型, 转化为约束最优化问题, 再利用乘子法进行求解
10、.D（修复区域）E（扩展区域）（边界）图一修复模型其建立的模型是基于下面的原理： 上图中的左图上半区域和下半区域的差别很大，那么在边界处对于一个像素它的梯度向量的模相对的比较的大，而对于右图来说，上半区域与下半区域基本上达到一致，这样梯度向量的模相对的也就小，当对图像的修补达到一定的效果的时候，那么可以知道在各像素点的过渡都比较的光滑，换句话说就是在各个像素点的梯度向量的模都十分的小，这里引入的TV修补的模型就是根据这个事实而建立的。我们记修补完以后的图像为，于是我们可以定义代价函数如下： (1) 这里的r(x)是一个当x为正的时候输出的结果也为正的函数，这里我们直接可以去r(x)=x,在这里
11、我们可以知道我的求得积分就是对每个像素点的梯度进行积分，当代价函数越小的时候，图像就显得越光滑，这样修补的效果也就越好。在考虑完代价函数的时候，就如前面说的那样，图像应该考虑到噪声的影响，边界带状区域产生的噪声不可以超过一定的范围，于是我们可以得到如下的约束式子(这里的是参数白噪声的方差): （2） 其中,是图像函数,是被高斯白噪声污染的图像,为非负实函数,为区域E的面积. 式(1)使待修复区域及边界尽可能平滑, 式(2)使得修复过程对噪声有良好的鲁棒性. 同时为较好地修复边缘, 需选择一个合适的函数， 这里取=. 为了对于在边界E上，图像也保持着光滑性，在边界处是一个冲击函数，于是我们可以得
12、到以下的条件我们可以知道要使得上式成立则得在这里是小于等于1的，当时，则这时的模型就是TV修复模型，在TV修补模型中我们同样选取这样的模型，当然可以选取其他的模型。运用拉格朗日算子将式(1)和式(2)转化为无约束条件的极值问题，得到新的代价函数为： （3）根据Euler-Lagrange方程可知, 使得最小的应满足如下条件: （4）用梯形下降法得: （5）其中， 即在待修复区域D内，可以得到TV模型的基本公式： （6）解得的为所求的最终修复图像.（2）TV模型的缺点TV模型修复算法运用了二阶偏微分方程，有较完整的数学理论基础，数值实现上较简单，在保持边缘的同时达到去噪的目的。但从TV修复方程的
13、迭代过程看，它是一种各向异性扩散的过程。事实上，在图像特征明显的区域应该使用较慢的迭代速度，而在图像特征不明显的区域（如图像的平滑区域），其修复的迭代速度应该加快，而TV模型的这种单独使用各向异性扩散的过程，使其扩散效率较低。再者，TV模型修复过程中，TV是沿着与梯度正交的方向和边缘方向扩散，反映出沿着不同的方向扩散系数不同的思想。而实际在图像的平滑区域是不存在边缘方向的，仍沿着边缘方向扩散，这将导致在平坦区域的噪声抑制不充分，甚至出现假边缘，出现假边缘原因是扩散系数不能随图像结构特征的变化而取值，产生阶梯效应。（3）TV 模型的改进3.1 各向异性扩散方程Perona和Malik给出的各向异
14、性扩散方程(P-M方程)为： （7）其中为图像的像素值，是梯度算子，是散度算子，是扩散系数，它是一个非负的有界递减函数满足，的条件。对于一幅图像在边缘处很大很小，在平坦的区域是很小扩散程度变大，这样就可以有选择的把图像进行平滑。各向异性扩散的基本思想是将定义在凸域上的原始图像作为一种媒介，在其上以非恒定的速率进行扩散，从而得到一系列的逐渐平滑的图像。根据分析给出两种形式的扩散系数： （8）或 （9）都满足以上条件，因此在一定程度上实现对边缘的保持和增强。3.2改进的模型图像修复算法由于TV修复方程的迭代过程是一种各向异性扩散的过程，求解最小的时，不管梯度大的地方还是梯度小的地方都用相同的权值对
15、待修复区域的邻域参考点进行修复，此方法对变化平滑的图像修复效果比较好，但对变化剧烈和较大的待修复区域的图像会产生过渡不自然和边缘模糊的现象。因此本文采用一种对待修复区域取不同的权值来实现，即对TV模型引入一个扩散函数，该函数用梯度模值作为参数。借鉴Perona和Malik给出的式（9）构造扩散方程，该函数在梯度小的区域，的值较大，从而实现强平滑，能去除噪声；在梯度大的区域，的值较小，从而降低平滑, 保护图像边缘的信息。扩散函数进行修改，并引入TV 修复方程的式(4)为： （10）修改的扩散函数为 ，它可以在图像变化平滑的区域强平滑，而在图像边缘降低平滑，这样保护了图像的边缘信息，使图像边缘清晰
16、，过渡自然。3.3数值计算对于我们可以采取半点差分的模式实现（主要的是因为在离散化的过程中会多次差分）如上图O点为待修补点，为O点的四个相邻的像素值，为O点相邻的半点的像素值。这里我们记，利用中心差分公式我们可以得到J的散度的离散化的结果，采用半点的差分 （11） 下面对式子中各个元素离散化将所得的结果代入可以得到 （12）P代表的是O的四个相邻的像素点，p代表的是四个相邻的半点，而代表的是前次迭代得到的结果。为了防止梯度出现为零的情况，我们常常用来表示梯度，这里设于是我们可以得到所以TV修补方法的一般的迭代公式为 （13）当没有噪声污染的时，我们可以得到以下的迭代公式 （14）当含有噪声污染
17、时，要实现对图像的降噪，这时，则我们可以用以下的方法求 （15）对于所有的点，都为其降噪过程中的，其中这里的n代表的是迭代的次数，对于边界像素的处理采用下面的方法表示的是第n次迭代的结果，M和N表示的是图像的大小。在算法开始之前, 先将D 区域像素值初始化为随机噪声, 然后采用式(15)进行迭代, 当图像变化稳定时停止, 得到最终的修复结果。3.4 算法步骤Step1: 读入待修复图像；Step2: 设置迭代次数n 和梯度门限k，计算图像的掩码信息，对掩码中的每一个像素执行Step3、Step4、Step5；Step3: 对掩码中每个像素点根据(12)式计算其周围参考点梯度的模和扩散函数的值。
18、Step4: 若像素位于待修复区域外,则不改变像素的值,否则,执行Step5；Step5: 计算(15)式, 得到新的像素值, 并保存到新的图像中；Step6: 重复上面的步骤, 迭代n次后结束并显示修复后的图像。四、实验结果及分析（实验程序见附录）我们对不同破损程度的图像按本文算法进行修复仿真实验。为了验证该算法的有效性，本章设计并实现了整体变分经典算法。实验的软件环境为：a)操作系统：Windows7 旗舰版；b)仿真软件：Matlab R2009b。 硬件环境a)处理器：Pentium(R) Dual-Core CPU E5300 2.60GHz 2.60GHzb)显卡：ATI Rade
19、on HD4300 Seriesc)硬盘：320GBd)内存：2GB。实验一对同一幅图像的彩色和灰色中红块分别进行修复，取迭代次数1000次，修复结果如图3-1和3-2所示。图3-1(a)彩色待修复图像 图3-1(b)子网掩码 图3-1(c)修复的图像图3-2(a)灰度图像待修复 图3-2(b)子网掩码 图3-2(c)修复的图像实验二对同一幅图像的彩色和灰色中划痕分别进行修复，取迭代次数1000次，修复结果如图3-3和3-4所示。图3-3(a)d待修复图像 图3-3(b)子网掩码 图3-3(c)修复图像图3-4（a）待修复图像 图3-4（b）子网掩码 图3-4（c）修复图像实验三对同一幅图像的
20、彩色和灰色中文字分别进行修复，取迭代次数1000次，修复结果如图3-5和3-6所示。图3-5（a）待修复图像 图3-5（b）子网掩码 图3-5（c）修复图像图3-6（a）待修复图像 图3-6（b）子网掩码 图3-6（c）修复图像从三组实验结果看出，我们的算法克服了不同程度的边缘模糊和修复不足的缺陷，在处理过程中，偏微分方程迭代次数和参数的选择等方面的选择对结果影响较大。比较三组图像的修复效果，在同等的迭代次数下，当图像划痕较小、破损区域较窄时，也就是实验一修复效果较好。当图像划痕较粗或破损较大时，也就是实验二与实验三，从视觉上就可以明显看到比实验一的不足，但是如果增加迭代次数，效果会更好。再分
21、别比较三组实验中的灰色与彩色图像的修复效果，在同等迭代次数下，很显然灰色图像的修复效果要比彩色图像的效果要好。五、小结本文介绍了模型在图像修复的应用，研究TV模型图像修复算法，分析了该模型的特点，在原TV模型的基础之上，引入一个扩散函数, 以此区分对待不同的待修复区域。然后选择合适的方法对改进的模型进行离散化。再通过计算机编程实现对改进的图像修复算法。最后对大量待修复图像进行相关实验，验证改进算法的有效性。实验结果说明了该算法克服了不同程度的边缘模糊和修复不足的缺陷，在处理过程中，偏微分方程迭代次数和参数的选择等方面的选择对结果影响较大。参考文献1 吴斌,吴亚东,张红英.基于变分偏微分方程的图
22、像复原技术M 北京：北京大学出版社2 樊晓香.胡茂林，孙龙.一种基于偏微分方程的图像平滑技术J.微机发展，2008.3 Chan T F,Kang S H,Shen J H. Eulers elastica and curvature basedinpaintingJ.SIAM Journal of Applied Mathematics, 2002,63(2):564592.4 许威威,潘志庚,张明敏.一种基于整体变分的图像修补算法J.中国图象图形学报,2002,7A(4):352355.5 郑精灵,王树根.整体变分算法在图像修补中的应用研究J.计算机辅助设计与图形学学报,2003,15(1
23、0):12191223.6 林云莉,赵俊红,朱学峰.改进的TV 模型图像修复算法J.计算机工程与设计,2010,31(4):776779.7 Bertalmio M, Sapiro G,Caselles V,et,al.ImageinpaintingC Proceedings of International Conference on Computer Graphics and Interactive Techniques.New Orleans, Louisiana, USA, 2000:417424.8 Chan T F, Shen J H. Non-texture inpainting
24、 by curvature-driven diffusions(CDD) J. Journal of Visual Communication and Image Representation, 2001,12(4):436449.9 张亶，陈刚.基于偏微分方程的图像处理J.应用数学,2004. 10 李荣华,刘播.微分方程数值解法J.应用数学,2009.11 樊晓香.胡茂林，孙龙.一种基于偏微分方程的图像平滑技术J.微机发展，2008.Study on the application of TV model in image restorationName: Liu Yuanyuan Stu
25、dent ID:2009010247 Instructor: Wang XuefengXinjiang Shihezi University Mathematics and Applied Mathematics Postcode:832000Abstract: Image inpainting is to fill the inpainting region has lost or damaged information by using the known information of the image, so as to obtain the complete image proces
26、sing process. Image denoising and image restoration are belong to the general category of image restoration problems.This paper studies the typical model of image restoration of partial differential equations and variational principle is based on the model. Repair model is proposed, and the classica
27、l denoising model extension. In the heuristic repair model, based on image restoration algorithm model, and the corresponding improvement. And then select the appropriate method to discretize the improved model. Then through computer programming image restoration algorithm. Finally, experiments on a
28、 large number of inpainting, verify the validity of the improved algorithm. The experimental results show that: the improved model algorithm has better effects.Key words: partial differential equation; Image inpainting ; TV mode; spread function附录（实验程序代码（以下是图3-1的程序代码，其余处理图像代码类似）%-读入图像-imgoriginal=im
29、read(LenaRGB_原图.bmp); figure(1);subplot(131);imshow(imgoriginal); xlabel(原图像);width,height = size(imgoriginal); %获取图像宽度和高度 img= double(imgoriginal); %变为双精度，便于某些函数的运算%-获取掩码图像-mask = zeros(width,height/3,3); for j = 1:height/3 for i = 1:width if imgoriginal(i,j,1) 254 %因为是红块，此处当红色分量大于254时，判断为方块点，即为需修复
30、点 mask(i,j) = 255; %把是红块的像素点标记为红色 else mask(i,j) = 0; end end end subplot(132);imshow(mask); %显示掩码图像xlabel(掩码图像);imwrite(mask,LenaRGB_掩码图像.bmp);%-更新原图修复区域内每点值-n = 1; itertimes=1000; while n = itertimes for i = 2:width-1 for j = 2:height-1 if (mask(i,j+1) = 255)|(mask(i,j-1) = 255)|(mask(i+1,j) = 255
31、)|(mask(i-1,j) = 255) for k=1:3 %k=1,2,3时分别计算红色，绿色，蓝色分量 %计算w1,w2,w3,w4 grid_w(k) = (img(i,j,k)-img(i-1,j,k)2+(1.0/16)*(img(i-1,j+1,k)+img(i,j+1,k)-img(i-1,j-1,k)-img(i,j-1,k)2; grid_e(k) = (img(i,j,k)-img(i+1,j,k)2+(1.0/16)*(img(i,j+1,k)+img(i+1,j+1,k)-img(i,j-1,k)-img(i+1,j-1,k)2; grid_s(k) = (img(
32、i,j,k)-img(i,j-1,k)2+(1.0/16)*(img(i+1,j,k)+img(i+1,j-1,k)-img(i-1,j,k)-img(i-1,j-1,k)2; grid_n(k) = (img(i,j,k)-img(i,j+1,k)2+(1.0/16)*(img(i+1,j,k)+img(i+1,j+1,k)-img(i-1,j,k)-img(i-1,j+1,k)2; w1(k) = 1/sqrt(1+grid_w(k); w2(k) = 1/sqrt(1+grid_e(k); w3(k) = 1/sqrt(1+grid_s(k); w4(k) = 1/sqrt(1+grid_n(k); img(i,j,k) =(w1(k)*img(i-1,j,k)+w2(k)*img(i+1,j,k)+w3(k)*img(i,j+1,k)+w4(k)*img(i,j-1,k)/(w1(k)+w2(k)+w3(k)+w4(k); end end end end n = n+1;end img = uint8(floor(img); %取整 转换成uint8类型以输出subplot(133);imshow(img,); %显示修复后图像xlabel(修复后图像);imwrite(img,LenaRGB_修复后.bmp);%存储图像15