图像超分辨率重建 基于正则化MAP方法的图像超分辨率重建.pdf

《图像超分辨率重建 基于正则化MAP方法的图像超分辨率重建.pdf》由会员分享，可在线阅读，更多相关《图像超分辨率重建 基于正则化MAP方法的图像超分辨率重建.pdf（56页珍藏版）》请在三一文库上搜索。

1、A b s t r a c t S R ( s u p e r - r e s o l u t i o n ) r e c o n s t r u c t i o ni Sar e s t o r i n gm e t h o dw h i c hm a k e su s eo fas e r i e so fL R i m a g e st or e s t o r ea l lH Ri m a g eb a s e do ni m a g ep r o c e s s i n gt e c h n o l o g y S e v e r a lc o m m o nS R m e t h

2、o & a r ea n a l y z e d I nl i t e r a t u r e ，t h em o t i o no rP S F ( p o i n ts p r e a df u n c t i o n ) i sg e n e r a l l y s u p p o s e da sk n o w n H o w e v e r , l e s ss t u d yc o n s i d e r st h ec a s et h a tb o t ho ft h e ma r eu n k n o w n H o w e v e r , i nar e a ls i t

3、u a t i o n ，t h e r ei so n l yi m a g ed a t aa n dt h em o t i o na n dP S Fa r eu n k n o w n I nt h i s s i t u a t i o n , h o wt or e c o n s t r u c tH Ri m a g ei st h ek e yp r o b l e mt h ep a p e rd e a l s 诵m I nt h i sp a p e r , a u s e f u lS Rr e c o n s t r u c t i o nm e t h o df

4、 o ru n k n o w ng l o b a lt r a n s l a t i o na n du n k n o w nP S Fi sp r o p o s e d F o rm o t i o ne s t i m a t i o n ，t h er e l a t i o no fp i x e l si na nL R ( 1 0 w - r e s o l u t i o n ) i m a g ei su s e dt or e a l i z et h e s u b - p i x e l t r a n s l a t i o ne s t i m a t i

5、o na n df o r s p e c i f i c e s t i m a t i o n a l g o r i t h m ，t h ee a s i l y u s e d b l o c k - m a t c h i n ga l g o r i t h mi sc h o s e n F o ru n k n o w nP S F , t h en e c e s s i t yo fb l i n dd e c o n v o l u t i o ni s d i s c u s s e d S i n c eM La l g o r i t h mi sl e s sc

6、 o n s t r a i n t , i ti sc h o s e nf o rb l i n dd e c o n v o l u t i o n T h e o u t s t a n d i n gc h a r a c t e r i s t i co ft h ep a p e ri st h a tt h eo n l yn e c e s s i t yf o rS Rc o n s t r u c t i o ni st h eL R i m a g ed a t as h o w i n gt h es a m es c e n e B e s i d e s ，t h

7、 eS Rm e t h o dp r o p o s e di se a s i l ya p p l i e dw i t hl e s s c o m p u t i n gc o m p l e x i t y n es i m u l a t i o nr e s u l t sh a v eb e e np r e s e n t e dt os h o wt h ee f f e c t i v e n e s so f t h ep r o p o s e da l g o r i t h m S i n c et h ep r o b l e mo fS Rr e c o n

8、 s t r u c t i o ni su n a b l et ob es o l v e db yo n em e t h o d ，a no v e r a l l a p p r o a c hi su s u a l l yn e e d e d T h u si no r d e rt oi m p r o v et h er e s t o r i n ge f f i c i e n c ya n dr e s t o r i n ge f f e c t ， al o to fm e t h o d sw h i c ha r ea b l et ob eu s e di

9、nS Rr e c o n s t r u c t i o na r ed i s c u s s e da n dc o m p a r e d ，s u c h a ss t a t i s t i c a lm e t h o & ，i m a g ep r o c e s s i n gm e t h o d sa n do p t i m i z a t i o na l g o r i t h mC t C S p e c i f i c a l l yf o r m o t i o ne s t i m a t i o n ，b l o c km a t c h i n gm e

10、 t h o di sc h o s e na f t e rs e v e r a lm o t i o ne s t i m a t i o nm e t h o & d i s c u s s e da n df o rb l i n dd e c o n v o l u t i o nm e t h o d ，ac o n v e n i e n tm e t h o di sc h o s e nf r o ms e v e r a lb l i n d d e c o n v o l u t i o nm e t h o d s B e s i d e s ，s e v e r a

11、 le x i s t i n gm e t h o & a l ei m p r o v e di no r d e rt or e c o n s t r u c tH Ri m a g ef a s t e ra n d b e t t e r F o re x a m p l e ，i nm o t i o ne s t i m a t ea n db l i n dd e c o n v o l u t i o n ，w eh a v ei m p r o v e dt h ee x i s t i n g a l g o r i t h m s ，w h i c he n h a

12、n c et h ee f f i c i e n c yo f r e c o n s t r u c t i o n K e y w o r d s ：S R ；m o t i o ne s t i m a t i o n ；b l i n dd e c o n v o l u t i o n ；T Vr e g u l a r i z a t i o n 目录 致谢I V A B S T R A C T I I 目录I I I 第一章绪论一l 一 1 1 研究背景一1 1 2 国内外研究现状：一2 1 3S R 重建的研究内容：一4 1 4 论文的内容、结构和意义一6 一 第二章观测模型

13、和位移估计一8 2 1 观测模型一8 2 2 运动估计一10 一 第三章M A P 估计和先验模型的选择一15 3 1 能量函数的建立一1 5 3 2 先验模型的选择一1 7 一 第四章计算方法与盲解卷积方法一2 0 一 4 1 计算方法一2 0 一 4 2 正则参数的选择一2 5 4 3 盲解卷积方法一2 6 4 4 求解的一般过程一3 0 4 5 去模糊方法一3 1 4 6 改进方法一3 9 一 第五章仿真结果一4 0 5 1 实验的设置及参数选择一4 0 一 5 2 实验结果以及分析一4 0 一 第六章总结与展望一4 9 一 参考文献：一5 0 一 作者简介一5 4 一 I H 浙江大学

14、硕士学位论文 第一章绪论 在本章中，我们给出S R 重建问题的研究背景、国内外的研究现状和s R 重 建问题的研究内容，最后给出了本论文的结构和意义并对论文内容进行了概述。 1 1 研究背景 在大部分图像数据应用领域里，常常要求获得具有高分辨率的图像。相对于 相同尺寸的低分辨率( 1 0 w r e s o l u t i o n ) 图像，高分辨率( h i g h r e s o l u t i o n ) 图像具 有更高的像素密度，因而意味着能提供更多的细节信息，而这些细节信息在许多 应用中至关重要。如H R 图像有助于较早地对病症做出诊断，使病人得到及时的 医治，H R 卫星图像能更容

15、易地辨别出相似目标，改进模式识别的性能。此外， H R 图像也可以用于H D T V 中获得更好的视觉效果。 尽管C C D 和C M O S 图像传感器有很大的发展，但是要获得高分辨率的图像 在技术和经济上都有很大的压力。例如，为了获得更高的分辨率，需要减小单位 面积里的像素点的大小，这样的后果之一是制造对应的C C D 或C M O S 电路就会 困难很多；其次，由于像素点减小，对于每个像素点来说，信号能量相对于噪声 也会相应地减小，从而降低了H R 图像的效果。而利用图像处理算法的超分辨率 图像重建方法，在经济上和技术上相对于前者就会有更多的提升空问。 超分辨率( s u p e r -

16、 r e s o l u t i o n ) 图像重建是指通过信号处理技术，利用一系列 L R 图像来重建出H R 图像的过程。S R 重建的一个重大优势是能利用相对廉价的 L R 图像重建出一个H R 图像。S R 重建具有重要的现实意义。在监控、医学和卫 星成像领域，我们可以利用S R 重建更有效的放大R O I ( r e g i o no f i n t e r e s t ) 。在安 保领域，我们突出显示一部分图像区域，如一个犯罪分子的面部特征和车辆的车 牌号码，在这方面，S R 重建能获得更多的有用细节。在医学成像方面，如C T 和核磁共振成像，虽然我们能获得很多的图像数据，但它们

17、的图像质量和分辨率 往往不能满足我们的要求。通过S R 重建方法，我们可以利用这些数据获得具有 更高质量的图像。在卫星遥感领域，同样尽管我们能获得许多图像数据，但是得 到的图像分辨率和质量也往往不能满足我们的要求。而S R 重建方法可以利用这 些图像得到更多有用的细节信息。在天文学领域，若通过提高光学设备精度来 获得更精确的宇宙信息，在经济上将是一笔很大的开销。但如果能够用现有的图 浙江大学硕士学位论文 像设备获得一系列L R 图像数据，通过S R 重建方法来获得高质量的图像，就可 以有效地节约开支。 1 2 国内外研究现状： T s a i 和H u a n g 【1 】首先提出了如何从多幅

18、L R 图像中获得H R 图像的问题， 并利用频域方法给出了一个解决方案。他们假设L R 图像之间只含有位移偏 差，且图像没有降质和噪声。基于傅里叶变换的频移特性，L R 图像的离散傅里 叶变换( D F T ) 和H R 图像连续傅里叶变换( C F T ) 之间的假频关系和H R 图像是 带宽有限的这三条性质，来建立L R 图像与H R 图像的之间的系统方程。K i m 等 人在频域内对S R 重建问题做了进一步的扩展，L R 图像不仅含有模糊( b 1 岫 且有噪声，并提出加权序贯最小二乘法【2 1 和引入正则项来得到更优的解3 1 。 在空间域内，人们也提出了许多S R 重建方法，如I

19、 r a n i 和P e l e g 的迭代反 向投影( i t e r a t i v eb a c kp r o j e c t i o n ) 方法【4 1 ，S t a r k 等人的p r o j e c t i o no n c o n v e xs e t s ( P O C S ) 方法【5 1 ，m a x i m u ml i k e l i h o o d ( M L ) 方法【6 】，m a x i m u map o s t e r i o r i ( M A P ) 方法【7 】 下面将对这些方法做简要的介绍。 I r a n i 和P e l e g 提出的I

20、B P 方法类似于C T 里的反向投影方法，其中每个L R 图像的像素点的值是由H R 图像某个区域的投影得到的，在已知P S F 的前提下， 对于每个H R 图像区域，假设P S F 作用于此区域的中心，那么每个L R 图像的像 素点的值只与区域中心和P S F 的作用范围有关。那么只要知道L R 图像的相对运 动参数，就可以反向投影确定H R 图像。假定变形只包括位移和旋转，以一个 L R 图像作为参考帧，利用泰勒级数展开，把对运动的非线性估计近似为线性估 计，得到相对于参考帧的运动参量。之后为待求H R 图像赋初值，根据相应的运 动参数并反向投影计算出新的L R 图像，再与相应的观测图像

21、进行比较后得到残 差，利用残差迭代求出H R 图像。这种方法的优点是比较直观，但没有解决S R 重建问题本身具有的病态特性。 P O C S 方法是一种利用包含先验知识的迭代方法重建H R 图像的方法，先验 知识可以看成是附加约束，使H R 图像的解被限制在一个闭约束集合中。如果我 们估计出运动参数和已知P S F ，对于每幅L R 图像必然存在一个约束集可以利用， 即对一个S R 重建进行下采样，模糊，变形后与相应的观测图像进行比较后得到 残差距离，这个残差必然被包含在一个高维闭空间内，若这些闭空间有交集那么 浙江大学硕士学位论文 就可以得到一个可用的S R 重建。这种方法比较直观，但缺点是

22、收敛速度慢，而 且解可能不是唯一的，虽然可以通过加入更多的闭凸集来解决这一问题，但是这 样有可能使各个凸集之间不存在交集。虽然这种方法在解决病态问题上有一定的 帮助，但在计算上开销太大。 对于M L 方法，我们可以先利用配准方法求出运动参数，再利用M L 方法进 行重建，也可以利用E M ( e x p e c t a t i o nm a x i m u m ) 算法来同时估计运动参数和 H R 图像用。这样，我们只需要对一系列含有噪声、模糊、下采样和未知运动参 数的观测图像进行估计就能进行重建，而不需要先利用图像配准方法得到运动参 数再重建。那么，这个问题可以被看成是盲解卷积问题。但不同于

23、一般的未知 P S F 的盲解卷积图像复原问题，这里我们已知确切的P S F ，而盲解卷积的对象是 观测模型中的运动参数。这种方法更具有一般性，不仅能对全局运动参数进行估 计，也可以对局部参数进行估计，后者对于场景中包含运动物体的S R 重建问题 是很重要的。但是由于未知参数的引入，增大了S R 重建问题的自由度，使这一 问题的病态特性更加严重。 E l a d 和F e u e ri s 提出了一种统一的方法，可以把一些主要的方法如M L 方法，M A P 方法，P O C S 方法等放入一个更普遍的框架中。虽然假设位移和模 糊是已知的，但提出的这种普遍的解决S R 重建问题的框架还是很有价

24、值的， 即：通过最小化代价函数( c o s tf u n c t i o n ) 来得到要估计的H R 图像，而代价函 数一般有数据项( d a t at e r m ) 和正则项( r e g u l a r i z a t i o nt e r m ) 组成。对于正则项的 选择既有通过如( M a r k o vr a n d o mf i e l d ) M R F 得到的T i l d l o n o v 正则项【9 】，也 有像具有非线性特征的T V 正则项【1 0 1 ，而对表示正则项在代价函数里权重的正 则化参数( r e g u l a r i z a t i o np a

25、r a m e t e r ) 的选择，人们也提出了很多方法，如c r o s s v a l i d a t i o n 方法【1 1 】【1 2 1 ，h i e r a r c h i c a lB a y e s i a n 方法 1 3 1 等。B a k e r 和K a n a d e 【1 41 提 出了一种基于识别的方法来处理S R 重建问题，虽然该方法能够取得较好的效 果，但由于需要更多的先验知识，从而限制了该方法的应用。在解决S R 问题 中，也有许多注重计算和存储效率的方法，如文献F a r s i u 和Z o m e t 等人的方法 【1 6 】【1 7 】 国内对

26、于S R 重建问题的研究，虽然起步比较晚，但也得到了许多学者的关 注，有许多工作被提出来。如刘良云等人提出了一种利用序列子集的共轭梯度算 浙江大学硕士学位论文 法来加快运算速度【3 6 1 ，赵书斌等人提出了一种基于小波域的L S 算法进行图像重 建【3 7 1 ，刘志军等人提出了一种基于并行遗传算法的复原方法实现S R 重建3 8 1 等。 这些方法虽然有一定的创新，但在S R 重建上都存在一些不足。 总之，已有的在各种S R 重建方法中，既有其各自的优势，也有其不足之 处，这就要求我们结合这些方法的优点和一般性来解决S R 问题。 1 3S R 重建的研究内容： 对于S R 重建主要有以下

27、几个研究内容，( 图1 1 ) ： 1 ) 观测模型的建立： 为了更加全面地、更好地分析研究S R 重建问题，首先我们需要建立联系 L R 图像和H R 图像的观测模型，好的观测模型可以使我们更好地了解到H R 图像和L R 图像之间的关系。这些模型通常分为两类：对静止图像( s t i l li m a g e ) 建模和对视频图像的建模。本文主要关注对静止图像的观测模型的建立。 2 ) 代价函数的建立： 为了求解出S R 问题，我们把各种标准和约束条件在数学形式上表现为能 量函数的形式，使能量函数达到极值的解便是要求得的S R 重建问题的解。在 这方面我们要比较各种产生能量函数的方法以找到

28、一个合理的方法来建立能量 函数。 3 ) 运动偏差估计： 运动偏差估计是S R 重建问题的重要步骤。因为我们得到的是L R 图像，那 么实际上这个估计问题可以看成是如何通过L R 图像内的运动偏差估计出H R 图像内的运动偏差。因此，我们有必要研究如何通过许多含有运动偏差的L R 图 像来获得H R 图像尺度下的运动估计。 4 ) 先验模型的选择： 为了更好地解决S R 重建问题，我们通常需要借助于先验知识。那么先验 知识的选择将对S R 重建质量具有重大的影响。因此本文将研究选择怎样的先验 知识以获得质量更好的S R 重建问题的解。 5 ) 正则化参数的估计： 正则化参数体现了先验知识在能量

29、函数里所占的比重，太大的正则化参数会 减小观测数据对重建的贡献，太小又不能很好的解决S R 重建问题本身具有的 浙江大学硕士学位论文 病态特性( i l l c o n d i t i o n e d ) 。因此，为了获得良好的重建效果，我们也要研究如 何获得好的正则化参数的方法。 6 ) 对未知点扩展函数P S F ( p o i n ts p r e a df t m e t i o n ) 的处理： 对于点扩展函数，认为其已知是不太合理的，对这方面的讨论将在后面详细 展开。对于未知的P S F ，那么我们便要通过盲解卷积的方法来求解S R 重建问 题。因此盲解卷积方法的研究将是本文讨论S

30、 R 重建问题中一个至关重要的环节。 7 ) 计算方法： 为了高效地获得重建后的图像，我们有必要对一些计算方法进行研究，如最 速梯度下降法，共轭梯度法等。为了获得更好的收敛速度和更短的计算时间，我 们有必要对计算方法的细节进行讨论。 图1 1S R 重建的研究内容 F i g 1 1t h er e s e a r c hc o n t e n to fS Rc o n s t r u c t i o n 浙江大学硕士学位论文 1 4 论文的内容、结构和意义 本文为了从多幅具有位移，模糊、欠采样的L R 图像获得一幅H R 图像， 我们分别对图像的位移估计、求解建立的能量函数的极值等方面进行了

31、研究。本 文的主要研究内容包括： ( 1 ) 位移估计，这里对于运动估计，假设只含有位移信息的变化。由于我 们获得的图像是L R 图像，而要得到的位移是在H R 图像网格上，因此为了估 计出H R 图像网格上的位移，我们需要利用L R 图像帧内像素点的相关性。本 文对比了几种常用的位移估计算法，从中选出了块匹配算法用于位移估计。 ( 2 ) 先验知识的选择，为了更好地利用先验知识，我们对两种先验知识的 表现形式T i k h o n o v 正则项和T V 先验进行了讨论，并选择其中一个T V 先验。 ( 3 ) 计算方法，在计算上，要求对大矩阵求逆，这里我们采用迭代方法求 解，主要考虑的方法

32、有最速梯度下降法和共轭梯度法，本文采用最速梯度下降法。 ( 4 ) 盲解卷积方法，文章中讨论了常用的两种盲解卷积方法：子空间法和 M L 方法。鉴于M L 方法的优良特性，本文采用了M L 方法。此外，为了能够得 到更好的解，我们对M L 方法加入了一些约束条件。 本文的结构安排如下： 第一章绪论 介绍了S R 图像重建问题的研究背景，国内外的研究现状以及S R 重建问 题的主要内容和概论了本论文的内容、结构和意义。 第二章观测模型和位移估计 建立了从L R 图像到H R 图像的观测模型，对于位移估计，我们讨论了几 种常用的位移估计方法，给出了一种相对高效的算法。 第三章M A P 估计和先验

33、模型的选择 在这一章里我们先利用M A P 估计方法来建立能量函数，对于先验概率， 我们对具有二次型特征的T i k h o n o v 先验和具有非线性特征的T V 先验方法进 行了讨论，在此基础上，我们利用了近似方法把非线性的T V 先验用二次型形 式近似表示出来，并对正则化参数的估计进行了讨论。 第四章计算方法和盲解卷积方法 浙江大学硕士学位论文 讨论了获得能量函数的几种方法，并对最速梯度下降法和共轭梯度法进行 了比较，介绍了常用的两种盲解卷积方法：子空间方法和M L 方法，并对M L 方 法做了详细讨论。 第五章仿真结果 在这一章里，我们给出本论文具体用到的方法，并利用一系列L R 图

34、像重 建出一幅高分辨率图像，对各种仿真实验结果进行了讨论。 第六章总结与展望 总结了本文的主要工作，提出了现今工作的不足，和以后改进的方向。 文章的意义： 本论文提供的S R 重建方法是在未知位移和P S F 的情况下，从L R 图像 中恢复出一幅H R 图像。本论文的创新性在于结合了亚像素点估计和盲解卷积 方法来实现S R 重建，在这方面，作者查阅了大量文献，并没有发现有类似的 重建方法。本论文的另一个贡献在于其易用性和重建效果，提出的方法易于实用 且重建效果良好。此外在重建效率上，此方法的时间空间计算复杂度相对较低。 浙江大学硕士学位论文 第二章观测模型和位移估计 本章给出了描述H R 图

35、像和L R 图像关系的观测模型和论述了常用的位 移估计方法。通过分析比较，给出了本文采用的方法。在观测模型的建立上，虽 然有许多文献都有所涉及，但本论文在观测模型的建立过程中，还是加入了图像 尺度这一概念，从而能更好能理解L R 图像与H R 图像之间的关系。在位移估计 方面，我们提出了利用L R 图像内的相关性，来实现亚像素点级的位移估计。需 要指出的是，虽然求解位移估计在很多文献中都被提及，但本论文强调了通过位 移估计获得亚像素点的位移偏差，并利用L R 图像内的相关性来更好地实现对位 移的估计。 2 1 观测模型 为了解决S R 重建问题，我们首先要建立从L R 图像到H R 图像之间联

36、系 的观测模型。需要指出的是，为了能够重建H R 图像，对L R 图像也有一定的 要求。首先这一系列L R 图像与重建的H R 图像呈现的应是相同的场景。为了 更好地理解相同场景的概念，我们有必要对图像的尺度( s c a l e ) 做进一步的说明。 对于一幅图像一般有两个尺度一个是外尺度，一个是内尺度。对于外尺度，我们 可以认为是图像表现对象的大小，如表现一棵树的图像和表现一棵草的图像是具 有不同的外尺度的。对于内尺度，可以理解为对于拍摄对象反映的精细程度，这 个尺度可以由分辨率的大小来体现。对于所有L R 图像我们要求它们表现的场 景具有相同的外尺度。例如，多幅L R 图像表现的是同一棵

37、树的场景，可由于 拍摄的距离和光学焦距的不同，有的只反映了树的局部而有的反映是其他的场景 信息。对于内尺度，由于图像摄取设备表现现实场景的精细程度是有限的，这体 现在分辨率上是有限的，不同图像的分辨率有高有低，在S R 重建问题上，虽 然L R 图像和H R 图像在外尺度一样的情况下反应同一个场景，但在内尺度上， L R 图像比H R 图像的分辨率要低。这里为了讨论方便，我们认为L R 图像都 有相同的外尺度。对于内尺度，我们要进一步说明，对于相同的外尺度，如果把 摄像设备看成是从现实世界中通过采样获得数据，那么更高的分辨率相当于更高 的采样频率，因此，L R 图像便是由具有低带宽设备获得的图

38、像，而H R 图像 便是由具有高带宽设备获得的图像。这两者的采样过程都是均匀采样，而每个采 浙江大学硕士学位论文 样点相当于网格上的一个点，那么H R 图像相对于L R 图像具有更密集的网 格。如果一系列L R 图像网格上的点都不完全相同，那么不难看出这些L R 图 像所含有的信息要多于任意一幅L R 图像所含的信息，如果有足够多的含有不 同采样值的L R 图像，这些L R 图像所含信息与一幅H R 图像相同，那么我 们便能从这些L R 图像中获得一幅具有更精细的内尺度的图像。 为了实现S R 重建，我们需要获得含有不同信息的L R 图像。对于这些L R 图像，使它们具有不同信息的方法之一就是

39、使它们网格上的点对应不同的H R 图像网格上点，即使它们相对于H R 图像网格有不同的偏移，亦即在亚像素 ( s u b p i x e l ) 上的偏移。如果不是在亚像素级，那么L R 图像之间含有的信息将 在很大程度上是相同的，这样就不能获得H R 图像了。为了获得满足要求的L R 图像，我们可以通过在不同的位置安放多个相机获得，也可以由一个相机经过多 次拍摄得到。对于一个相机我们可以控制它的移动来获得多幅L R 图像，如扫 描仪控制它在不同的初始位置开始扫描，或者是天文望远镜，虽然获得不同的 L R 图像需要通过转动望远镜，L R 图像间的偏移将会是很复杂的，但是如果转 动的角度不是很大

40、，也可以把L R 图像间的偏移看成是简单的位移。对于一个相 机，由于场景内物体的移动，也可以获得多幅L R 图像，不过在这方面的应用 相对困难，这是因为物体的运动形式可能相当复杂，这就给解决S R 重建问题 带来了很大的困难。 在获得L R 图像的过程中，不仅有在空间上分辨率的损失，还有模糊( b l u r ) 和噪声对图像的影响，那么在S R 重建中，我们不仅需要对分辨率进行加强， 而且要去除模糊和噪声，图2 1 表现了L R 图像和H R 图像间的关系。 根据以上讨论我们可以建立观测模型的数学表达式： 兰t = C B F 一X + 盟 1 ksN ( 2 1 ) 这里所有的图像都以列展

41、开成一个一维列向量，对于获得的N 幅每幅大小为 M 2xl 的图像世。) N I ，我们认为这些图像与一幅理想的L 2xlH R 图像表示 相同的场景。其中，L M ，更确切的说，每一幅获得的L R 图像是由H R 图像经 过任意的位移、模糊、下采样且含有噪声。这里我们假设噪声为高斯噪声，位 移为任意的全局位移，相同的P S F ( 这里我们用P S F 体现图像降质的程度) ， 和相同的下采样其中E 是一个大小为r r 表示全局位移的矩阵，召是一 图2 1L R 图像和F I R 图像间的联系 F i g 2 1t h er e l a t i o nb e t w e e nL Ri m

42、a g e sa n dH Ri m a g e 2 2 运动估计 对于运动估计，这里有两点要说明，第一我们认为这里的偏移只有全局位移， 第二，从L R 图像中直接估计出的偏移不会对解决S R 重建问题有任何贡献， 而是需要利用L R 图像帧内像素的相关性来估计出H R 图像网格级上的偏移。 运动估计算法在图像应用上可以说非常广泛，例如在视频压缩编码上，为了 进一步减小对带宽的占用，减小帧之间的短时冗余，可以利用运动估计来达到这 个目的。在机器视觉和机器人邻域，可以利用运动估计来进行目标物体的跟踪等。 在S R 重建上，运动估计也是关键技术。因此我们有必要对运动估计方法进行 详细的讨论。 运动

43、估计方法可以分为四大类1 8 1 ：梯度方法、像素递归方法( p e l r e c u r s i v e t e c h n i q u e s ) 、块匹配方法( b l o c k m a t c h i n g ) 、频率域方法。梯度方法是利用一系列 图像，从中解出光流( o p t i c a lt o w ) 方程并得到一个运动场( m o t i o nf i e l d ) ，而像 素递归方法和块匹配算法都是在视频压缩编码中发展起来的，像素递归法可以看 成是梯度方法的一个子集，块匹配方法是基于最小化差异测度( d i s p a r i t y m e a s u r e )

44、 来进行运动估计，频率域方法利用图像之间变换参数的关系来获得运动估计。本 浙江大学硕士学位论文 论文主要对梯度法和块匹配算法进行详细的讨论。 1 ) 梯度法： 若有第以幅图像在像素点0 ，y ) 的值为I ( x ，Y ，咒) ，垡= ( d ，d y ) 是其它任 一图像，O ，Y ，n i ) 与第刀幅图像，( 工，Y ，1 ) 的偏移，我们有： l ( x ，Y ，n i ) = ，( 工+ d ，y + 或，z ) ( 2 2 ) 对J + d 。，y + d y ，行) 进行泰勒展开我们有： l ( x + d ，y + d y ，以) = l ( x ，Y ，n ) + d _ A

45、 I 把( 2 3 ) 代入( 2 2 ) ，有： l ( x ，Y ，z ) 一l ( x ，Y ，n i ) + a _ a t = 0 ( 2 3 ) ( 2 4 ) 这里式( 2 4 ) 便是光流约束方程( o p t i c a lf l o we q u a t i o n ) ，从式( 2 4 ) 中解出生便 是我们要求的偏移。由于我们只有式( 2 4 ) 一个约束条件，而要求的未知量有 两个，所以往往要加一定的约束条件，以便得到更好的解。 在梯度法里，L u c a s K a n a d e 提出了一种利用迭代来求解光流约束方程的方法 【1 9 1 。首先我们发现式( 2 4

46、 ) 与式( 2 2 ) 两个方程是等价的，只是( 2 4 ) 式把 l ( x + d ，y + d ，刀) 以泰勒级数展开，以便使偏移垡能够显示的表达出来。换句 话说，式( 2 2 ) 也是光流约束方程。那么我们可以直接利用式( 2 2 ) 来求解偏移。 我们利用式( 2 2 ) 建立一个能量函数： 知4 “ W y朋+ w ， 占( d ) = I ( x ，Y ，n ) - l ( x + d ；，y + d y ，刀f ) ( 2 5 ) x 。x O w xy 2 y o W y 其中( 心，w ，) 是累加器窗口的大小，使能量函最小的d 便是要求的偏移垡。要 注意的是，窗口大小选

47、择要适当，太小将会受到噪声相对严重干扰，太大则对小 的物体偏移估计不准。可以看出L u c a s K a n a d e 的方法是一种迭代搜索方法，为 了快速求得偏移，一般会使用图像金字塔方法，即对图像进行L a p l a c i a n 滤波， 之后下采样得到图像厶，再对图像厶进行相同的操作得到厶一次次往下达到 金字塔的各级。为了求出偏移，我们先在最低级利用L u c a s K a n a d e 算法求出偏 移，之后再在下一级求出新的偏移，最后在原级求得真实的偏移。 浙江大学硕士学位论文 这样做的原因是为了减小搜索范围，下一级与上一级的偏移只会相差一个像素 点，而最低级的搜索范围相对

48、原级的大大减小了，例如，在一个四级的金字塔里， 原级偏移的范围为8 0 个像素点，如果直接计算那么我们要有8 0 x 8 0 次迭代，而 利用金字塔我们只需要l O x l O + 3 x 4 次，通过1 1 2 次迭代即可获得偏移，在计算时 间上效率大大的提高了。 2 ) 块匹配算法： 块匹配算法在运动估计中，尤其是在视频压缩编码中具有重要的作用，这一 类算法是通过在两幅图像之间进行块匹配来寻找最小化差异测度，从而获得参数 估计。在块匹配中，先把图像分为多个子块，对于每个子块，认为每个像素点具 有相同的偏移，这里我们认为偏移只是位移差，即偏移向量d 。为了求得偏移 向量，我们并不是以一个像素点来比较而是通过一个像