《基于SIFT特征向量的图像拼接技术研究学位论文.docx》由会员分享，可在线阅读，更多相关《基于SIFT特征向量的图像拼接技术研究学位论文.docx（21页珍藏版）》请在三一文库上搜索。
1、基于SIFT特征向量的图像拼接技术研究摘要图像拼接技术是数字图像处理邻域的一个研究热点，一直是计算机视觉、模式识别、医学等领域研究的一个重要课题，图像拼接技术也是图像处理工作中的关键技术之一。所谓图像拼接就是将有重叠的图像无缝拼成一幅大宽视域图像的技术。它包含两个关键技术：图像配准和图像融合。近年来，随着技术的成熟，图像拼接技术被很好的应用到了机器人导航、无人平台战场监控、航拍图像处理等多个领域。基于特征的图像配准与拼接技术配准结果准确拼接效果良好且不易受光照、旋转等因素的影响是当前图像配准与拼接领域研究的热点。本文在深入研究和学习已有的基于SIFT的图像配准与拼接技术的基础上，详尽地分析了现
2、有算法的不足，并提出了若干改进算法。关键字：图像拼接，特征，线段特征，图像融合Image splicing technology research based on SIFT feature vectorabstractImage splicing technology is a research focus in the neighborhood of digital image processing, has been the computer vision, pattern recognition, an important hot topic in the field of medic
3、ine and other fields, image splicing technology is one of the key technologies of image processing work. The so-called image mosaicing is there will be overlapping images seamless Mosaic a big wide horizon image technology. It includes two key techniques: image registration and image fusion. In rece
4、nt years, with mature technology, image splicing technology is very good application in robot navigation, unmanned platform battlefield monitoring, aerial image processing and other fields. Based on the characteristics of image registration and Mosaic registration results are accurate stitching effe
5、ct is good and not easily influenced by factors such as illumination, rotation is the hotspot in research of image registration and Mosaic. Based on the in-depth research and study of the existing image registration based on SIFT and splicing technology, on the basis of the shortage of the existing
6、algorithm is analyzed in detail, and puts forward some improved algorithm.The keyword：Image stitching, features, line features, image fusion目 录第一章 绪 论31.1研究背景和意义31.2国内外研究现状41.3研究内容5第二章 图像拼接的相关理论基础62.1图像拼接的基本流程62.2图像预处理72.3图像配准72.3.1基于灰度信息的图像配准82.3.2基于变换域的图像配准82.3.3基于特征的图像配准92.4图像融合10第三章 基于 SIFT 特征的图
7、像拼接算法和图像特征提取算法113.1算法流程113.1.1SIFT 特征描述符113.1.2ISIFT 算法的特征匹配123.2图像融合133.3图像特征提取算法153.3.1图像特征提取概述163.3.2 SIFT 特征向量的匹配16总结17参考文献19第一章 绪 论1.1研究背景和意义图像拼接就是将两幅或多幅输入图像通过计算机技术拼合成一幅光滑无缝图像的过程。图像拼接将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅大型无缝高分辨率图像的技术。图像拼接是一个日益流行的研究领域，它已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决问
8、题的一般表达式：通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。图像拼接的两个关键技术是图像配准和图像融合。采集的输入图像要求图像之间存在重叠部分，对图像间的亮度、形变等差异不做要求。计算机技术的发展使图像拼接技术成为可能，人们通过理论算法在计算机上编程实现图像拼接。判断图像拼接技术优劣的指标主要是质量和效率，因此，高质量高效率是当前拼接技术研究的热门方向。 人类获取信息的途径是多种多样的，人们可以通过语言交流信息，可以通过文字传达信息，可以通过眼睛所看到的场景接收信息等，毫无疑问眼睛获取的图像信息所含信息丰富信息量大，可以更直观更容易被人
9、们获取。与早期的模拟图像相比，数字图像具有再现性良好、处理精度高、便于设备的传输与显示。因此，现实生活和工作的各方各面都用到了数字图像应用技术。由于普通相机分辨率一定，不能满足人们获取图像时要求图像宽视角并且较高的分辨率，另外一些广角镜头价格昂贵不具有普遍性，因此人们开始考虑采用软件技术将多幅图像拼为一张大图像。早期的拼接主要依靠手动完成，对于图像旋转、缩放等变换手动拼接就无法很好的处理。因此，人们想到了时候可以利用 PC 对图像进行拼接以克服手动拼接的缺点。这也是拼接技术一直到现在都在研究的问题。人眼所能看到的范围是一定的，为了对某些大场景得到一个总体性的认识，人们首先获取该场景的各部分图像
10、，然后将这些局部图像通过计算机拼成一张包含整体场景的图像。由于计算机完成了图像的自动拼接，这使得人们可以利用自己的计算机对自己感兴趣的图像进行拼接处理，拼接技术的普遍化增加了拼接技术应用领域的范围。当前乃至今后，图像拼接技术都将拥有广泛应用价值。然而，由于图像自身的各种复杂变换以及外界的噪声等影响，目前还没有一个图像拼接算法能够处理所有情形的拼接问题。图像拼接技术应用非常广泛，如医学领域、遥感领域、3D 虚拟现实领域等。此外，图像拼接技术还可用于视频监控系统、视频的检索浏览及编辑，在视频压缩领域也得到了重要运用。在医学领域内，医生利用超声波或显微镜等仪器拍摄图像或细胞图像时，然而，由于拍摄的视
11、角较小或者拍摄到由多个小碎片图像形成的大目标图像，医生无法获得比较完整的数据或信息来诊断病人的病情，故把多个相邻的图像拼接成一幅宽视角的图像能帮助医生获取病人信息来诊断病情。如医生使用含有多个摄像机的内窥镜对病人进行微创手术，提高了手术的成功率。在虚拟现实领域内，首先利用摄像机或照相机拍摄多幅含有重合区域的真实场景，然后通过计算机图像学中三位几何模型的绘制技术和图像的拼接技术建立虚拟场景。目前，图像拼接技术在虚拟现实领域内取得了一定成果，如神话电视剧中的背景图像或游戏背景。在交通控制系统中，首先在十字路口的四个方向上各放置一个摄像机，然后把捕获的四个单独视频流利用图像拼接技术进行全景图像拼接，
12、最后把构建的全景图像传送到指挥室。该种方法降低了传送的数据量，减少交警的分析判断时间，提高了交通控制效率。在卫星遥感领域内，通过飞机或者人造卫星在高空中从多个角度拍摄或从多个场景拍摄图像，然后将拍摄得到的图像拼接成一幅宽视角、完整的全景图像。如图像拼接技术在生态环境污染检测、国土资源勘探、城市规划、植被资源调查等方面具有广泛的应用。由此可见，图像拼接技术不但在民用领域内对人们的实际生产生活有着非常广阔的应用前景，而且在军事领域内起着重要的作用。虽然图像拼接技术己经研究多年且取得了一定的进展，但对中国而言，它在理论和技术上都还没有成熟。因此，深入研究本课题，对发展中国的图像处理技术邻域有着重要的
13、现实意义。1.2国内外研究现状图像拼接技术是计算机视觉、数字图像处理、计算机图形学等领域一个非常重要的分支。其在遥感摄影、视频监控、医学图像处理、虚拟现实等领域都有着重要的应用，图像拼接技术更是全景摄影技术、场景重建等领域的核心技术，是近年來图像处理领域的研究热点。在全景图拼接领域，国外的R. Szeliski 和 J. Coughlan 在 1996 年就提出一种用投影变换模型来进行图像配准，然后通过搜索算法来求出变换模型参数，虽然该方法能够获得相当好的实验效果，但是该方法所需要的运行时间比较长1。根据该文作者的实验结论，此方法对平移、旋转和仿射都具有一定程度的不变性。2000 年，S.Pe
14、leg 对此方法进行了改进，提出了自适应图像拼接算法，该算法根据相机运动轨迹的不同，自动选择拼接模型，最终实现图像拼接2。另外，Sevket Gumustekin 解决了生成全景图过程中产生的投影变形问题，通过对摄像机建立成像模型，再利用求得的成像模型把待拼接的图像投影到高斯球面上，来完成图像拼接3,4。1999 年，D.G. Lowe 提出了基于不变量的 SIFT 算法，并用该算法实现了目标识别5。2003 年，M.Brown 就使用了该 SIFT 算法实现了全景图自动拼接，并且效果较好6。2007 年，Seong Jong Ha 提出了基于摄像机系统的全景图拼接，拼接效果不仅好，而且速度也
15、很快7。国内使用此类方法的也有很多人，比较有代表性的如李中科8等结合一维和二维傅立叶变换，首先利用一维傅立叶变换，通过在变换域搜索角度脊得到旋转参数，然后对图像进行旋转。再利用二维傅立叶变换，求解平移参数，最后完成配准。李忠新9等提出的方法和Reddy的很相似，只是在计算方面做了一些改进。方俊伟10等也结合极坐标和相位相关方法解决旋转和平移图像间的图像配准和拼接问题。从以上的阐述中我们可以看出，传统的相位相关仅适用于图像间具有平移的场合，改进后，适用于图像间具有平移、缩放和旋转的场合，但是这需要付出巨大计算量的代价10。然而此类方法仅解决了图像间存在刚体运动的场合，面对图像存在非刚体变换失真以
16、及更加复杂的运动（如仿射变换）情形时，就无能为力了。因此，限制了这种方法的推广和应用领域。基于几何区域相关的图像拼接方法，是在输入图像中的某一幅中，选取合适的几何区域（比如直线，多边形等），然后在其它输入图像中选取同样的几何区域，并在水平和垂直方向上移动，来计算两幅图像中几何区域的相似性（相关性），从而求解图像间的几何运动关系，完成配准。2012年，郑悦等人提出了一种基于强制改正法的灰度均值改正比的拼接缝消除方法该算法通过计算拼接缝两侧的灰度均值与原图像均值之比，利用该比值使拼接缝两侧的灰度逐渐过渡，从而消除拼接缝。11在图像拼接过程中，首先是选择哪种特征提取算法，好的特征提取算法能使图像配准
17、更加稳定。其次是选择何种融合算法，好的融合算法能够使拼接图像更加自然。到目前为止，从稳定性和快速性两方面考虑，SIFT 算法在图像拼接领域是应用最广泛的。1.3研究内容图像拼接技术的主要内容及流程自动建立大型、高分辨率的图像拼接技术是复杂的，多学科交叉的处理技术，一直是摄影测量学、计算机视觉、图像处理和计算机图形学的活跃研究领域。图像拼接技术主要包括以下内容：1. 经典的图像处理技术，如：图像变换、边缘检测、图像增强等。2. 图像配准技术，图像配准是指同一目标的两幅（或者多幅）图像在空间位置上的对准。3. 矩阵理论和空间几何学，图像拼接技术实质上是像素进行空间搬移的过程，它是图像拼接技术的应用
18、数学基础。4. 数据的重采样、插值技术。5. 图像拼接集成技术，主要有全局对齐、图像融合、接缝消除技术。当然还涉及了数值计算、模式识别、最优化方法、神经网络等领域的技术。其中图像配准是整个图像拼接技术体系中的核心技术。按照图像配准方法的不同，可以分为基于特征的方法和基于光流的方法（非特征）两大类。但无论采用什么方法，图像拼接过程一般都由预处理、图像配准、图像融合三个步骤组成。拼接流程如图 1.1（以两幅图像的拼接为例）：图1.1 图像拼接流程图基本上图像拼接都遵循以上三个步骤，当然在一些情况下可以省略预处理这一环节。这三个步骤对最终目标图像的质量都有影响，其中，预处理主要是为图像配准做准备，以
19、提高其精度和速度；图像配准是拼接的核心和关键；图像融合一方面解决最终图像的画出问题，一方面消除缝合线以及光度和色度的影响。本文研究的主要内容为：(1)研究了图像拼接的常用方法、一般流程以及相关的基础理论知识，包括尺度空间，高斯尺度空间，图像金字塔，积分图像，DOH 近似，变换模型等。(2)重点研究了图像的特征提取算法。主要是比较前沿的图像拼接算法 SIFT、SURF、MSER 等算法，对 SIFT、SURF、MSER 特征提取结果进行了分析及实现。 (3)完成了基于 SIFT、SURF 算法的图像拼接，采用最近邻法实现图像粗匹配，并使用经典的 RANSAC 算法进行特征点的提纯。将拼接算法用于
20、细胞显微图像的配准和拼接，在 VC2008 环境下进行了仿真实验，同时对 SIFT 算法进行了两个方面的改进。同时，还对图像融合技术进行了研究，其中，多分辨率融合方法是本文研究的重点，并且将该方法用于图像拼接中。第 1 章是绪论，介绍了图像拼接技术的研究意义及应用领域，并说明了图像拼接技术的发展现状以及所面临的问题。并且说明了本论文的主要工作和图像拼接技术的关键问题。第 2 章主要介绍了图像拼接的相关理论基础。首先介绍了图像拼接的基本步骤，主要包括四个流程，分别为图像采集、图像预处理、图像配准和图像融合，最后阐述了图像的融合技术。第 3 章详细讨论了图像特征提取算法。首先介绍了图像特征提取的总
21、体思路。详细介绍了基于 SIFT 特征的图像拼接算法。首先分析了图像匹配的过程，然后针对特征点中存在误配的情况，提出了 RANSAC 算法进行内点提纯。根据不同投影面的效果，本文选择了平面投影。由于图像拼接后会出现拼接缝，针对此问题，本文提出了基于多分辨率金字塔的图像融合方法。最后对 SIFT 算法进行了优化，并完成了全景图的拼接过程。最后对论文的工作进行了总结并对未来的研究进行了展望。为获得宽视角、高分辨率的全景图像，借助图像拼接技术来实现图像自动拼接。但由于灰度、光照等复杂因素的影响，拼接后的图像在拼接缝之间产生明显的拼接线，同时对于多幅无序图像的输入，如何实现全景图像的自动拼接。第二章
22、图像拼接的相关理论基础2.1图像拼接的基本流程一套完整的图像拼接技术涉及了很多图像处理技术，算法涉及数学、几何学、物理学等，因此实现图像拼接的方法丰富多彩，图 2.1 可以整体的描述图像拼接算法的一些基础流程，下面我们来简要阐述图像拼接技术的实现过程。（1）输入图像。输入的图像是数字图像，数字图像有利于计算机的存储、修改、保存等，相对于数字图像的是模拟图像如胶卷相机拍摄的带有底片的照片。获取图像的方式很多，图像的种类也很多，这也是造就图像拼接算法丰富多彩的一个原因，通过数码相机可以方便的获取图像，带有鱼眼镜头的相机更是可以获取全景图像，论文如无特殊说明，图像的获取方式均是手持数码相机获得的数字
23、图像。 （2）预处理。预处理可以说是图像拼接技术的真正有意义的第一步，它为拼接技术的保质高效的顺利完成起到了积极的作用。预处理顾名思义，对采集来的图像进行预先处理，如去除图像中的噪声，这可以提高图像拼接的质量。总之可以根据图像本身的需要选择各种预处理方法。（3）图像配准。可以说，配准技术是图像拼接技术的灵魂性技术。它是整个图像拼接技术中最关键的环节。配准的目的是通过某种方法可以寻找到两幅或多幅有重叠部分图像的共同点，并根据这些共同点将两幅图像拼合到一起。（4）建立变换模型。这一步其实是由配准来完成，当配准进行到找到了两幅图像间的共同点时，这时需要将两幅图像以数学表达式的形式建立图像间的关系，以
24、利于将图像做进一步的拼合工作。 （5）统一坐标变换。两幅图像原本有各自的数学模型，这两种数学模型有各自的坐标系系统，之间没有关系，通过建立变换模型我们可以求得这种关系，这里的工作是要将两个坐标系统一到一个坐标系下，这样两幅图像就拼合在了一起。（6）图像融合。将两幅图像简单的拼合在一起，我们可以想象，每幅图像原本具有各自的亮度，这种拼合在一起的图像往往图像之间是有亮度差异的，在两幅图像之间重叠的部分就会出现明显的拼缝现象，图像融合技术就是要处理两张拼合图像消除这种明显的拼缝、鬼影等现象，使拼合好的图像具有整体的视觉一致性。（7）输出全景图像。此时的拼接工作已经完成，已经可以输出一幅拼接图像了，为
25、了更符合人们视觉观察的美感，往往可以将图像进一步处理成图像在一个“面”上显示，这里的“面”可以是平面、多面体等，有时这一步工作也可以在配准前来完成。2.2图像预处理图像预处理工作的目的在于保证匹配精度和提高匹配效率。总体来说，由于图像自身特点、噪声及应用的情形不同，需要根据实际情况来选择预处理的方法。保证高准确性的图像预处理工作主要分为图像校正和去噪。由于普通照相机或摄像机不能提供相机成像参数且获取的图像存在失真，故需利用校准技术从图像数据中估计出相机参数，并建立失真校正模型来校正图像失真。由于光学成像或电子扫描系统的原因而产生图像的几何畸变会给图像的配准带来很大的困难。根据失真原因建立相应的
26、数学模型，由模型设计滤波器，由失真图像计算真实图像的估值，从而获得尽可能的接近真实图像的数据。图像校正后的效果如图2.1图2.1桶形失真图像和校正后的图像 在图像的采集、输入等环节中都会引入噪声，噪声会影响拼接效果，抑噪去噪一直是图像处理领域长期研究的问题。另外，由于彩色信息不能明显提高匹配性能，我们可将彩色图像转换为灰度图像，并在灰度空间内进行后续匹配操作。这样，灰度图像的转换使可能匹配耗时大大降低。总之，根据拼接图像的各种情况采用不同的预处理方案能有效的提高拼接的质量与速度。2.3图像配准图像配准方法可以分为基于灰度配准和基于特征配准，其思想是根据一些相似性度量来计算不同图像间的变换参数，
27、使不同成像设备在不同时间和不同视角获取的同一场景的多幅重叠图像能够变换到同一坐标系下，并得到精确匹配的过程。基于灰度的常用图像配准方法有：空间相关法、频域相关法、不变矩法。基于灰度的图像配准，其基本思想是：直接利用整幅图像的灰度度量两幅图像之间的相似度，然后采用搜索方法寻找相似度最大或最小的点，从而确定两幅图像之间的变换模型参数。步骤为：首先对待四配图像做几何变换；然后根据图像灰度信息的统计特性，定义一个目标函数，以此作为参考图像与变换图像之间的相似性度量，使匹配参数在目标函数的极值处取得，并以此作为匹配的判决准则和匹配参数最优化目标函数，将匹配问题转化为多元函数的极值问题；最后通过优化方法求
28、得正确的几何变换参数。在两幅图像灰度信息相似的情况下，常用的匹配算法有：互相关匹配算法投影匹配算法、基于傅里叶变换的相位匹配算法和图像矩匹配算法。基于灰度的匹配算法，只对图像的灰度进行处理，匹配的结果只依赖于方法的本身，并且可以实现全自动的匹配。其中最大信息法几乎可以用到任何不同模态图像的匹配，已广泛应用到多模图像的匹配中。基于灰度匹配算法缺点是：计算量大、匹配所需时间长、对图像的缩放、旋转和扭曲敏感、忽略了图像的空间相关信息。基于图像灰度的配准算法流程图：图2.2基于图像灰度的配准方法流程图基于灰度的图像配准方法精度高，但是也存在如下一些缺点：（1）计算的复杂度高。（2）对目标遮挡、旋转和形
29、变比较敏感。（3）对图像的灰度变化比较敏感，特别是非线性的光照变化，会大大降低算法性能。2.3.1基于灰度信息的图像配准 基于灰度信息的配准方法简单且易于操作，基于灰度信息的图像配准方法可以简化预处理工作，不需要像其他配准方法一样进行繁琐的预处理操作，基于灰度信息的图像配准方法不需要利用图像中亮度、边缘、轮廓等信息，不需要分析图像本身的内容，它就是利用了图像的灰度信息来完成图像之间的配准。但这种方法可应用的范围较小，对噪声以及其他条件的改变都很敏感，它不能处理发生了非线性形变的图像，往往对这种图像无能为力，另外，由于灰度信息彼此之间的相似性，在匹配过程中计算量可能比较大。2.3.2基于变换域的
30、图像配准 相位相关法是在图像变换域上利用傅里叶变换平移性质实现图像的配准。 假设两幅图像I1(x, y) 和I2(x, y) ，存在平移 (tx, ty) ，即满足: 那么图像I1(x, y) 和I2(x, y)相应的傅里叶变换F1 和F2 就满足=有其中，为互功率谱相位， F*2 (u, v)是F2 (u, v) 的共轭。对互功率谱的相位进行傅里叶逆变换，可在(tx, ty)处获得冲积函数的最大值。2.3.3基于特征的图像配准基于特征的图像配准常用的图像特征有：点特征、线特征、边缘、轮廓、闭合区以及统计矩等。特征提取算法可分为点特征算法、线特征算法算子、面特征算子。随着分割技术和边缘检测技术
31、的发展，基于边缘、轮廓和区域的图像配准方法已经成为研究的热点。基于特征的方法具有操作简单、匹配速度快、精度高的特点。其基本步骤和方法是一致的如图2.3图2.3基于特征的图像配准方法的基本步骤基于特征匹配的方法是图像配准方法中的一大类，这类方法的主要共同之处是首先对图像中关键信息进行提取，再利用提取的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像间的几何变换模型以完成图像的配准。这一类方法的优点在于：通过对图像中关键信息的提取，可以大大减少匹配过程的计算量；通过特征提取过程还可以减少噪声的影响，对图像的灰度变化、图像变形以及遮挡都有较好的适应能力。基于特征的图像配准方法步骤如下： （
32、1）特征提取。根据参考图像与浮动图像的特征来决定提取何种特征来进行匹配。（2）特征匹配。在基于特征的图像配准中，在特征提取之后可以直接进行特征匹配，可以直接利用特征周围象素建立此对应关系，但这样得到的对应关系既不稳定还会存在大量的冗余信息。因此需要对其进行改进，给每个特征赋予一个描述符，从而使特征匹配过程变为搜索相近特征描述符的过程。 （3）运动关系求解。运动关系求解的过程实际上就是计算变换模型的过程，这里的运动关系通常指的是对应的变换矩阵。得到特征匹配对后就可以构造变换模型，也就是通过特征匹配对来确定待匹配图像间变换关系，通过变换关系将待匹配图像统一到同一坐标系下。直接获取两幅图像间的摄像机
33、的运动关系模型几乎是不可能的，但可通过迭代法求解变换矩阵来实现运动关系的求解，且每次迭代都是先随机选取特征匹配对来求解一个初始的对应矩阵。图像拼接的难点图像拼接中主要难点在于如下几个方面： (1) 参考图像和待配准图像可能因为在图像拍摄过程中的光照和抖动原因，产生了图像的几何畸变和噪声，如何对图像进行几何校正和去噪处理，并达到理想的效果。 (2) 为了正确快速匹配，需要对参考图像和待拼接图像中的什么信息进行提取，以及对所提取的信息如何进行匹配，选择何种搜索策略。(3) 参考图像和待拼接图像之间不仅存在平移，还有旋转以及缩放，或者在两幅图像之间存在大面积的同色区域等难以匹配的情况，如何在这些情况
34、下也能做到正确快速的匹配。(4) 对已经匹配了的两幅图像之间，选择何种图像融合的方法，才能让拼接后的图像自然无痕。(5) 参考图像和待配准图像之间的重叠比例非常小，正确的图像匹配特征可能会淹没在大量的非匹配的特征中，如何能够找到正确的匹配特征。(6) 两幅图像中有物体发生了运动，在融合时如何能够消除鬼影。2.4图像融合 图像配准结束后根据求得的两幅图像间的对应变换矩阵，将两图像变换到同一坐标下形成一张拼接图，这时两图像就被简单的拼合到了一起，但是由于拍摄时两图像光照、视野、地点的差异或者图像本身分辨率、视角的不同往往拼接图像的重叠区域会产生鬼影、模糊、失真、有噪声点等现象。为了消除以上现象，改
35、善拼接图像的视觉效果，实现图像间的光滑无缝拼接，就需要图像拼接的另一关键技术即图像融合技术。图像融合按不同的属性分类方法多种多样，这里我们简要的介绍几种融合方法，并分析这些方法的优缺点。 （1）基于加权平均的融合方法基于加权平均的融合方法是对直接加权融合方法的改进，直接加权平均的融合方法只是简单的将两幅图像的重叠部分的灰度相加再去平均值，这样很多时候图像间的拼缝现象仍然没有消除，因此，虽然直接加权法效率很高，算法复杂程度低，但融合的质量很难令人满意，因此这种方法普遍性不强。针对这种方法的不足，人们提出了基于加权的平均融合方法，这种方法的主要思想是：根据两幅图像重叠部分的位置不同对于最终形成的像
36、素点的灰度的贡献也不一样，我们设定一个权值，一幅图像在接近自身的位置这个权值大，在远离自身的位置权值小，权值由 1 变 0，这样就可以随着权值的变换，图像的灰度呈连续性的变化并将拼缝消除。 （2）中值滤波的融合方法中值滤波法实际上是采用了一个中值滤波器，我们知道，中值滤波器可以消除图像忽然产生的亮度畸变。我们首先需要设定一个阈值 T，这是用来判定某像素点灰度值是否比它周围像素灰度值差异较大，具体做法是将一个像素点的灰度与它周围的其他像素灰度做一个比值，如果这个比值超过了给定的阈值T，那么我们就认为此处存在较大的亮度畸变，这时对此处进行中值滤波处理来消除畸变，中值滤波法可以保持亮度的连续性，但是
37、这种方法要求一个比较合理的阈值，阈值取得不合理有可能影响最终的融合质量，这是这种方法的缺点所在。（3）基于小波的融合方法 基于小波的融合方法同基于多分辨率的融合方法的原理类似，它是先将重叠部分的图像进行小波变换，形成若干小波图像，并对这些小波图像分别进行融合处理，这样有利于保持图像的原始信息，既有图像细节信息的融合，又有图像整体概况信息的融合，然后通过小波的逆变换形成完整融合图像。基于小波的融合方法图像的融合质量相对较高，融合的效果较好，但是这种方法需要多次的小波正逆变换，因此算法复杂度比较高，这样融合的速度会降低，影响拼接的效率。 本文在综合考虑了各种融合算法的优缺点后，认为基于加权的融合算
38、法不论在融合的质量以及融合的效率上都比较令人满意，符合本文拼接效果的要求，因此，本文采用了其中一种基于加权平均法的图像融合方法。第三章 基于 SIFT 特征的图像拼接算法和图像特征提取算法3.1算法流程我们的任务是根据这种情况的拼接特点，从拼接鲁棒性、拼接速度、拼接质量方面考虑，我们有如下的图象拼接算法，算法流程图如图 3.1 所示。图 3.1 算法流程图3.1.1SIFT 特征描述符首先将坐标轴旋转为特征点的方向，以保证旋转不变性；接下来以特征点为中心取88的窗口（特征点所在的行和列不取）。在图3.2中，中央黑点为当前特征点的位置，每个小格代表特征点邻域所在尺度空间的一个像素，箭头方向代表该
39、像素的梯度方向，箭头长度代表梯度模值，图中圈内代表高斯加权的范围（越靠近特征点的像素，梯度方向信息贡献越大）。然后在每44的图像小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，如图3.2(b)所示。此图中一个特征点由22共4个种子点组成，每个种子点有8个方向向量信息，可产生228共32个数据，形成32维的SIFT特征向量即特征描述符，所需的图像数据块为88。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。图3.2图像梯度及特征点描述符实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个特征点使用44共16
40、个种子点来描述，每个种子点有8个方向向量信息，这样对于一个特征点就可以产生448共128个数据，最终形成128维的SIFT特征向量即特征描述符，所需的图像数据块是1616。此时，SIFT特征向量已去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。3.1.2ISIFT 算法的特征匹配(1) 粗匹配。采用优先 k-d 树进行优先搜索来查找每个特征点的两个近似最近邻域特征点，计算比较最近邻域（NN）与第二最近邻域（SNN）的距离，通过设置一个阈值，得到伪匹配点集。(2) 精确匹配。采用 RANSAC（Random Sample Consensus
41、）法进行精确匹配，同时得到图像间的变换关系。具体步骤如下：Step1: 对 NN/SCN 设定阈值 T（根据实验测试，一般在 0.60.8 之间），如果NN/SCN 的值小于该阈值，则保留该点，否则去除该点；Step2: 从 Step1 得到的 M 对伪匹配点中随机选择 3 对匹配点，线性的计算变换（仿射变换）矩阵 H；Step3: 计算每对伪匹配点与 H 的垂直距离 d； Step4: 根据内点距离小于阈值的原则计算 H 的内点，并在此内点域上重新估计 H； Step5: 随机采样 N 次，直到得到最大的内点集合为止；根据这个最大内点集合估计变换矩阵，并把这个矩阵作为最后的图像变换矩阵。表
42、4.1 所示是随机采样次数 N 随外点多少的变化情况。本文中的方法确定采样次数 N、内点距离阈值。通过 Step1 设置阈值 T 进行初步过滤，可以去除 8090以上的误匹配点，这对于 RANSAC算法进一步求解几何变换模型的准确性和速度都有了很大的提高。表 3.1 随机采样次数随外点多少的变化情况3.2图像融合 图像配准后，图像间的变换关系就得到了唯一确定。但是由于普通的手持照相机在拍摄照片时会自动选取曝光参数，这会使输入图像间存在亮度差异，导致拼接后的图像缝合线两端出现明显的明暗变化。因此，为了使融合后的图像具有视觉一致性而没有明显的接缝，我们采用加权平均的融合方法进行图像平滑过渡。假设
43、f1，f2是两幅待拼接的图像，f 是融合后的图像，则其中，d1、d2表示权重值，与重叠区域的宽度有关，且 d1 + d2=1，0 d1，d21，在重叠区域中，d1由 1 渐变至 0，d2由 0 渐变至 1，由此实现了在重叠区域中由f1慢慢平滑过渡到 f2，从而实现了图像的无缝拼接。该实验可以得出：SIFT 算法检测到的特征点非常多，匹配的特征点数量也很多，这正是 SIFT 特征最初用于目标识别的原因。目标识别要从大量的图像数据库中匹配较小的目标，所以较小的目标更加需要丰富的特征信息进行描述。而图像配准不同于目标识别，它只需要使用少量的匹配点对（仿射变换只需要 3 对正确的匹配点对即可进行配准）
44、，这也正是 ISIFT 算法的改进之处。如表 3.2 所示，ISIFT 算法提取出来的特征点数量有明显的减少，这使得特征点的匹配速度明显提高，ISIFT 算法较 SIFT 算法的匹配速度提高了近一倍。虽然ISIFT 算法在减少特征点提取数量的同时，也剔除了部分原有的正确匹配对，但是与检测的数量相比，集合中正确的匹配点的比例并没有降低，甚至提高了，也ISIFT 算法提取出来的特征点数量有明显的减少。为了比较 SIFT 和 ISIFT 算法匹配的速度，做如下实验，针对相同尺度，不同旋转角度的三组图像，如图 3.3 所示，分别采用 SIFT 和 ISIFT 算法进行匹配和拼接，匹配时间如表 4.2
45、所示，采用 ISIFT 算法拼接的结果如图 3.3 中的(c)、(f)、(i)所示。表 3.2 SIFT 和 ISIFT 算法匹配匹配时间的比较（a） （b）（c） （d）（e） （f）（g） （h）（i）图3.3 ISIFT算法拼接结果图3.3图像特征提取算法基于局部特征的图像配准方法的大致流程是：从每一幅图像中检测出局部特征，然后将每个特征点集合中的所有元素进行相互匹配；在通常情况下，每一个局部特征点并不是能够进行正确的匹配，这时就需要对所有的匹配对进行内点提纯，最后才能够得到两幅图像之间正确的变换模型；最后根据变换模型参数将图像投影到参考面上，实现图像的配准。其算法流程如图 3.4 所示
46、：图 3.4 图像特征提取过程3.3.1图像特征提取概述人们能够从一幅图像中发现各种各样的信息，如何从这些信息中提取到人们需要的特征点并用来标识图像中的对象，是图像特征提取的任务。通常，一种好的特征点应该具备以下特点：(1)可重复性：同一个物体/场景在不同的视角下，两幅图像中对应的特征越多越好。(2)独特性：特征的幅值模式需要呈现多样性，这样的特征才能被区分和匹配。(3)局部性：特征应该是局部的，从而减少被遮挡的可能性，并且允许用简单的模型来近似估计(不同角度拍摄下的)两幅图像之间的几何和成像变形。(4)数量性：检测到的特征数目一定要多，即使是很小的物体也应有足够的特征。理想的情况是检测到的特
47、征数量在一个比较大的范围内，然后可以用一个简单的参数来进行调整。特征点的分布情况最好能够反映图像的内容。(5)准确性：检测到的特征点应该能被精确定位，这里定位不仅仅指的是在图像的空间位置上，还包括该特征的尺度等。(6)高效性：在图像中，特征的检测时间效率越高越好，以便用于有实时要求的应用。因此，需要在算法的效果和速度上进行权衡比较，选择一种合适的算法来实现图像的拼接。其中基于特征点的特征提取算法相对于其他的算法来说应用范围要广泛。根据文献的结论，可以知道特征提取算子中 SIFT 算法是较好的。而在特征点方面，SIFT 和 SURF 比较出众，而且稳定性都比较好。将重点研究 SIFT 算子、SURF 算子和 MSERs 算子。其中 MSERs 算子对于区域检测比较有效。3.3.2 SIFT 特征向量的匹配当生成 SIFT 特征向量后，下一步就是特征向量的匹配，主要分为 2 个步骤：1) 进行相似性度量。一般采用欧氏距离、马氏距离等距离函数作为特征的相似性度量。通过相似性度量得到图像间的潜在匹配。采用关键点特征向量的欧氏距离作为 2 幅图像间的相似性度量，取图像 1 中的某关键点，按照阈值找出与基准图像中欧氏距离最近的前 2 个关键点。在这 2个关键点中，如果最近的距离除以次近的距离小于某比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT 匹配点数目会减少，但匹配更