《基于SIFT算法的图像匹配方法-本科毕业论文.docx》由会员分享，可在线阅读，更多相关《基于SIFT算法的图像匹配方法-本科毕业论文.docx（47页珍藏版）》请在三一文库上搜索。
1、基于sift算法的图像匹配方法 44摘要图像匹配是指通过一定的算法在两幅或多幅影像之间识别同名点的过程。图像匹配技术是图像处理技术中的重要研究内容，是图像信息领域之中的一项重要技术，同时它也是其它一些图像分析技术的基础。正由于其应用的广泛性，使得匹配算法的研究逐步走向成熟。图像匹配是一个多步骤的过程，不同的匹配算法之间步骤也会有很大的不同，效果也有较大的出入。SIFT算法是一种基于尺度空间的算法，该算法特征是图像的局部特征，使其对旋转、尺度缩放、亮度变化具有保持不变性，对视角变化、方式变换、噪声也具有良好的稳定性，同时SIFT算法具有独特性好、信息量丰富，运行速度快等特点。本课题研究了基于SI
2、FT算法的图像匹配方法，论述了SIFT算法的实现过程。通过实验，探寻SIFT在亮度变化、尺度变化、旋转变化下的匹配效果。并运用SIFT算法实现物体识别。关键字： 图像匹配，尺度空间，稳定性， SIFT算法，物体识别ABSTRACTImage matching refers to the process of identify homonymy points between two or more images by a certain algorithm. Generally speaking, Image matching technology is of important, not on
3、ly in the application of image processing technology, but also in the field of pattern information. Besides, it is also the basis of some other technology of image analysis. Therefore, it would seem that further investigation about image matching technology is needed.Image matching is a multi-step p
4、rocess. Different matching algorithm would have different calculate steps and results. In addition, SIFT is an algorithm based on scale-space, which feature is the local features of the image, its rotation, scale zooming, brightness variation have the advantage of invariability, and the change of vi
5、ewpoint ,pattern transformation, noise also has good trait of stability. Meanwhile, the SIFT algorithm has the characteristics of good uniqueness, huge information, faster running speed and so on.This article presents that the method of image matching what based on SIFT algorithm, and summarize that
6、 the implementation procedure of SIFT algorithm as well as explores the matching results of SIFT in the aspect of brightness variation, scale variation and Rotation variation.Besides, it also discusses the way of object recognition by use of SIFT algorithm.Keywords: image matching, scale-space, stab
7、ility, SIFT algorithms, object recognition目 录1 绪论11.1研究的背景及意义11.2国内外研究现状21.3研究内容和目标31.4 章节安排32 图像匹配52.1 图像匹配技术概述52.2 图像匹配技术的定义52.3 图像匹配算法分类62.4 本章小结63 尺度空间理论73.1 尺度空间理论73.2 高斯尺度空间83.3 本章小结84 SIFT特征匹配94.1 图像的初始104.2 尺度空间极值检测104.3 精确定位特征点的位置和所在的尺度144.4 确定特征点的主方向164.5 生成SIFT特征向量184.6 SIFT特征向量的匹配204.7 本
8、章小结215 实验结果及分析225.1 SIFT特征提取实验结果225.2 特征匹配实验结果235.3 图像匹配应用物体识别285.3 本章小结356 总结与展望376.1 总结376.2 展望37参考文献39致谢40附录411 绪论1.1研究的背景及意义二十一世纪，人们进入一个信息爆炸的时代，获取的信息的方式也呈现出多样性，早已不仅仅局限在数字、符号、文本等信息，越来越多的信息是以图像的信息在传递，图像信息的比重也越来越大，人们已经从一个读字的时代逐渐在迈向一个读图时代。图像匹配是图像信息领域之中的一项重要技术，同时也是其它一些图像分析技术，如立体视觉、运动分析数据融合等的基础。正因为其应用
9、的广泛性，新的应用和新的要求逐步产生使得匹配算法的研究逐步走向深入1。因此，急需展开对现有匹配方法的研究与改进，提高匹配算法的精确度与效率，这对图像信息的发展有着至关重要的意义。基于SIFT算法的图像匹配技术是1999年British Columbia大学大卫.劳伊教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的图像局部特征描述算子SIFT，并在2004年被加以完善。点特征是图像最基本的特征,它是指那些灰度信号在二维图像上都有明显变化的点,如角点、圆点等。点特征可以应用于诸如图像的配准与匹配,目标描述与识别, 光束计算,运动目标跟踪、识别和立体像对3D建模等众多领域
10、2。使用点特征进行处理,可以减少参与计算的数据量,同时又不损害图像的重要灰度信息,在匹配运算中能够较大的提高匹配速度,因而受到人们的关注3。提取特征点的算子叫做兴趣算子或有利算子，即从图像中提取出一些能代表图像信息的特征点，运用这些特征点来对图像进行处理，以便达到目的。根据不同的目的，提取不同的特征点。特征的提取是图像匹配技术的最重要组成部分，一幅图像中可以检测到多个关键点，我们需要消除一些不需要的点，保留特征性较强的点，用这些点来进行图像匹配。最后消除错误的匹配点。图像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或
11、边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。基于SIFT算法的图像匹配技术在图像处理技术中起着十分关键的作用，它是图像处理技术得以发展的一个重要基础。它推动着图像处理技术在医学、生物、信息处理和其他很多高科技领域内的应用，它已渐渐发展成社会生活中不可分离的一种技术，对于图像处理技术发展及应用具有重要意义。1.2国内外研究现状使用一组局部兴趣点来进行图像匹配的发展可以追溯到1981年Moravec在立体匹配中使用的角探测器。Moravec的探测器在1988年被Harris和Stephens改进，在小的图像变动和近边缘区域具有了更高的
12、重复性。Harris还展示了它在高效运动追踪和由运动恢复进行三维建模中的价值，Harris的角探测器自此在很多其他的图像匹配工作中被广泛的使用。尽管这个特征探测器被称为角探测器，但它并不是只能选择角，而是可以在一个确定尺度的各个方向上选择所有具有大的梯度的图像位置。该方法的最初应用是立体或短距离的运动追踪，后来被扩展运用到解决一些更困难的问题。Zhang等人在1995年在每个角的周围使用相关窗口来选择可能的匹配，使得Harris的角进行大幅图像范围的匹配成为可能。计算精确场景中两个视角间的几何约束的基础矩阵，移除异常值，同时移除那些与多数方法不一致的配对。同年（1995），Torr也研发了一种
13、类似的方法来进行大间距的运动匹配，使用几何约束来移除图像中移动刚体的异常值。1997年，Schmid和Mohr的开创性工作展示了不变的局部特征匹配可以被扩展应用到解决一般的图像识别问题，即使用一个特征与大型图像数据库进行匹配。他们用Harris角探测器来选择兴趣点，但是他们使用的是一个图像局部区域的旋转不变的描述子来代替相关窗口。这是特征可以在两幅图像之间进行任意方向上进行匹配。此外，他们还证明多特征匹配可以通过识别一致的匹配特征聚类，在遮挡和混杂的情况下完成一般的识别工作。Harris角探测器对图像尺度的变化非常敏感。因此，对于不同尺度的图像匹配，Harris的角反射器并不能提供很好的基础。
14、大卫罗伊在1999年的早期工作中扩展了这种局部特征方法来实现尺度不变性。这个工作还阐述了一种新的局部描述子，可以降低对局部图像变形的敏感度（如三维视点的变换），同时找到更加鲜明的特征。本文提出了对这一方法更加深入的研发，并分析了这些早期的工作，在稳定性和特征不变性的基础上进行了大量改进。而国内从1990年代才初才开始涉足此领域。基于灰度图像匹配算法是图像配准算法中比较经典的一种，很多配准技术都以它为基础进行延伸和扩展。朱近，司美玲详细阐述了用局部灰度极值方法进行多光谱图像配准算法的研究过程。针对多光谱遥感图像，提出了一种基于局部灰度极值的配准方法：通过在基准图像和待配准图像中同步寻找含有灰度极
15、值的小区域，再用多项式对极值区域进行曲面拟合，最后，分别计算小区域的极值点用来作为特征点进行配准。这是与灰度图像配准算法有关的一个扩展应用。林相波,邱天爽提出一种新的灰度和形状信息相结合的全自动同模态医学图像非刚性配准分割算法。将欧氏距离表示的形状信息融入基于灰度的配准算法中，从而构造出新的代价函数。该算法能够较好地完成灰度相近、边缘模糊、间距较小的不同结构的分割4。该算法优于基于灰度信息的图像配准算法。SIFT算法目前在军事、工业和民用方面都得到了不同程度的应用，其应用已经渗透了很多领域，将会越来越受到人们的关注。在当今的科技水平上，图像配准未来的发展趋势也越来越好。本文主要研究基于SIFT
16、的图像匹配算法。通过SIFT算法实现两幅图像或多幅图像之间相同点的识别。基于SIFT算法的图像匹配方法是从图像的灰度值出发，构造尺度空间图像进行高斯模糊，从而得到图像的关键点。对生成的关键点再加以描述。通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，且具有唯一性。然后分别对模板图和实时图建立关键点描述子集合。目标的识别是通过两点集内关键点描述子的比对来完成。具有128维的关键点描述子的相似性度量采用欧式距离。由于匹配过程中会产生大量的错误匹配点，我们在最后还要消除错误的匹配点。1.3研究内容和目标本课题为基于SIFT的图像匹配方法。本
17、课题对先有的匹配方法做了简要的阐述，从理论上进行优缺点的比较，得出SIFT算法的优越性。再着重详细阐述SIFT算法的实现方法，从理论上证明SIFT算法的可行性和优越性。然后通过实验，分别对SIFT算法在各种情况下的匹配效果。测试该算法在尺度变换、旋转变换、亮度变换下的匹配效果。测试特征点的提取与图像之间的关系。得到实验数据，对数据进行分析总结，得出SFIT算法的实际运行效果。到这里，课题研究的主要内容基本完成，本课题的目标是在此基础上稍加创新，把SIFT算法进行了简单运用，用作图像的识别。我们建立一个库文件夹，在文件夹中放入单个物体的照片，作为库图像。然后输入一张图像，如果该输入图像中有库文件
18、夹中的物体，那么输出的结果中就会显示该图像中有库图像中所对应的物体。并显出，匹配上的的关键点对用蓝色细线连接起来，实现图像的简单识别。在最后对系统的用时和准确性分别统计分析，提高系统的稳定性课时效性。1.4 章节安排本文分为5章，每章安排如下：第一章：绪论部分，介绍了本课题研究的背景、意义、内容和目标。第二章：图像匹配介绍了图像匹配的基本概念以及图像匹配方法的分类。第三章：尺度空间理论详细介绍了尺度空间理论的原理，发展历程。第四章：SIFT特征匹配详细介绍了SIFT特征的提取部分和基于SIFT特征的图像匹配，着重阐述了SIFT特征提取的主要步骤和基于SIFT特征的图像匹配。是本文的重点章节。第
19、五章：通过实验，提取SIFT特征，进行图像匹配。在此基础上，设计图像匹配算法实验，利用SIFT算法，进行不同场景的物体识别，并进行算法分析。2 图像匹配图像匹配是图像信息领域之中的一项十分重要的技术，同时它也是其它一些图像分析技术，比如立体视觉技术、运动分析技术、数据融合技术等的基础 。正因为其具有广泛性的应用性，新的应用和新的要求逐步产生促使了匹配算法的研究逐步走向深入与成熟。 因此，对现有匹配算法展开分析，这对于实际工程提高图像处理质量和识别精度具有非常重要的意义2.1 图像匹配技术概述图像匹配是指对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像匹配广泛
20、用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一。成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。本文将介绍基于SIFT算法的图像匹配技术。由于SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。SIFT算法也是本文研究的内容。2.2 图像匹配技术的定义图像匹配是指通过一
21、定的匹配算法在两幅或多幅图像之间识别同名点过程， 通常将已知目标图像称为模板图像，而将待搜索图像中可能与之相对应的子图称为该模板的待匹配的目标图像。图像匹配时在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系，该技术隶属于计算机视觉领域。对于二维图像配准可定义为两幅图像在空间和灰度上的映射，如果给定尺寸的二维矩阵和分别代表两幅图像，和分别表示相应位置上的灰度值，则图像间的映射可表示为： （2-1）式中表示一个二维空间坐标变换，即，且是一维灰度变换。图片由于拍摄时间、角度、光照和传感器本身的缺陷及噪声等因素的影响，从而使图像存在失真和几何畸变。而且，对图像预处理也将产生误差，这
22、都使得待匹配的图像信息之间存在很大的差异。在这种情况下，如何提高匹配算法的精度、匹配的正确率、匹配速度和抗干扰能力成为研究的热点。2.3 图像匹配算法分类图像匹配的实现要经过多个步骤。但是匹配的总体思路描述为，图像输入、图像预处理、提取匹配信息、图像匹配、输出结果。图像匹配的算法有多种，不同的算法具体步骤也有很大差异，但它们的大致过程是相同的5。图匹配方法有很多种，大致可以分为如下两类：2.3.1基于图像灰度的匹配方法图像的所有信息都包含在图像的灰度值信息中。基于图像灰度的匹配方法一般不需要对图像进行预处理，通常直接利用图像本身灰度的统计信息来度量图像的相似程度。从而实现两幅图像的匹配。基于图
23、像灰度的匹配方法不需要提取图像的特征，通常对直接利用图像全部的灰度信息，所以该算法能提高匹配的精度和鲁棒性6。但由于在基于图像灰度的匹配方法在匹配过程中会引入匹配点周围的像素点信息，没有经过预处理和筛选，所以将会造成大量的数据处理信息。计算量将会增大，计算时间长，匹配速度慢。2.3.2基于图像特征的匹配方法基于图像特征的配准方法是目前应用最广泛的方法。该方法的一半步骤为，第一对图像进行预处理，然后提取出图像的特征，最后建立两幅图像之间的对应关系。在提取图像特征过程中，我们通常提取图像的点特征、边缘特征和区域特征。 特征匹配的数据处理方法很多，需要用到许多诸如矩阵的运算、梯度的求解、傅立叶变换和
24、泰勒展开等数学运算7。基于图象特征的匹配方法的出现是图像匹配技术的一大进步，它克服了基于图像灰度匹配方法的缺点，提高了图像匹配的效率和速度。由于该匹配方法采用的是提取图像的特征点进行匹配而不是图像的像素，从而大大降低了计算量，减少了计算时间;同时，特征点具有尺度、旋转等不变性，对图像的位置、尺度、旋转变换具有更高的匹配精度;而且，基于特征的匹配具有很好的抗噪效果，并在图像发生灰度变化，形变以及遮挡等情况下也能有较好的匹配效果。所以基于图像特征的匹配越来越受到人么的重视，在实际生活中得到了广泛应用。2.4 本章小结本章主要介绍了图像匹配的相关理论知识，对图像匹配技术做了简明扼要的介绍。同时阐述了
25、图像匹配的两种方法，并分别对这两种方法的优缺点进行了总结。为后文将要描述的特征点匹配做铺垫。3 尺度空间理论我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。尺度空间理论最早在1962年提出，但当时并未引起算机视觉领域研究者们的足够注意，直到上世纪八十年代，witkin 、Koenderink等人的奠基性工作使得尺度空间方法逐渐得到关注和发展。尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。尺度越大图像越模糊。3.1 尺度空间理论 尺度空间是一个用来控制观察尺度或表征图像数据多尺度自然特性的框
26、架；信号的尺度空间是指包含有一个连续尺度参量的信号的特征结构集合 。尺度空间理论是先将图像进行尺度变换处理，得到图像在不同尺度下的表示序列。提取出尺度空间的主轮廓，以提取出的主轮廓作为特征向量，实现图像的特征点提取。尺度空间是一种基于区域的表达，与其他的表达相比，由于尺度空间表示是由平滑获得，所有在多尺度上具有保持空间取样不变的特性，并在同一特征的情况下，尺度空间在粗糙尺度上能够对应更多的像素点，从而使数据处理任务大大简化，计算效率大大提高。第二个尺度空间表征的重要特征，就是基于尺度的结构特性能解析式非常简单，计算简洁，在不同尺度空间上的特征可以通过解析式精确的联系起来。尺度空间核是尺度空间理
27、论中的一个重要概念，尺度空间核被定义为： fout = K * fin （3-1）对于所有的信号fin，若它与变换核K 卷积后得到的信号fout中的极值( 一阶微分过零点数) 不超过原图像的极值，则称K为尺度空间核，所进行的卷积变换称为尺度变换8。3.2 高斯尺度空间在提取关键点集的过程中，我们采用了一种高效的识别方法。先识别候选位置，然后在进一步确认的层叠过滤方法来探测关键点。关键点集的探测首先是把同一图像在不同视角下可被重复分配的位置和尺度。适用尺度空间的尺度连续函数，通过搜索关键点对所有尺度的稳定特征进行检索。完成对图像尺度具有不变性的位置探测。1984年，Koenderink 和 Li
28、ndeberg通过对尺度空间的研究发现，高斯函数是尺度空间中唯一可行的核9。因此，由尺度可变的高斯函数 G(x,y,)和输入图像 I(x,y)的卷积，就可以产生定义一幅图像尺度空间的函数L(x,y,)：L(x,y,) =G(x,y,)I(x,y), （3-2）其中*为 x 和 y 之间的卷积运算。G(x,y,) =122e-(x2+y2)22 （3-3） 高斯尺度空间具有以下特点：1.高斯尺度空间具有符合热扩散方程，各向同性的扩散过程；2.高斯尺度空间具有满足因果关系，随着尺度的增大，图像越模糊，图像上的特征结构逐渐减少且不会有新增的特征；3.高斯尺度空间具有图像不同尺度空间的灰度变化呈线性，
29、有利于追踪图像中物体在不同尺度间的变化情况。3.3 本章小结本章主要介绍了尺度空间的理论知识和高斯尺度空间的概念。这些理论为提取图像的多尺度特征奠定了理论基础。为下章节高斯金字塔的构建做好理论铺垫。为图像SIFT特征的提取提供了理论依据。4 SIFT特征匹配Sift算法是1999年加拿大英属哥伦比亚大学大卫.劳伊（David G.Lowe）教授在总结了现有的基于不变量技术的特征检测方法后提出的一种新的图像匹配方法-SFT。这种算法在2004年被加以完善。SIFT算法是一种基于尺度空间的算法。该算法的特征是图像的局部特征，使其对旋转、尺度缩放、亮度变化具有保持不变性，并在对视角变化、仿射变换、噪
30、声也具有很好的保持一定程度的稳定性。同时SIFT算法还具有独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。另外，SIFT算法还具有多量性，即使是少数的几个物体也可以产生大量SIFT特征向量。而且，SIFT算法还具有可扩展型，可以很方便的与其他形式的特征向量进行联合。同时，SIFT算法经过优化和，执行速度较快，可以满足一定的速度要求。SIFT算法的实现简单步骤如下图：图4-1 SIFT算法步骤SIFT算法从实质可以总结为在不同尺度空间上查找特征点的问题，在对特征点进行一一比对，找出相匹配的关键点。SIFT算法实现对物体的匹配主要分为四步：提取关键点。对图像进行处理，提取出图像
31、的关键点，产生关键点集。对关键点加以描述。对产生的关键点附加方向的信息（局部信息），也就是所谓的描述器。建立景物之间的对应关系。通过对两张图片的特征点集（附带特征向量的关键点）进行两两比较，找出相匹配的若干对特征点。然后用线连接起来。消除错误匹配点。用参数估计方法，对匹配点反复测试、不断迭代运算，消除错误匹配点。 4.1 图像的初始SIFT算法是在灰度图像进行数据处理的。所以在执行SIFT算法之前，我们需要将图像进行初始化处理，也就是要将图像进行归一化处理，把图像转换为灰度图像。转换成适当大小的图像。对图像进行高斯平滑处理，使图像更易于处理，准确性更高。 4.2 尺度空间极值检测在第三章中我们
32、已经介绍了尺度空间理论。构建尺度空间的目的是模拟图像数据的多尺度特征。高斯核是唯一可以产生多尺度空间的线性核。在不同的尺度参数连续变化时，高斯函数G(x, y,)与图像I(x,y)卷积可以得到图像I(x,y)的尺度空间。L(x, y,) = G(x, y,) * I(x, y); （4-1）式中L表示尺度空间，(x,y)代表I上的点。是尺度因子，其值越大则表征该图像被平滑得越大；其值越小则表征该图像被平滑得越小14。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。因此，选择合适的尺度因子平滑是建立尺度空间的关键。4.2.1高斯模糊图4-2 高斯模糊的集合图形 （4-2）r为模糊半径，是
33、正态分布的标准偏差。 （4-3）高斯模糊对于图像来说就是一个低通滤波器，是在 Adobe Photoshop、GIMP 以及 Paint.NET 等图像处理软件中广泛使用的处理效果，通常用它来减少图像噪声以及降低细节层次。这种模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。图像与圆形方框模糊做卷积将会生成更加精确的焦外
34、成像效果。从理论上讲，图像中每个点的分布都不为零，这也就是说每个像素的计算都需要包含整幅图像，在实际的计算中，在计算高斯函数的离散近似时在大概3距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。通常，图像处理程序只需要计算 的矩阵就可以保证相关的像素影响10。采用高斯模糊具有如下几个特征：（1）、高斯模糊具有圆对称性。（2）、高斯模糊具有线性可分的性质，可以在二维图像上对两个独立的以为空间分别进行计算，这样可以大大的减速运算次数，提高运算速度。（3）、对一幅图像进行一次较大的高斯模糊得到的效果，也可以将该图像进行多次连续较小的的高斯模糊也能够得到相同的效果。它们之间的高斯模糊半径需
35、要满足一定的关系，即较小的高斯模糊的半径的平方和等于较大的高斯模糊半径的平方。若较小的高斯模糊半径分别为 6 和 8，则与之高斯模糊效果相同的一次高斯模糊高斯半径为 ， 因此，高斯模糊的的处理时间跟不会因为使用较多高斯半径较小的是高斯模糊而增加时间。 图4-3 高斯模糊图像对比（左图为原图像，右图为模糊后的图像）4.2.2高斯金字塔高斯金字塔的构建过程大致可分为两步；（1）、对图像做高斯平滑。（2）、对图像做降采样处理。为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。一幅图像可以产生几组图像，一组图像包括几层图像。高斯图像金字塔共o组、s层，则有： s=02sS （4-4）尺度空间
36、坐标；ssub-level层坐标；0初始尺度； S每组层数（一般为35）。由此可见，相邻两组的同一层尺度为2倍的关系上一组图像的底层是由前一组图像的倒数第二层图像隔点采样生成的。这样可以保持尺度的连续性。图4-4高斯金字塔4.2.3建立DoG金字塔DoG即高斯差分函数，是由LOG与高斯核函数的差的关系。LOG算子真正具有尺度不变性。DOG函数在计算上只需要相邻尺度高斯平滑后图像相减即可得到，因此简化了计算。DOG函数公式如下： （4-5）对应DOG算子，我们需要构建DOG金字塔，我们可以通过高斯差分图像看出图像上的像素值得变化情况，DOG图像描述的是目标图像的轮廓。图4-5 DOG金字塔在图中
37、，DoG金字塔的第1层的尺度因子与高斯金字塔的第1层的是一致的，其它阶也是一样。图4-6为一幅图像进过DOG金字塔处理后的图像。图4-6 图像经过DOG金字塔处理后的图像4.2.4极值检测，初步确立特征点特征点集是有DOG空间的局部极值点组成的。为了寻找DOG函数的极值点，我们需要将每个像素点和他的邻域像素点比较（最低层和最顶层除外），得到该像素点与相邻图像域的比较结果。图4-7 极值点的检测如上图所示，我们将中间的检测点（用X好表示）和它同尺度的8个相邻点和上下两层相邻尺度对应的总共9*2个点，共26个点分别进行比较，以确保在尺度空间和二维图像空间都可以检测到极值点。图4-8 图像极致点检测
38、结果4.3 精确定位特征点的位置和所在的尺度通过对DOG函数的极值点检查，我们初步得到了图像的特征点集，但是由于DOG函数对噪声和边缘较为敏感，所以我们需要将得到的点集进行进一步处理才能得到精确的特征点集。4.3.1关键点精确定位为了提高关键点的稳定性和可靠性，我们需要对尺度空间DOG函数进行曲线拟合。通过拟合三维二次函数对关键点进行精确定位，同时去除低对比度关键点和不稳定的边缘响应点，从而增强匹配稳定性、提高抗噪能力15。获取关键点处拟和函数， （4-6） 求导并让方程等于零，可以得到极值点： （4-7）对应极值点，方程的值为： （4-8）式4-8用于去除低对比度和不稳定的特征点。Lowe的
39、试验显示，我们通常将所有 的极值点舍去。从而得到了具有较好稳定性的特征点集。图4-9去除低对比度之后的结果4.3.2去除边缘响应在去除低对比度的极值点后，虽然特征点集稳定性具有了很大的提高，但是得到的特征点集稳定性还是远远不够。DOG函数具有较强的边缘效应，因此我们需要再次对特征点集处理，去除边缘效应。DoG函数的峰值点在横跨边缘的方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的22的Hessian矩阵得到，导数由采样点相邻差来估计11： （4-9）表示DOG金字塔中某一尺度的图像x方向求导两次，的特征值和代表和方向的梯度， （4-10） （4-11）表
40、示矩阵对角线元素之和，表示矩阵的行列式。假设较大的特征值，而是较小的特征值，令,则 （4-12） 式4-12中，D的主曲率和H的特征值成正比，令为最大特征值，为最小的特征值，则公式的值在两个特征值相等时最小，随着的增大而增大。为了去除边缘响应，我们需要确定一个阈值，需要让比值小于该阈值。这里我们让r值取10。所以我们只需检测若成立，关键点保留，反之，将该点去除12。图4-10 去除边缘点之后的结果 4.4 确定特征点的主方向通过DOG函数，对特征点进行修正后得到的特征点集，具有缩放不变的性质。但是如果物体发生旋转，将会影响匹配的效果。为了是特征点集具有旋转不变形，我们需要利用关键点邻域像素的梯
41、度分布特性，为每个关键点指定参数方向。像素点的梯度表示为： （4-13）梯度幅值： （4-14） 梯度方向： （4-15）我们以关键点为中心的邻域内对像素梯度方向进行采样，采样结果用直方图统计，直方图的峰值就是关键点处邻域的主方向，作为该关键点的方向。梯度直方图的范围是0-360度，其中每10度用一个柱表示，总共36个柱，柱所代表的方向为像素点梯度方向，柱的长短代表了梯度幅值。根据Lowe的建议，直方图统计半径采用3*1.5*，在直方图统计时，每相邻三个像素点采用高斯加权，根据Lowe的建议，模板采用0.25,0.5,0.25，并连续加权两次。图4-11 确定主方向在梯度方向直方图中，当存在另
42、一个相当于主峰值80%能量的峰值时，则认为这个方向是该特征点的辅方向，一个特征点可能会被指定具有多个方向（一个主方向，一个辅方向），大约有15%的点有多个方向，但是这些辅助方向对匹配的稳定性起了很重要的作用，增强了匹配的鲁棒性。图4-12 特征点检测结果 4.5 生成SIFT特征向量经过对特征点集的处理后，我们得到了特征点的位置和所在尺度方向信息。我们需要将这些信息用一组向量描述出来，这个描述子不仅包括关键点，也包括了关键点邻域内对其有贡献的像素点。从而用来作为对目标匹配的依据，同时，经过描述后的关键点将会具有跟多的不变特性，如光照变化、3D视点变化等。4.5.1关键点描述思路描述的思路是首先
43、对关键点周围图像区域进行分块处理，计算出每一块的梯度直方图。每块分别生成具有独特性的向量，这个向量就是该区域图像信息的一种抽象。并具有唯一性。Lowe实验结果表明：描述子采用448128维向量表征，综合效果最优。图4-13 SIFT描述子事例4.5.2关键点描述步骤（1）确定计算描述子所需的图像区域描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像区域的半径通过下式计算： （4-16） d=4 ， oct 是关键点所在组（octave）的组内尺度。（2）将坐标移至关键点主方向图4-14 确定关键点主方向那么旋转角度后的新坐标为： （4-17） （3）在图像半径区域内对每个像素点求其梯
44、度幅值和方向，然后对每个梯度幅值乘以高斯权重参数，生成方向直方图。 （4-18） xk :该点与关键点的列距离； yk:该点与关键点的行距离； w: 等于描述子窗口宽度直方图列数（取4）的一半； （4）在窗口宽度为2X2的区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。然后再在下一个2X2的区域内进行直方图统计，形成下一个种子点，共生成16个种子点。（5）描述子向量元素门限化：方向直方图每个方向上梯度幅值限制在一定门限值以下（门限一般取0.2）描述子向量元素规范化： （4-19）为得到的128描述子向量, （4-20）为规范化后的向量 （4-21）关键点描述子向量的规范化正是可去除满足此模型的光照影响。对于图像灰度值整体漂移 ，图像各点的梯度是邻域像素相减得到，所以也能去除。 4.6