《一种邻域一致性的NSCT域多传感器图像融合算法.doc》由会员分享，可在线阅读，更多相关《一种邻域一致性的NSCT域多传感器图像融合算法.doc（9页珍藏版）》请在三一文库上搜索。
1、一种邻域一致性的N S C T 域多传感器图像融合算法 班级：030840902 学号：030840902姓名：王云谦同一场景的多幅图像之间通常具有信息的冗余性和互补性,经图像融合技术得到的合成图像可以更全面、更精确地描述所研究的对象. 经典的图像融合算法包括加权平均算法1 、塔式分解法2 等.近20 年来发展起来的小波分析兼具多分辨和时频局部化的优良特性,已成为图像融合的重要技术手段3-5 . 小波变换对含点状奇异的目标函数是最优基,但是由一维小波张成的可分离小波只具有有限的方向,不能“最优”表示含线或者面奇异的高维函数6 . 因此,基于小波变换的图像融合不能很好地挖掘图像中方向边缘信息,融
2、合后的图像可能会产生细节模糊现象. 近年来,随着Contourlet 7 等多尺度几何分析理论的发展和成熟,基于多尺度几何变换的融合技术得到了广泛应用8-13 . 多尺度几何变换解决了小波变换不能有效表示二维或更高维奇异性的缺点,可以更有效地表示纹理、边缘等结构的方向性和各向异性. 其中,非采样Contourlet 变换(NSCT) 具有Contourlet 变换不具有的平移不变性,消除了Gibbs 效应,可以得到更好的融合效果9-11 .图像的融合规则是基于多尺度分解图像融合算法中另一个至关重要的因素. 低频系数和各带通方向子带系数通常采用不同的融合规则. 低频系数的融合主要有平均法12 、
3、Burt 提出的邻域能量显著性匹配的加权平均与选择相结合的方法 11，14 、邻域能量最大的选择方法10 、区域方差最大的选择方法13 、梯度能量最大的选择方法3 及邻域梯度能量最大的选择与加权相结合的方法9 等. 带通方向子带系数的融合则主要有系数绝对值最大的选择方法 3 ,10 ,12 、区域能量最大的选择方法13 、邻域绝对值方差最大的选择方法11 . 对于低频系数的融合,平均法没有考虑图像的边缘及亮度特征,融合后的图像亮度低、边缘模糊. 邻域能量最大的选择方法倾向于选择高亮度区域,会细化低亮度边缘.Burt 提出的方法近似于邻域能量最大的选择方法,同样存在边缘弱化的问题. 区域方差最大
4、的选择方法、梯度能量及邻域梯度能量最大的选择方法会优先选择边缘纹理丰富的区域,但忽视了亮度的影响,对噪声敏感,特别是对于亮度极性相反的红外与可见光图像融合,会在背景区引入较为严重的人为噪声. 对于各带通方向子带系数的融合,较多采用的系数绝对值最大的选择方法没有考虑到邻域系数选择的一致性,会在边缘处产生轻微的虚影.笔者提出了一种新的NSCT 域融合算法. 由邻域平均能量与方差构造能量方差决策值,基于决策值最大原则选择低频系数,从而在保持图像亮度的同时融合更多的边缘细节信息;基于邻域能量最大原则选择带通方向子带系数,以保留更多的边缘信息. 将算法运用到多聚焦图像及红外与可见光图像的融合实验中. 仿
5、真结果表明,该算法能够较好地保留图像的边缘细节及亮度信息,避免了人为效应,得到具有更好视觉效果和量化指标的融合图像.1 非采样Contourlet 变换与Contourlet 变换类似,非采样Contourlet 变换(NSCT) 15 也是将多尺度分解和方向分解分开进行.首先采用非采样塔式滤波器组(Nonsubsampled pyramid filter bank ,缩写NSPFB) 对图像进行多尺度分解,然后再采用非采样方向滤波器组(Nonsubsampled directional filter bank ,缩写NSDFB) 对得到的各尺度子带图像进行方向分解,从而得到不同尺度、不同方向
6、子带图像. 图1 给出了非采样Contourlet 变换的示意图,其滤波器组框架结构如图1 (a) 所示. 该结构将2D 频域切分成如图1 (b) 所示的楔形方向子带.图1 非采样Contourlet 变换NSCT 利用Z 变换的等效移位性质,去掉了拉普拉斯塔式(Laplacian pyramid ,缩写L P) 分解和方向滤波器组(Directional filter bank ,缩写DFB) 分解中信号经分析滤波后的下采样及综合滤波前的上采样,而改为对相应的滤波器进行上采样,再对信号进行分析滤波和综合滤波. 由于没有上采样和下采样,所有的分解子带都和原图像的大小相同,从而使NSCT 获得平
7、移不变性.如果对某尺度下的子带图像进行l 级的方向分解,可得到2l 个与原始输入图像尺寸大小相同的方向子带图像. 因此图像经J 级NSCT 分解后可得到个与原始输入图像尺寸大小相同的子带图像,其中lj 为对应尺度j 的方向分解数.2 基于邻域特性的NSCT域融合算法图像经多分辨分解后得到的低频部分代表图像的近似分量,继承了源图像的整体特性,包含源图像的主要能量和亮度信息;高频部分代表细节分量,包含源图像的边缘细节信息.对于低频系数融合,平均法易降低图像亮度,模糊图像边缘;邻域能量最大的选择方法及Burt 提出的方法则忽视了区域的变化,弱化了低亮度边缘;区域方差最大的选择方法、梯度能量及邻域梯度
8、能量最大的选择方法优先选择边缘细节丰富的区域,但对噪声敏感,易引入人为噪声. 对于各带通方向子带系数的融合,通常的系数绝对值最大的选择方法仅考虑了本像素点,没有考虑像素所在邻域的边缘细节的总体丰富程度,可能会造成相邻系数选择的不一致. 虽然可以采用一致性检测修正系数的选择,但无疑增加了算法的复杂度.综合以上分析,为获得边缘细节突出、视觉效果更佳的融合效果,笔者提出了一种基于邻域特性的一致性融合算法.以两幅输入图像A , B 的融合为例,算法步骤如下(假设源图像已经配准) :(1) 对源图像A , B 分别进行多级NSCT 分解,得到不同尺度、不同方向上NSCT 域的子带系数,记为为各带通方向子
9、带系数;(2) 对低频子带系数和各带通方向子带系数进行融合得到融合图像F 的NSCT 域的系数,记为(3) 对F 的NSCT 域的系数进行非采样Contourlet 逆变换得到最终的融合图像F.下面详细说明各子带系数的融合方法.21 低频子带系数的融合像素的邻域平均能量反映区域的整体亮度,其邻域方差则反映区域的清晰度和边缘细节的丰富程度. 邻域平均能量定义为，（1）邻域方差定义为（2）式中的.C 为像素所在邻域的NSCT 系数均值, MN 为邻域的大小. 综合考虑两者的共同作用,定义各像素点的能量方差联合值为，（3）式(3) 中, T 为能量重要性调节因子. 随着T 增大,能量占据主导作用,方
10、差的影响减弱; 当T 较小时,两者重要性基本相同. 考虑到方差可能为0 , T 通常取为1 ,可根据实验结果进一步调节T 值以取得更好的融合效果.为更好地保证系数选择的邻域一致性,定义各像素点的能量方差决策值为所在邻域各点的能量方差联合值的最大值,即基于能量方差决策值最大的低频子带系数的选择方案如下: （5）22 带通方向子带系数的融合NSCT 分解后的各带通方向子带中具有较大绝对值的系数对应于源图像强度变化较大的边缘纹理区域,边缘清晰图像的带通方向子带系数能量大于模糊图像. 由人类视觉系统的感受模型可知,人眼对单个像素的灰度值并不敏感,图像清晰与否由区域内像素共同体现,能量更高的区域包含的边
11、缘细节信息更多,对应的区域更为清晰. 因此,基于邻域能量最大原则选择带通方向子带系数为（6）式中的定义为融合像素点所在的邻域能量,即（7）基于能量方差决策值最大的低频子带系数选择方案综合考虑了区域亮度和边缘细节丰富程度;基于邻域能量最大的带通方向子带系数选择方案保留了边缘细节丰富的区域. 该算法同时较好地兼顾了低频系数、带通方向子带系数选择的邻域一致性及低频与带通子带系数选择的一致性. 因此,笔者提出的融合算法兼顾了亮度和边缘信息,从而取得较好的融合效果.3 实验结果及其分析为验证笔者提出算法的有效性,采用多聚焦图像及红外和可见光图像进行融合实验. 图2 (a) 和(b) 分别为聚焦在左边及右
12、边的时钟图像,主要包含低亮度边缘. 图3 (a) 和( b) 为街道场景的红外图像和可见光图像,主要包含高亮度边缘. 图像灰度均为256 级,大小分别为512 512 及632 496. 为了更好地比较各种融合算法的性能,各种融合算法均在NSCT 域进行,采用同样的参数设置. 借鉴文10 ,融合参数为: 金字塔多尺度分解层数取为3 ;按照从高分辨率层到低分辨率层的顺序,方向分解数依次为4 ,8 和16 ;尺度分解的1D原型滤波器组采用“927”滤波器,方向分解的1D 原型滤波器组采用“dmaxflat”滤波器. 邻域大小均取为3 3窗口. 图2 多聚焦时钟图像仿真实现了低频平均及高频系数绝对值
13、最大12 (简记为Avg + Abs) 、低频区域方差最大及高频区域能量最大13 (简记为Rvar + Renergy) 、低频能量显著性匹配加权与选择及高频绝对值方差最大 11 (简记为Salience + Absvar) 、低频梯度能量最大及高频系数绝对值最大3 (简记为Grad + Abs) 、低频邻域能量最大及高频系数绝对值最大10 (简记为Nenergy + Abs) 、笔者提出的低频邻域能量方差决策值最大及高频邻域能量最大(简记为Nenergy &var + Nenergy) 等方法. 对于Rvar + Renergy 方法,考虑到图像大小和人眼视觉特性,区域分块大小设置为4 4
14、,对于Salience + Absvar 方法,依据文 11 ,阈值设为018. 图4 (a) (f ) 分别给出了基于以上方法得到的时钟图像的融合结果图,图5 (a) (f) 分别给出了基于以上方法得到的街道场景的融合结果图.对于图4 中的多聚焦图像融合结果,笔者提出的方法及Grad + Abs 方法得到的融合图像具有更好的边缘保持效果. Salience + Absvar 、Nenergy + Abs 方法得到的融合图像整体偏亮,在图像的左边缘、钟表的边缘引入了轻微的虚亮线,且细化了钟表的数字边缘,数字内有轻微的亮影. Rvar + Renergy 方法得到的融合图3 红外图像与可见光图像
15、图4 多聚焦时钟图像融合结果图图像在右上方的钟表边界引入了轻微的虚影. Avg + Abs 方法得到的融合图像整体较暗,边缘也较为模糊.对于图5 中的红外与可见光图像融合结果,笔者提出的方法、Nenergy + Abs 、Salience + Absvar 方法得到的融合图像均取得了较好的视觉效果. Grad + Abs、Rvar + Renergy 方法对噪声敏感,在图像的背景区引入了噪声. Avg + Abs 方法得到的融合图像整体亮度偏低,视觉效果偏差. 总体而言,笔者提出的方法在两种情况下均具有较好的边缘保持特性和亮度保持特性,适应性较好.主观视觉感知给出直观对比,但容易受视觉心理因素
16、的影响 4 ,特别是在融合结果相近的情况下,视觉上会难以判断. 此时,可以结合相关评价指标做定量分析,以准确评价融合结果. 边缘信息保持值Q16 能够反映融合得到的图像保留的边缘信息的多少. 信息熵H4 衡量图像信息的整体丰富程度, 熵值的大小表示图像所包含的平均信息量的多少. 笔者采用边缘信息保持值Q 结合信息熵对融合算法的性能进行客观评价. 表1 和表2 分别给出了多聚焦图像及红外与可见光图像在各种融合方法下得到的融合图像的评价指标值. 图5 红外与可见光图像融合结果图 Q值越大,边缘信息保持越好. 从表1 和表2 可以看出,笔者提出的方法得到的融合图像在两种情况下均具有最高的边缘信息保持
17、值Q. 同时,也具有更好的熵值(对于红外与可见光图像融合的情况, Rvar +Renergy、Grad + Abs 方法因引入过多的噪声导致融合图像的熵值偏高) . Avg + Abs 方法由于同时损失了亮度及边缘信息,得到的融合图像通常具有最低的信息熵和边缘保持Q值.Salience + Absvar 及Nenergy +Abs 方法对于低亮度边缘保持较差. Rvar + Renergy 方法损失了亮度信息,且对噪声敏感,引入的人为噪声破坏了融合图像的边缘细节. Grad + Abs 方法在多聚焦图像融合时得到的图像边缘保持较好,但因为损失了亮度信息,整体信息量较低,且对噪声敏感,在红外与可
18、见光图像融合时,引入了较多的人为噪声,破坏了图像的边缘细节. 定量分析的结果与视觉效果相一致,进一步说明了NSCT 算法的有效性.4 总结通过仿真结果可以看出,采用NSCT 进行多传感器图像融合,考虑到融合因素相互作用的复杂性,改进了融合规则,可以进一步提高融合图像的主观效果和客观评价. 笔者提出的基于邻域特性的融合方法综合考虑了图像的亮度和边缘细节,且注意了系数选择的一致性,因此保留了更多的信息量和图像边缘信息,具有较好的视觉效果、客观评价及适应性. 当然,NSCT 还有许多问题有待进一步研究,特别是运算复杂性问题. 相信随着对NSCT 研究的不断深入,其会进一步显示在图像融合等图像处理领域
19、的优势.参考文献:1 Hall D L , Linas J . An Int roduction to Multisensor Data Fusion J . Proceedings of the IEEE , 1997 , 85 (10) : 6223.2 Toet A , Ruyven L V , Velaton J . Merging Thermal and Visual Images By a Cont rast Pyramid J . Optical Engineering ,1989 , 28 (7) : 7892792.3 晁锐, 张科, 李言俊. 一种基于小波变换的图像融合算法
20、J . 电子学报, 2004 , 32 (5) : 7502753.Chao Rui , Zhang Ke , Li Yanjun. An Image Fusion Algorithm Using Wavelet TransformJ . Acta Elect ronica Sinica ,2004 , 32 (5) : 7502753.4 杨晓慧, 金海燕, 焦李成. 基于DT2CWT 的红外与可见光图像自适应融合J . 红外与毫米波学报, 2007 , 26 (6) :4192424.Yang Xiaohui , J in Haiyan , Jiao Licheng. Adaptive I
21、mage Fusion Algorithm for Inf rared and Visible Light Images Basedon DT2CWTJ . J Inf rared Millim Waves , 2007 , 26 (6) : 4192424.5 那彦, 杨万海, 史林. 基于成像机理的遥感图像融合J . 西安电子科技大学学报, 2004 , 31 (4) : 6082610.Na Yan , Yang Wanhai , Shi Lin. Remote Sensing Image Fusion Based on the Imaging Principle J . Journal
22、 of XidianUniversity , 2004 , 31 (4) : 6082610.6 焦李成, 谭山. 图像的多尺度几何分析回顾和展望J . 电子学报, 2003 , 31 (12A) : 197521981.J iao Licheng , Tan Shan. Development and Prospect of Image Multiscale Geomet ric AnalysisJ . Acta Elect ronic Sinica ,2003 , 31 (12A) : 197521981.7 Do M N , Vetterli M. The Coutourlet t ra
23、nsform: an Efficient Directional Multiresolution Image RepresentationJ . IEEETrans on Image Processing , 2005 , 14 (12) : 209122106.8 才溪, 赵巍. Contourlet 变换低通滤波器对图像融合算法影响的讨论J . 自动化学报, 2009 , 35 (3) : 2582266.Cai Xi , Zhao Wei. Discussion Upon Effect s of Contourlet Lowpass Filter on Contourlet2based
24、Image Fusion AlgorithmsJ . Acta Automatica Sinica , 2009 , 35 (3) : 2582266.9 张强, 郭宝龙. 基于非采样Contourlet 变换多传感器图像融合算法J . 自动化学报, 2008 , 34 (2) : 1352141.Zhang Qiang , Guo Baolong. Fusion of Multi2sensor Images Based on the Nonsubsampled Contourlet TransformJ . ActaAutomatica Sinica , 2008 , 34 (2) : 13
25、52141.10 叶传奇, 苗启广, 王宝树. 基于非子采样Contourlet 变换的图像融合方法J . 计算机辅助设计与图形学学报, 2007 , 19(10) : 127421278.Ye Chuanqi , Miao Qiguang , Wang Baoshu. Image Fusion Method Based on the Nonsubsampled Contourlet TransformJ . Journal of Computer2Aided Design & Computer Graphics , 2007 , 19 (10) : 127421278.11 叶传奇, 王宝树
26、, 苗启广. 基于NSCT 变换的红外与可见光图像融合算法J . 系统工程与电子技术, 2008 , 30 (4) :5932596.Ye Chuanqi , Wang Baoshu , Miao Qiguang. Fusion Algorithm of Inf rared and Visible Light Images Based on NSCTTransformJ . Systems Engineering and Elect ronics , 2008 , 30 (4) : 5932596.12 张强, 郭宝龙. 一种基于Curvelet 变换多传感器图像融合算法J . 光电子! 激光
27、, 2006 , 17 (9) : 112321127.Zhang Qiang , Guo Baolong. Fusion of Multisensor Images Based on the Curvelet Transform J . Journal ofOptoelect ronics Laser , 2006 , 17 (9) : 112321127.13 杨镠, 郭宝龙, 倪伟. 基于区域特性的Contourlet 域多聚焦图像融合算法J . 西安交通大学学报, 2007 , 41 (4) :4482452.Yang Liu , Guo Baolong , Ni Wei. Multi
28、2focus Image Fusion Algorithm Based on Region Statistics in Contourlet DomainJ . Journal of Xipan Jiaotong University , 2007 , 41 (4) : 4482452.14 Burt P J , Kolczynski R J . Enhanced Image Capture through Fusion C/ / Proceedings 4th International Conference onComputer Vision. Berlin : PICCV , 1993
29、: 1732182. 15 Cunha A L , Zhou J , Do M N. The Nonsubsampled Contourlet Transform: Theory , Design , and ApplicationsJ . IEEETrans on Image Processing , 2006 , 15 (10) : 308923101.16 Xydeas C S , Pet rovic V. Objective Image Fusion Performance MeasureJ . Elect ronics Letters , 2000 , 36 (4) : 3082309.