热像仪暗角补偿研究.pdf

《热像仪暗角补偿研究.pdf》由会员分享，可在线阅读，更多相关《热像仪暗角补偿研究.pdf（7页珍藏版）》请在三一文库上搜索。

1、第39卷 第3期 红 外 技 术 Vol.39 No.3 2017年3月 Infrared Technology Mar. 2017 226 热像仪暗角补偿研究 粟宇路 1，杨 波1，夏 菲2，苏 兰1，苏俊波1，刘传明1，陈大乾1 （1. 昆明物理研究所，云南 昆明 650223；2. 国网辽阳供电公司 信息通信分公司，辽宁 111000） 摘要：针对热像仪普遍存在的暗角噪声进行了分析，提出了一种基于参考辐射源进行暗角噪声补偿的 方法。探讨了传统非均匀性校正方法对暗角噪声进行补偿的优劣性，并提出了一种改进的神经网络校 正算法。基于 Retinex 理论提出了一种基于单帧图像快速去除暗角噪声的

2、方法，实验结果表明，该算 法可以有效去除暗角噪声。 关键词：热像仪；暗角噪声；非均匀性校正 中图分类号：TN219 文献标识码：A 文章编号：1001-8891(2017)03-0226-06 Research on Thermal Imager Dark-corner Compensation SU Yulu1，YANG Bo1，XIA Fei2，SU Lan1，SU Junbo1，LIU Chuanming1，CHEN Daqian1 (1. Kunming Institute of Physics, Kunming 650223, China; 2. State Grid Liaoyan

3、g Electric Power Supply Company Information & Telecommunication Branch, Liaoning 111000, China) Abstract：A dark-corner compensation method based on reference source is proposed in this paper, following the analysis of the multi-view thermal imager dark-corner noise. The superiority-inferiority of NU

4、C algorithm is discussed based on multi-frame images to solve the problem of the dark-corner noise, and improve the NUC algorithm based on neural network. A fast algorithm of removing dark-corner noise based on single frame image is also introduced in this paper. The experimental results show that t

5、he proposed algorithm can remove dark-corner noise effectively. Key words：thermal imager，dark-corner noise，NUC 0 引言 随着凝视型红外焦平面技术的发展，红外热像仪 被越来越多地应用到军事、医疗、安防、农业、工业 等领域。同时，人们对红外热像仪功能、性能需求的 提升也促使红外热像仪不仅探测器阵列分辨率越来 越高（像元数越来越多、像元尺寸则越来越小） ，而 且其系统结构也越来越复杂（光学系统越来越复杂） 。 红外热像仪系统响应非均匀性校正一直是红外热像 仪研究的热点问题之一，伴随着热像仪

6、功能、性能的 提升，红外系统响应非均匀性问题也越来越突出，难 以解决。红外热像仪系统响应非均匀性产生的三大来 源是光学系统、探测器、后处理电路。对于整个热像 仪系统，经过一次基于参考辐射源的校正通常可以很 好地补偿光学系统、探测器和后处理电路共同引入的 系统响应非均匀性缺陷。但随着热像仪视场切换、调 焦以及环境温度、冲击振动等因素的影响，光学系统 引入的非均匀性会呈现明显变化，导致热像仪输出图 像经常会出现画面中心亮、边缘及四角暗的现象 暗角。暗角其实就是热像仪光学系统引入非均匀性未 得到有效补偿所导致的结果，是一种特殊的光学系统 引入噪声。 本文针对暗角噪声现象及其产生原因进行了分 析，提出

7、了基于参考辐射源的暗角噪声补偿方法，采 用了传统热像仪系统响应非均匀性校正算法对暗角 噪声进行补偿，改进了神经网络校正算法，并提出了 一种基于单帧图像快速去除暗角噪声的方法。 1 暗角分析 1.1 暗角表象 未经过校正的热像仪输出图像一般都会出现不 同程度的中心亮、周围暗的现象，如图 1 所示，这种 现象称为暗角。 其中， 图 1(a)为国产 640512 制冷型 中波热像仪对 55均匀辐射黑体成像输出的未经校 正的本底图像；图 1(b)为黑体辐射出的中波红外能量 进入光学系统最终到达像面，探测器对其响应的二维 收稿日期：2016-09-28；修订日期：2017-01-08. 作者简介：粟宇路

8、（1987-） ，男，湖南怀化人，工程师，研究方向为红外系统成像及图像信息处理。 第39卷 第3期 Vol.39 No.3 2017年3月 粟宇路等：热像仪暗角补偿研究 Mar. 2017 227 能量强弱分布；图 1(c)为探测器接收入射二维中波红 外能量分布的等能线。 排除红外探测器自身响应非均匀性和后续电路 引入噪声的影响，从探测器响应能量分布的趋势可以 看出，进入光学系统最终到达探测器（像面）的红外 能量呈现以光轴为中心，向探测器边缘由强至弱的渐 变分布过程。 1.2 暗角产生原因 暗角的产生主要源于光学系统孔径光阑大小、视 场大小等因素的限制，如图 2 所示。为了简明阐释暗 角产生原

9、理，图中对整个光学系统进行了简化，物面 中心与光轴重合， 物面中心点 B 发出的所有进入光学 系统的光线 （介于 B1 和 B2 之间所有光线） 后均能达 到像面形成像点 B，而位于物面边缘的 A、B 两点发 出的进入光学系统的光线则都存在部分光线被遮挡， 无法到达像面。以物面边缘点 A 为例，A 点发出三条 光线，分别为通过光学系统上边缘的边缘光线 A1， 通过光学系统中心的中心光线 A2，通过光学系统下 边缘的边缘光线 A3。上边缘光线 A1 和中心光线 A2 都能顺利通过光学系统，并会聚于像面 A点，而下边 缘光线 A3 则被孔径光阑的下边缘遮挡，无法到达像 面。事实上，A 点发出的进入

10、光学系统靠近下边缘光 线 A3 的光线均被孔径光阑遮挡。因此，像点 A只会 聚了物点 A 发出进入光学系统的部分光线， 其会聚的 红外光能量较少；像点 B则会聚了物点 B 发出进入 光学系统的全部光线，其会聚的红外光能量较多；像 面便呈现中心区域亮，边缘区域暗的现象。 2 补偿方法 2.1 构建图像退化模型 首先，我们构建红外场景成像退化模型，如图 3 所示。场景辐射出红外中波，经过大气传输进入热像 仪光学系统，由于受到光学系统结构、材料等因素的 限制，只有一部分光线能够到达探测器感光面。探测 器将红外光能转换为电信号输出给后续处理电路，后 续电路对信号进行放大、滤波等处理，最终用于显示 或存

11、储，形成最终的场景成像。 为了简化问题，方便计算，忽略影响热像仪成像 退化的次要因素，如红外光在大气中传输引起的能量 衰减和受到气流扰动等因素的影响，得到成像退化计 算式如式(1)所示： outinoptoptsensencircir ()IINNNNNN (1) (a)热像仪输出原始图像 (b)热像仪响应红外能量分布图 (c)热像仪响应等能线 图 1 热像仪响应中波红外能量分布 Fig.1 Distribution of thermal imager response to mid-wave infrared energy 图 2 暗角成因示意图 Fig.2 Dark-corner form

12、ing diagram 第39卷 第3期 红 外 技 术 Vol.39 No.3 2017年3月 Infrared Technology Mar. 2017 228 图 3 红外场景成像退化模型 Fig.3 Degradation model of infrared scene imaging 式中：Iin表示入射红外场景；Nopt表示光学系统引入 的乘性噪声； Nopt表示光学系统引入的加性噪声； Nsen 表示探测器光电转换带来的乘性噪声；Nsen表示探测 器引入的加性噪声；Ncir表示电路引入的乘性噪声； Ncir表示电路引入的加性噪声；Iout表示热像仪最终输 出的退化图像。 对式(1

13、)进行整理，可以得到式(2)： IoutIinNoptNsenNcirNoptNsenNcir NsenNcirNcir (2) 令 Nmul NoptNsenNcir， Nadd NoptNsenNcir NsenNcirNcir，则式(2)变为式(3)： IoutNmulIinNadd (3) 由式(3)可以看出， 整个热像仪对输入场景的响应 呈线性，故而红外场景成像退化模型可以简化如图 4 所示。 图 4 热像仪线性响应模型 Fig.4 Model of thermal imager linear response 热像仪输出退化图像跟场景入射的红外能量成 正比，入射能量越强，输出图像响

14、应越强。本文目的 是消除光学系统引入的暗角噪声，而输出图像也加入 了探测器和电路引入的噪声，因此通过已知的输出图 像还原出输入真实场景的估计，就可以将光学系统连 同探测器和处理电路引入的噪声一起消除了。 2.2 基于参考辐射源的暗角噪声补偿方法 对式(3)进行变型，求解真实输入场景得到式(4)： IinGIoutO (4) 式中： G1/Nmul， 表示增益补偿系数； ONadd/Nmul， 表示偏置补偿系数。 式(4)就是通常用到的热像仪系统响应非均匀性 校正模型。我们可以通过采集热像仪对一组高低温黑 体的响应数据求解出增益补偿系数 G 和偏置补偿系 数 O，从而实现对整个热像仪输出的校正，

15、这就是两 点非均匀性校正法。对于固定视场热像仪两点非均匀 性校正法可以很好地对光学系统带来的暗角效应进 行校正，但对于多视场热像仪，尤其是连续变倍热像 仪则存在应用上的技术瓶颈。我们在某一个确定视场 所做的校正参数随着热像仪视场的变化而不再适用。 由于存储空间有限，我们难以对连续变倍热像仪的所 有视场均进行两点校正并保留校正参数以备调用。 对图 3 红外场景退化模型的 3 种退化来源（光学 系统、探测器、后处理电路）进行分析可以发现，引 起输出图像由中心向边缘由亮变暗现象（暗角）的因 素只有光学系统，为了最大限度降低探测器和后处理 电路引入噪声影响，可对未加光学系统的热像仪先进 行两点校正，并

16、存储相关校正参数以备热像仪调用。 然后安装光学镜头，将热像仪对准恒温黑体执行连续 视场切换，等间距采集热像仪在变倍过程中的响应数 据，每组响应数据对应一个具体的视场位置。由于已 对热像仪的探测器和后处理电路噪声进行了校正，因 此残留的噪声相对于光学系统对热像仪成像退化的 影响可以忽略不计， 对于每个视场输出图像式(1)的退 化公式可以简化如式(5)所示： IoutIinNoptNopt (5) 采用两点校正法可计算出每个像元的光学系统 补偿系数，如式(6)所示： ,H,L opt, , , ,H, ,L , ,H,L,H, ,L opt, , , ,H, ,L ll ij l ij lij l

17、 ij lllij l ij l ij lij l II G II IIII O II (6) 式中：i、j 表示像元的行列位置；l 表示某视场位置； ,Hl I表示l视场所有像元高温时空响应均值； ,Ll I表示 l视场所有像元低温时空响应均值； , ,Hij l I表示l视场 (i, j)处像元高温时域响应均值； , ,Lij l I表示l视场(i, j) 处像元低温时域响应均值；Gopt,ij,l表示l视场(i, j)处像 元光学系统响应非均匀性增益补偿系数，Oopt,ij,l表示 第39卷 第3期 Vol.39 No.3 2017年3月 粟宇路等：热像仪暗角补偿研究 Mar. 2017

18、 229 l视场(i, j)处像元光学系统响应非均匀性偏置补偿系 数。 如上所述，我们获得了各个像元在不同视场下的 光学补偿系数，利用所获得的光学补偿系数随视场位 置变化的离散数据，采用最小二乘法拟合出补偿系数 随视场位置变化而变化的曲线关系，从而可根据视场 位置计算出对应的光学补偿系数，完成热像仪不同视 场光学系统非均匀性响应的校正。基于参考辐射源的 光学系统补偿校正过程如图 5 所示。 图 5 基于参考辐射源的暗角补偿方法 Fig.5 Dark-corner compensation methods based on reference source 2.3 基于多帧场景图像的暗角噪声补偿

19、方法 利用参考辐射源对光学系统进行标定补偿可以 获得较好的补偿效果，但是这种方法所获得的补偿系 数难以适应由于温度变化、冲击振动引起的热像仪光 学系统通透率的改变。因此，需要寻求一种方法对热 像仪光学系统产生的暗角进行实时校正。如前所述， 由光学系统引起的暗角属于热像仪响应非均匀性的 一种特殊情况，故可以使用普适性的基于场景的热像 仪系统响应非均匀性校正方法对暗角进行补偿，典型 的方法有恒定统计法、 时域高通滤波法、 神经网络法。 恒定统计法1-2对真实场景分布进行统计学假设， 即假设红外探测器各单元对真实场景响应输出信号 的统计平均值是恒定的（可设为 0） ，并且各单元对真 实场景响应输出信

20、号的统计方差也是相等的3（可设 为 1） 。 对式(4)两端求平均和方差， 变换整理可得增益系 数G和偏置系数O，如式(7)所示： out out out 1 = () G I E I O I (7) 式中：E(Iout)表示热像仪各像元输出图像的时域均值； (Iout)表示热像仪各像元输出图像的时域标准差。 时域高通滤波法4-5认为红外图像低频部分主要 是探测器单元的响应特性随时间的缓慢变化和探测 器内部的1/f噪声，高频部分为目标与背景的相对运 动。热像仪光学系统引入的暗角实质也是一种低频噪 声，因此对红外图像低频部分进行滤波，即可消除光 学系统引入的暗角噪声。该算法原理如图6所示，计 算

21、如式(8)所示： 图 6 时域高通滤波原理 Fig.6 Principle of temporal high-pass filtering inoutfl floutfl ( )( )( ) 11 ( )( )(1)(1) IkG IkIk IkG IkIk MM (8) 式中：Ifl(k)表示第k帧红外图像的低通滤波输出；M 表示预先设定的时间常数。 神经网络法4认为相邻像元之间响应相关性较 大，可利用相邻像元响应的均值作为该像元对应场景 真实值的估计，采用LMS算法更新补偿系数。该算 法原理如图7所示，计算如式(9)所示： 图 7 神经网络法原理 Fig.7 Principle of ne

22、ural network out ( )(1)2(1)(1) ( )(1)2(1) G kG kIke k O kO ke k (9) 式中：e(k1)表示第k1帧红外图像输出值与真实 值估计之差；表示预先设定的步长因子。 由于传统神经网络校正算法真实值估计仅考虑 邻域像素的影响，因而难以消除暗角这种低频噪声。 本文引入全局偏置系数对真实值估计进行修正，其算 法原理如图8所示。 全局偏置系数O2的更新计算如式(10)所示： 22 ( , , )( , ,1)(, ,) , , Sum 1 O i j kO i j kI i j kI k I i j k I k k k (10) 式中：i,j表

23、示像元坐标；k表示帧序号；, ,I i j k表示 经过空域和时域低频滤波后的像元灰度值；Sum表示 像元总数。 第39卷 第3期 红 外 技 术 Vol.39 No.3 2017年3月 Infrared Technology Mar. 2017 230 图 8 改进的神经网络法原理 Fig.8 Principle of improved neural network 2.4 基于单帧场景图像的暗角噪声快速去除方法 基于场景的热像仪系统响应非均匀性校正算法 虽然摆脱了参考辐射源的束缚，可以在不干扰热像仪 工作的情况下持续进行暗角补偿，但是这类方法无疑 都要求场景移动，对于固定方位监控的热像仪或

24、者场 景变化缓慢的情况则不适用。此外，该类算法要达到 收敛状态通常要成百甚至上千帧图像序列，难以满足 实时性要求较高的特定战场需要。因此，需要寻求一 种只用单帧红外图像就可去除暗角噪声的方法。 Edwin Land提出Retinex理论4，其认为原始图 像是入射光图像和反射率图像的乘积， 如式(11)所示， 而场景信息与物体表面的反射性质紧密相关。因此， 通过消除入射光图像的影响并求出反射率图像可以 达到图像增强的目的： IoutSR (11) 式中：S表示入射光图像；R表示反射率图像。 受此理论启发，结合热像仪输出红外图像暗角噪 声（图像中心亮，图像边缘暗）的特点进行分析，不 难发现输入的场

25、景信息通过光学系统后产生的这种 退化跟场景信息自身的亮度分布没有直接关系，因此 推断光学系统引入的暗角退化应该是一种加性噪声， 热像仪输出图像为输入场景图像与噪声图像之和，计 算如式(12)所示， 通过对热像仪输出退化图像Iout去除 暗角噪声图像Ilight， 即可求出真实场景的估计图像Iin： IoutIinIlight (12) 式中：Ilight表示暗角噪声图像，其计算如式(13)所示。 Ilight(x, y)Iin(x, y)*Gaus(x, y) (13) 式中：*表示卷积运算；Gaus(x, y)为高斯函数，计算 如式(14)所示： 22 22 1 Gaus( , )exp()

26、 2 2 xy x y (14) 3 实验结果及分析 本文以国产10241280中波制冷型热像仪输出 未经任何校正的场景视频为实验对象，如图9所示， 分别采用传统算法、本文改进算法以及本文快速算法 进行处理，结果如图10和图11所示。 对实验结果分析，可以看出基于场景的非均匀性 校正算法如恒定统计法和时域高通滤波法可以对光 学系统引入的暗角噪声得到较好的补偿效果，但这两 种方法都需要成百上千帧图像才能使补偿因子收敛 从而获得一个较好的效果，且对场景的变化有一定的 要求；基于场景的非均匀性校正算法如神经网络法对 于暗角噪声这种空域低频噪声则无能为力，究其原因 是因为神经网络法以邻域像素值而非全域

27、像素值来 估计真实场景值，本文改进的神经网络法则可以较好 地补偿暗角噪声；单尺度Retinex算法和本文算法去 除暗角噪声均只依靠单帧图像，不同之处在于单尺度 Retinex算法实质将暗角噪声当成一种乘性噪声， 而本 文算法将暗角噪声当成一种加性噪声，从处理结果来 看，本文算法处理的结果明显优于单尺度Retinex算 法，从而佐证了光学系统引入的暗角噪声更可能是一 种加性噪声的结论。 (a)第 720 帧原始图像 (b)第 1420 帧原始图像 图 9 原始图像 Fig.9 Original image 第39卷 第3期 Vol.39 No.3 2017年3月 粟宇路等：热像仪暗角补偿研究 M

28、ar. 2017 231 (a)恒定统计法校正图像 (b)时域高通滤波法校正图像 (c)神经网络法校正图像 (d)改进神经网络法校正图像 (e)单尺度 Retinex 增强图像 (f)本文快速算法去噪图像 图 10 第 720 帧图像处理结果比较 Fig.10 A comparison of the 720th frame image processing results (a)恒定统计法校正图像 (b)时域高通滤波法校正图像 (c)神经网络法校正图像 (d)改进神经网络法校正图像 (e)单尺度 Retinex 增强图像 (f)本文快速算法去噪图像 图 11 第 1420 帧图像处理结果比较

29、Fig.11 A comparison of the 1420th frame image processing results 4 结论与展望 本文分析了热像仪产生暗角噪声的原因，提出了 一种基于参考辐射源进行暗角噪声补偿的工程应用 方法，针对暗角噪声的低频特性，提出了一种改进的 神经网络校正算法，并在Retinex理论的基础之上， 提出了一种基于单帧图像快速去除暗角噪声的方法， 并取得了较好效果，可对工程应用中消除热像仪光学 系统引入噪声提供一定的指导意义。 （下转第236页） 第39卷 第3期 红 外 技 术 Vol.39 No.3 2017 年 3 月 Infrared Technol

30、ogy Mar. 2017 236 大学, 2008. Zhou xiangzhen. Design of Flame Detection System Based on Multi-infrared bands SensorD. Wuhan: Huazhong University of Science &Technology, 2008. 6 王启峰. 火焰光谱数据特征提取、分析系统D. 西安: 西安电子科技 大学, 2009. Wang qifeng. Feature Extraction and Analysis System for Flame Radiation DataD. Xi

31、an: Xian University, 2009 7 安志伟, 袁宏永, 屈玉贵. 火焰闪烁频率的测量研究J. 计算机应用, 2000, 5(3): 65-68. An Zhiwei, Yuan Hongyong, Qu Yuping. Research on the measurement of the flicker frequency of flamesJ. Computer Applications, 2000, 5(3):65-68. 8 Chang C. C, Chu K. P, Lai Y. C. The characterization and fabrication of

32、pyroelectric infrared sensorJ. Tamkang Journal of Science and Engineering, 2005, 8(3): 203-206. 9 Moghavvemi M, Seng Lu-Chin. Pyroelectric infrared sensor for intruder detectionJ. Analog and Digital Techniques in Electrical Engineering, 2004: 656-659. 10 徐宝国, 宋爱国. 基于小波包变换和聚类分析的脑电信号识别方法 J. 仪器仪表学报, 20

33、09, 30(1): 25-28. Xu Baoguo, Song aiguo. EEG signal recognition method based on wavelet packet transform and clustering analysisJ. Chinese Journal of Scientific Instrument, 2009, 30(1): 25-28. 11 钟崴, 彭梁, 周永刚, 等. 基于小波包分析和支持向量机的锅炉结渣 诊断J. 浙江大学学报, 2016, 50(8): 1499-1506. Zhong Wei, Peng liang, Zhou yong

34、gang, et al. Slagging diagnosis of boiler based on wavelet packet analysis and support vector machineJ. Journal of Zhejiang University, 2016, 50(8):1499-1506. 12 孙健, 王成华, 杜庆波. 基于小波包能量谱和 NPE 的模拟电路故障 诊断J. 仪器仪表学报, 2013, 34(9): 2021-2027. Sun Jian, Wang Chenghua, Du Qingbo. Analog circuit fault diagnosi

35、s based on wavelet packet energy spectrum and NPEJ. Chinese Journal of Scientific Instrument, 2013, 34(9): 2021-2027. 13 孙保峰. 基于神经网络的表面肌电信号分类方法的研究D. 长春: 吉林大学, 2013. Sun Baofeng. Research on the classification of surface EMG based on neural networkD. Changchun: Jilin University, 2013. （上接第231页） 参考文献：

36、 1 John G. Harris, Yu-Ming Chiang. Nonuniformity Correction of Infrared Image Sequences Using the Constant-Statistics ConstraintJ. IEEE Transactions on Image Processing, 1999, 8(8): 1148-1151. 2 季尔优, 顾国华, 陈钱, 等. 双通道分频段恒定统计非均匀性校正算 法J. 激光与红外, 2011, 41(4): 474-475. JI Er-you, Gu Guo-hua, CHEN Qian, et

37、al. Dual channel constant statistic NUC algorithm of separate bandJ. Laser & Infrared, 2011, 41(4):474-475 3 许慧慧, 张桂林, 姜瑾. 基于场景的红外探测器非均匀性校正方法的 分析J. 计算机与数字工程, 2007, 35(9): 27-29. Xu Huihui, Zhang Guilin, Jiang Jin. Analysis of Scene-based Non-uniformity Correction for IRFPAJ. Computer & Digital Engin

38、eering, 2007, 35(9): 27-29. 4 Scribner D.A, Sarkady K.A, Caulfield J.T, et al. Nonuniformity correction for staring IR focal place arrays using scene-based techniquesJ. SPIE, 1990, 1308: 224-233. 5 郑瑞红, 陈钱. 基于场景的红外图像非均匀性校正算法的研究J. 光 电子技术, 2003, 23(4): 242-243. ZHENG Rui-hong, CHEN Qian. The Research of Scene-based Methods on Infrared Nonuniformity CorrectionJ. Optoelectronic Technology, 2003, 23(4): 242-243.