《近代光信息处理第4章光学图像识别.ppt》由会员分享，可在线阅读，更多相关《近代光信息处理第4章光学图像识别.ppt（43页珍藏版）》请在三一文库上搜索。
1、2019/7/20,1,第四章,光学图像识别,2019/7/20,光学信息处理,2,第四章 光学图像识别,41 图像识别和光学相关器 42 非相干识别器 43 Vander Lugt相关器 44 实时Vander Lugt相关器 45 Vander Lugt相关器的小型化 46 旋转不变Vander Lugt相关器 47 比例不变Vander Lugt相关器 48 联合变换相关器 49 实时联合变换相关器 410 联合变换相关器的应用 411 旋转不变联合变换相关器 412 结论,2019/7/20,光学信息处理,3,4.1 图像识别和光学相关器,很久以来，人们一直在研究能够识别物体的机器，这
2、种机器能代替人们从事枯燥乏味的重复性劳动及危险性的工作例如: 字符识别机能代替邮递员分拣邮件； 自动签名或指纹识别机能代替工作人员检验签字或指纹; 在军事上，首先用图像识别系统辨认对方的目标，诸如导弹、车辆、建筑，而后用武器自动摧毁经过识别的目标; 在医学上，图像识别技术则用于识别某一类特定的细胞，然后进行计数,2019/7/20,光学信息处理,4,1、光学相关器,两个实函数f(x,y)和g(x,y)的相关在数学上定义为 c(, ) = - f(x,y) g(x - , y - ) dxdy 当 = 0， = 0时相关函数变成内积: c(0,0) = - f(x,y) g(x, y) dxdy
3、 (1) (1)式积分实现的方法见图4.1显然，仅当f(x,y)和 g(x,y)全同时，光强的积分c(0,0)才达到极大,只要测出光强的积分，就可以判定图形f(x,y)和g(x,y)的相似性注意，这一识别过程把复杂的二维图形化简为一个点,图4.1 光学图像识别器图示,2019/7/20,光学信息处理,5,2、相关器的局限性,仅能判别两个完全相同的图形，倘若一个图形相对于另一个图形转过一个角度，或二者的比例有所不同，即便两个图形完全相同，用相关器是无法识别的 相关器很容易识别印刷体字符，却无法识别手写体字符 相关器容易识别人脸的照片，对真人的脸部的识别却无能为力 总而言之，相关器可用来识别具有明
4、确定义的物体定义不明确的物体则应借助于神经网络来识别，可参见第八章,2019/7/20,光学信息处理,6,4.2 非相干识别器,用一个面光源以同时产生许多个准直光束。如果两个图形透明部分相对于这一平行光束是重合的，它通过第二个透镜后就在焦平面上产生一个亮斑，它正是两个图形的相关峰，并指示其位置倘若输入平面上存在不止一个图形，则在输出平面上出现多个相关斑相关输出为 c(,)=- f(x,y)g(x-d/f, y-d/f) dxdy,缺点： 输出平面上的相关峰强度很弱,2019/7/20,光学信息处理,7,4.3 Vander ugt 相关器,相关运算: c(,)=- f(x,y)g(x-d/f,
5、 y-d/f) dxdy 1、Vander Lugt相关器(VLC)复数滤波器的记录 设在谱面上放置一个感光胶片，并假定胶片的显影、定影过程是正的线性过程，则最后得到VLC复数滤波器为: T (u,v) =G(u,v)2 + 1 + G(u,v) exp - i 2sin/ + G*(u,v) exp i 2sin / ,图4.3 VLC复数滤波器的记录,2019/7/20,光学信息处理,8,2、VLC 识别过程,经过T(u,v)滤波作用，紧贴T(u,v)后面的场为 F(u,v) T (u,v) = F(u,v) (G(u,v)2 + 1) + F(u,v) G(u,v) exp - i 2s
6、in/ + F(u,v) G*(u,v) exp i 2sin / ,图4.4 VLC的识别过程,第一项位于输出平面中心，形成0级谱，而F(u,v) G(u,v)及F(u,v) G*(u,v)的逆变换将分别出现在输出平面上(b,0)及(-b,0)处，F(u,v) G*(u,v)的逆变换为f (,) g (,) 。,2019/7/20,光学信息处理,9,4.4 实时Vander ugt 相关器,1、透射型实时VLC的基本装置,为了实现实时图像识别，用空间光调制器SLM来输入图形，最后用探测列阵AD来探测相关峰,图中Ll为显微物镜；L2为准直透镜；L3，L4为傅里叶变换透镜；PH为针孔；BS为分光
7、镜；M为反光镜；MSF为匹配滤波器；AD为探测列阵(例如CCD) ；OB为物光；RB为参考光.,图4.5 透射型VLC的装置,2019/7/20,光学信息处理,10,2、反射型实时VLC的基本装置 系统使用反射型SLM(例如液晶光阀LCLV). 在图4.6中，由摄像机拍摄的图像由TV终端显示，该图像直接照射LCLV，或用透镜投影到LCLV的写入端面，激光束则在LCLV的读出端面上反射，并读出信号，即VLC的输入信号f(x,y),图4.6,2019/7/20,光学信息处理,11,3、实时图像识别的例子,图4.7 应用LCLV 进行实时相关识别,2019/7/20,光学信息处理,12,4.5 Va
8、nder ugt 相关器的小型化,小型化VLC底板尺寸为31cm23cm，光束直径2.5cm，外壳高度15cm，四只波长为830nm、峰值功率为10 mW的半导体激光器辐射四束独立的光束(发散角为20o40o), MSF是用会聚参考光制作的，这样就可以省去一个逆变换透镜,图4.8 小型化实时相干光学相关器光学系统图,2019/7/20,光学信息处理,13,坦克模型的相关识别实验,(a) 坦克模型 (b) 坦克的匹配滤波器MSF (c)相关信号 图4. 坦克模型的相关识别实验,2019/7/20,光学信息处理,14,装备在导弹头部小型化VLC,用三个普罗(Porro)棱镜和一个分光棱镜胶合成固化
9、的棱镜组，整个光学系统高45mm，对角线长88mm，内部性能与上述系统类似，但只有一个通道,2019/7/20,光学信息处理,15,图4.10 固态光学相关器部件分解图,2019/7/20,光学信息处理,16,图4.11 部分拆开的相关器部件实物图,2019/7/20,光学信息处理,17,反射型 MSF 实时指纹识别器,2019/7/20,光学信息处理,18,4.6 旋转不变 Vander Lugt 相关器,利用圆谐函数展开实现旋转不变VLC的方案 输入函数f(x,y)用极坐标表为f(r,)，并用指数函数展开： f(r,)=M=- fM(r)exp(iM) fM(r)= (1/2)0 f(r,
10、) exp(-iM)d 旋转角的目标函数可表为 f(r,+ )= M=- fM(r) exp(iM)exp(iM) 在原点(0,0)的相关在极坐标中的表达式为 c()=c(0,0)=0 rdr2 0 f(r,+)f*(r,) d = 2 M=- exp(iM)0 |fM(r)|2 rdr 上式相关函数包含了各级圆谐函数分量的贡献， 结论：当参考信号中包含多个(大于一个)圆谐函 数分量时相关输出是旋转可变的。,2019/7/20,光学信息处理,19,利用圆谐函数展开实现旋转不变VLC的方案,如果参考信号中仅包含一个(某一级)圆谐函数分量时就可以实现旋转不变。 设 fM(r, )= fM(r)ex
11、p(iM) 相关输出: cM() = 2 exp(iM)0 r |fM(r)|2 dr 相关函数的强度: |cM()|2 = |2 0 r |fM(r)|2 dr|2 它与目标图形的无关，因而是旋转不变的。 这一旋转不变的相关识别过程，显然强烈地依赖于极坐标系原点的选择及圆谐函数分量的级 M 的选择。 一般的原则是把原点选在图形的对称中心或大致的中心附近，并选择较低级次的圆谐函数分量作为参考信号。,2019/7/20,光学信息处理,20,旋转不变VLC的实例,在图4.13(a)中，字母E作为目标函数，并用“”指出圆谐函数的展开中心；图(b)给出第一级的圆谐函数分量的振幅；图(c)和(d)分别是
12、(b)中圆谱函数的实部和虚部与该复圆谐函数匹配的空间滤波器MSF用计算机产生的全息图制作,图4.13 第一级圆谐函数分量,2019/7/20,光学信息处理,21,旋转不变VLC的实例,图4.14 给出旋转不变的相关峰，指示了三个不同取向的字母 E 的存在，在识别过程中取了适当的阂值,图4.14 对字母E识别的旋转不变相关输出,2019/7/20,光学信息处理,22,4.7 比例不变 Vander Lugt 相关器,比例不变又称尺度缩放不变，意思是说目标图形与参考图形相似时，仍有相关峰输出 引入下面的变量代换： = lnx, = lny 图形函数表为 f (, ) = f (lnx, lny)
13、对原函数进行 倍的比例缩放的结果为 f(, ) = f (lnx, lny) = f(+ 1, + 1) 式中 1 = 1 = ln。 如果图形函数f (, ) 与f(+ 1, + 1) 进行相关识别，显然有相关峰输出。而f (, ) 与 f (x, y) 对应，f(+ 1, + 1) 与 f (x, y) 对应，恰恰是原来的图形函数与比例缩放后的图形函数的相关，相关峰的位移(- 1, -1 )指示了缩放的系数 = exp1 = exp1。,2019/7/20,光学信息处理,23,在上述处理过程中，不能以f(x, y) 作为输入信号，而必须用f(+ 1, + 1) 作为输入信号，输入图4.5
14、或图4.6 所示的识别系统中，类似地，当制作MSF时，必须采用变换后的参考信号f(,)，而不是原来的参考信号f(x,y)。从f(x,y)到f(,)的变换，以及从f(x, y)到f(+ 1, + 1)的变换，既可以用电子学的方法实现，也可以借助于光学坐标变换器用光学方法实现。当然最为简单而实用的办法是用变焦镜(ZOOM)，然而这将包含一个机械的动作，而且不能算作是并行处理器。,2019/7/20,光学信息处理,24,4.8 联合变换相关器,光学联合变换相关器(JTC)最早是由Weaver 和Goodman，以及Rau 提出来的.,图4.15 联合变换功率谱的记录 S(u,v) = - f(x+a
15、,y)+g(x-a, y) *exp - i 2/f (xu+yv) dxdy S(u,v)称为f(x,y)和g(x,y)的联合傅里叶谱.,2019/7/20,光学信息处理,25,关于位移的变换法， S(u,v)则改写为 S(u,v)=exp i2au/ F(u,v)+exp -i2au/f G(u,v) 式中F(u,v) f(x,y), G(u,v) g(x,y) 如果用平方律探测器测量透镜后焦面的图形，得到光强分布 |S(u,v)|2 = |F(u,v)|2 + exp i4au/f F(u,v)G*(u,v) + exp -i4au/f F*(u,v)G(u,v)+ |G(u,v)|2
16、它就是联合傅里叶变换的功率谱.,2019/7/20,光学信息处理,26,对联合功率谱|S(u,v)|2再进行一次傅里叶逆变换，得到 o(,)= o1(,) + o2(,) + o3(,) + o4(,) o1 (,) = f(x,y) f(x,y) 自相关； o2 (,) = f(x,y) g(x,y)，只是在 轴上平移 2a； o3(,) = g(x,y) f(x,y)，在 轴上平移2a的距离； o4(,) = g(x,y) g(x,y)自相关 o1 (,)与o4(,)重叠在输出平面中心附近，称之为0 级项，它们不是信号两个互相关项 o2 (,) 和 o3(,) 为一级项，正是我们寻求的相关
17、输出信号，它们在输出平面上沿 轴分别平移 2a 和2a，因而与0 级项分离在 f(x,y) 和g(x,y) 相同的情况下，o2 (,) 和 o3 (,) 的函数形式相同,2019/7/20,光学信息处理,27,4.9 实时联合变换相关器,联合变换谱的记录和逆变换两个过程之间，有一个用平方律探测器把联合变换的复振幅谱转换为功率谱的中介过程。 在早期的实验中，这一过程借助于感光胶片实现：首先用感光胶片记录一对目标图形f(x,y)和参考图形器g(x,y)的联合变换谱，经过显影、定影处理后，胶片的透过率近似正比于联合变换的功率谱|S(u,v)|2 ，再把它放在系统的输入平面上，用透镜进行逆变换，获得相
18、关输出。如果要对多个目标图形fn(x,y) (n=l,2, ,N)进行识别，上述过程必须重复多次，显然是十分费时费事的。,2019/7/20,光学信息处理,28,然而，如果采用高分辨率光寻址的空间光调制器来代替胶片完成上述中介过程，联合变换相关器JTC的优越性就体现出来了 1981年，Pichon和Huignard第一次用光折变晶体BSO来实时记录联合变换的功率谱 1985年，Loiseaux 等把BSO放在傅里叶平面上，并在输入平面上放置BSO液晶光阀LCLV尽管BSO晶体的分辨率高达1000 lp/mm (线对每毫米)，BSOLCLV系统只能实现12 1p/mm的分辨率，可用面积为25mm
19、25mm，相当于300300个像素这一方案实现了JTC中的实时平方律转换,2019/7/20,光学信息处理,29,1984年，Yu和Lu提出用LCLV作为平方律探测器，而在输入平面上采用计算机控制的磁光空间光调制器(MOSLM)的实时可编程JTC方案，当时MOSLM的空间带宽积或像素数和LCLV的分辨率比胶片或BSO的分辨率低，所以在上述系统中都用长焦距变换透镜 1987年，Yu等又提出了用液晶电视(LCTV)作为电寻址SLM，并用CCD记录联合变换功率谱探测到的图形再通过LCTV显示出来，并由CCD探测相关输出 特点：(1)不采用长焦距变换透镜，因而JTC是相当紧凑的(2)用CCD来探测功率
20、谱，从而在第二次傅里叶变换前可以用各种数字处理技术来提高系统的性能,2019/7/20,光学信息处理,30,实时JTC 理论分析,设f(x,y) = g(x,y)，则联合变换谱可认为是f(x,y)和g(x,y)上对应的无数点对形成的杨氏条纹的相干叠加杨氏条纹的衍射图包含两个亮斑(+1级和-1级衍射)及0级(直流)光斑这两个亮斑即相关峰 现在让我们来分析|S(u,v)|2 当f(x,y) = g(x,y) 时， |S(u,v)|2 = |F(u,v)|2 + exp i4au/f F(u,v)G*(u,v) + exp -i4au/f F*(u,v)G(u,v)+ |G(u,v)|2 = 2 |
21、F(u,v)|2 1+ cos(i4au/f) 1+cos(i4au/f)代表理想的杨氏条纹，周期为f/2a，因子|F(u,v)|2则是杨氏条纹的包络 F1|S(u,v)|2 =F-12 |F(u,v)|2 *F-11+cos(i4au/f),2019/7/20,光学信息处理,31,o(,) = F1|S(u,v)|2 = F-12 |F(u,v)|2 *F-11+cos(i4au/f) 其中 F-11+cos(i4au/f) = (,) + (+2a,) + (-2a,)/2 我们已经知道|F(u,v)|2的傅里叶逆变换是f(x,y)的自相关，记为cff (,) 亦即 F-12 |F(u,v
22、)|2 =2 cff (,) o(,)=2cff (,)*(,)+(+2a,)+(-2a,)/2 = 2cff (,) + cff (+2a,)+ cff (-2a,) 从而自相关斑分别出现在(-2a,0)，(0,0)和(2a,0) 杨氏条纹 1+ cos(i4au/f) 比包络2|F(u,v)|2重要得多，即使包络有所改变，我们仍能观察到相关峰 (+2a,) + (-2a,) ,2019/7/20,光学信息处理,32,例如: 功率谱的范围超过CCD的探测面，仅一部分功率谱被检测设CCD的探测面由矩形函数rect(u,v)所限定(rect(u,v)是函数rect(u)rect(v)的简写)设它
23、比F(u,v)要小，则CCD测得的谱为rect(u,v) 1+ cos(i4au/f) ，在透镜后焦面上的输出为 o(,) = F-1 rect(u,v) 1+ cos(i4au/f) = css (,) + css (+2a,)+ css (-2a,)/2 在(-2a,0)及(2a,0)仍然看到相关峰(设f(x,y) = g(x,y) css(,)是sinc(x,y)的自相关(sinc(x,y)=sinc(x)sinc(y) 注意sinc(x,y)和rect(u,v)是傅里叶变换对, 且rect(u,v) = | rect(u,v) |2 .,2019/7/20,光学信息处理,33,JTC的
24、优点 (1) 与Vander Lugt相关器的全息匹配滤波器相比，JTC的参考图形显然要简单得多，它可以存储在计算机中，并用LCTV显示 (2) 探测联合变换功率谱可以是一个非线性的处理过程 (3) 由于我们对相关峰的形状并不特别感兴趣，因而可以选择功率谱的一部分来产生杨氏条纹 (4) 如果采用短焦距傅里叶变换透镜加一个放大透镜，系统总长度可大大缩短 JTC的缺点 在于功率谱受到输入平面上所有信号和噪声的影响，它强烈地依赖信号和噪声的特性，很难设计一个非线性函数来优化功率谱的探测,2019/7/20,光学信息处理,34,4.10 联合变换相关器的应用,图4.17 使用LCTV的实时自适应JTC
25、的实验装置,2019/7/20,光学信息处理,35,图4.18 (a)计算机生成的物 体和参考图像 (b)相关输出 (c)LCTV上没有物体 存在时的直流输出,2019/7/20,光学信息处理,36,4.10 联合变换相关器的应用,Fielding等报道了在Yu等方案的基础上加以改进获得的指纹识别的实验装置.,2019/7/20,光学信息处理,37,图4.20 运用JTC进行指纹识别的实验结果 (a)输入指纹和参考指纹经二值化处理后在输入平 面显示 (b)第二步，二值化的联合变换功率谱 (c)一对相关斑,2019/7/20,光学信息处理,38,宋菲君等利用实时JTC识别了破损的指纹,图4.22
26、(a)参考指纹(b)留在电子表表面上的现，场指纹(经处理) (c)相关输出,图4.21 (a)参考指纹 (b)现场指纹 (c)相关输出,2019/7/20,光学信息处理,39,4.11 旋转不变联合变换相关器,圆谐函数展开是一种最为直截了当的实现旋转不变的方案，在Vander Lugt 相关器、JTC 及非相干相关器中都已得到成功然而这一方法的一个根本问题在于，旋转不变的性能在很大程度上取决于旋转中心的选择，而选择旋转中心并没有固定的法则可以遵循此外，还需要一台计算机来产生滤波器,2019/7/20,光学信息处理,40,旋转参考图形法,设参考图形g(x,y)为字母“A”，输入图形则包含数个字母
27、“A”，散布在其他字母中，见图4.24(a) 如果将g(x,y)从0o 旋转到360o，每 lo 取一个相关，对所有的相关求和，我们就会得到一幅旋转不变的相关输出.,图4.24 (a)输入图形中包含各种取向的字母“A” (b)不论取向如何，每个字母“A”产生一个相关斑,2019/7/20,光学信息处理,41,旋转参考图形法,显然不必旋转输入图形f(x,y)，倘若我们旋转 f(x,y)，势必造成输入平面上字母“A”位置的混乱，难以恢复 旋转已知的参考图形g(x,y)相对来说要简单得多，旋转中心即字母“A”的几何中心，因而在旋转过程中图形几乎不发生位移，如果旋转中心与几何中心不一致. 只要相距不远
28、，旋转过程中字母的位移量也不会很大,2019/7/20,光学信息处理,42,旋转不变联合变换相关器系统,2019/7/20,光学信息处理,43,4.12 结 论,本章介绍了非相干光相关器Vander Ltlgt相关器(VLC)和联合傅里叶变换相关器(JTC) Vander Lugt相关和联合相关都通过对两个函数傅里叶变换的积进行傅里叶逆变换的方案实现相关非相干相关器输出的反差太小，因而还不实用JTC与VLC相比，具有容易进行实时识别以及自适应的特点如果输入中包含多个物体时，JTC的性能迅速变差，然而当匹配空间滤波器制作成功后，输入中包含物体的个数对VLC的性能不产生影响本章还介绍了光学相关识别器的许多应用，这一领域的研究至今仍在进行,