《光场成像原理.docx》由会员分享，可在线阅读，更多相关《光场成像原理.docx（20页珍藏版）》请在三一文库上搜索。
1、光场成像原理作者: 日期：光场成像理论目录1. 光场概念31.1七维全光函数31.2全光函数的降维32. 光场采集设备的开展与典型结构 42.1多相机光场采集52.2单相机光场采集83微透镜阵列的光场采集 133.1基于针孔阵列的光场采集 133.2基于微透镜阵列的光场采集 151. 光场概念1.1七维全光函数光场(Ligh t fi eld)的概念最早于 1936年由A. Gershun提出,用以描述光在三维空 间中的辐射传输特性.1991年,E.a dels on和 J.Bergen根据人眼对外部光线的视觉感知, 提出全光函数(Ple n o p ti c functio n ),利用七维
2、函数表征场景中物体外表发出(或反射)的光线.在全光函数可以表示为：P P(x, y, z, , , ,t)其中,x,y,z 表征光纤中任意一点的三维坐标 ；,表征光纤传输方向表征光线波长t 表示时间此时,全光函数 P P(x, y,z, , , ,t)表示了波长为 的光线t时刻经过三维空间中坐标 为(x, y, z)的点,且传播方向为(,)的一条光线.与只包含位置信息的光场不同,全光函数的七维表示增加了光线的色彩信息及动态变化.1 .2全光函数的降维根据全光函数P7Px,y,z, , , ,t的意义,当光线在自由空间中传播时,其频率即波长 不发生变化,对于静态场,此时全光函数可由七维降至五维,
3、即P5 Px,y, z,由于观察者往往受限于目标的成像范围,此时五维光场出现一位冗余,当给定光线在自由空间的辐射不发生变化,因此在限光器的空间范围内,五维光场可以表示为四维光场.四维光场的参数化表征可有一下三种方式：1方向-点参数化表政法.利用光线与平面的交点x,y和光线方向,作为四维参数来描述光场中的光线.2球面光场参数表征法.利用紧紧包围三维物体的球面上两点,可以表征球面封闭范围内任意一条光线的传播.尽管该参数表征方式采样均匀,但无法表征与球面相切的光线.3双平面参数化表征法.双平面参数化表征法是采用光线与两个平行平面的焦点坐标来对光场中光线进行参数化表征.其表达形式为Ls,t,u,v,其
4、中s,t和u,v分表是光纤盒两平面的坐标交点.由于实际中大局部成像系统都可以简化成两个相互平行的平面,如传统光学系统中的光瞳面和探测器像面,因此双平面参数化表征法具有较高的合理性和实用性.图1.1三种光场参数化模型2. 光场采集设备的开展与典型结构区别于传统成像方式,光场成像是一种计算成像技术,对捕获光场信息进行相应的数字处理才能得到相应的图像信息.从目前光场相机的结构组成上区分,可分为多相机阵列和单相机改造两种方式.多相机阵列采集光场信息是通过相机阵列对同一目标进行成像,由于每一个相机分别处于不同视角,因此对应光场的一个方向采样.单相机改造结构是利用在单个相机中引入光学调制元件,改变成像结构
5、进行如何光场的重新采集,实现将入射的四维光场重新分布在二维探测器平面.2.1 多相机光场采集在多相机阵列出现之前,一般通机械移动装置实现相机多目标多视角图像采集.其中 典型结构包括M丄ev o y所设计的移动机械臂和A .Is a ks e n等人设计的二维移动平台.自1 9 9 6年,美国斯坦福大学的M a rc L ev o y等人将相机固定到一个广场采集支架,如图2.1所示.利用支架的二维平移和二维转动实现四个自由度的调整,仅为完成目标广场的完成采集.在20 00年,根据斯坦福实验室所设计的移动机械臂原理,A. I s ak sen等人设计了类似的二维移动平台驱动相机进行光场采样,如图2
6、.2所示,利用光场参数的变化实现不同的成像应用,包括改变景深及调节焦点.当相机在平台上能够移动较大范围距离时,合成光场能够穿透遮挡物对其后目标进行图像的重构.图2.1斯坦福采集光场平台图2 . 2二维移动平台和相机在20 0 2年,J.C.Ya n g利用结构排列紧密的微透镜阵列代替摄像头阵列设计了一种结构紧促、本钱低廉的光场采集设备,如图2 .3所示.设备通过 8X 11个微透镜阵列对物体进行多角度成像实现光场采集,再利用一个平板扫描仪对透镜像平面完成一次扫描,即可将所有微透镜所成的像记录到计算机中.图2.3采集微透镜阵列和平板扫描仪的光场采集装置早期的多相机阵列还包括J.C.Yang等人设
7、的8X 1 1个摄像机阵列如图2.4,以及C.Zha ng和T. Chen设计可独立调节姿态的多相机阵列如图2.5.在后者的设中,每个相机都固定到一个移动机构单元中,可以各自在水平方向和两维转动方向进行调节.图2 .4 J .C .Yan g等人设计的实时相机阵列图2.5可独立调节姿态的相机阵列论是采用外部机械或是扫描仪,要完成光场的采集都需要一定的扫描周期,因此只能 局限于对静态物体的拍摄,而采用多相机阵列可以弥补这一缺陷.斯坦福大学的学者利用大型的相机阵列对光场进行捕捉与处理,对此进行全面的分析和研究.围绕成像应用领域的不同,在200 3年B.W i Ibu rn等人设计了几种不同的摄像机
8、阵列,如图2.6.所示.通过严格限制每个相机单元的时间同步以及位置的精度,从而能精 确地对光场数据进行捕捉处理,获得高分辨率光场图像.图2. 6斯坦福相机阵列2. 2单相机光场采集多相机阵列的规模和尺寸限制其使用场合,而实现单相机内的广场获取那么更具实际意 义.1 9 9 2 年,E .A delson 和J .Wan g设计了一种全光相机 (PI en opt i c cam era),其结 构原理如图2. 7.a所示,系统由主镜头、微透镜阵列、成像探测器组成.探测器与主镜头 的光瞳关于微透镜共轭,主镜头出射的光线经过每个微透镜后投影到其对对应的假设干像元上,这些像元共同组成一个宏像素(Ma
9、 c ropixel).此时每个宏像素的坐标对应目标像点的几何位置,二宏像素中所覆盖的每个探测器像元那么代表目标的不同视角信息.在该系统的设计中,包含了一个光学扩散片和一个场景.前者的作用类似于摄影相机中的额低通滤镜,相处高于透镜阵列采样频率的高频成分；而场景的引入可以将宏像素对齐到微透镜所在位置.在如图2.7.b所示系统中,利用中继镜头将微透镜阵列焦面上的像转接到探测器,可以解决犹豫微透镜焦距非常小导致的探测器和微透镜阵列难以直接耦合的困难.由于二次成像具有较严重的渐晕效应,因此在微透镜焦平面处参加一片毛玻璃进行匀光补偿.OtedWahMainOffuser tensFieW LentZf
10、Sensor lens anay anay(a)Lenticular OphoW RelaySensorarray QroundQlass lensarray图2. 7 (a )全光相机设计结构；(b)采用终极镜头的全光相机2 005年,R . N g等人简化了全光相机的设计,在常规摄影相机的根底上制成手持式全 光相机(光场相机),如图2. 8所示.等通探测器芯片立接安装在微透镜阵列的焦面上,减少了中继镜头所带来的额外尺寸以及渐晕效应.由于宏像素的排列次序与相应微透镜单元的排列保持一致,两者并不需要严格的对齐,因此也可以去除场镜.图2 .9中,顶部两幅图片为手持式光场相机所拍摄的光场图像,宏观
11、上来看与常规图像没有太大区别,但从放大后的图中可以明显看出,每个微透镜所对应的宏像素均覆盖了假设干个探测器像元.对二维光场图像中的像素进行重新排列,得到四维光场矩阵, 将四维光场重新投影到新的像平而进行积分叠加,就可以获得不同像平而上的对焦图像.这一对焦过程完 全依靠数字计算来完成,而非传统的机械对焦方式,因此称之为数字对焦(Digital r efocus ing).图2.9底部三幅图片给出光场相机依次对焦到前、中、后三个、同深度位置的重构 图像.图2.9 上图为光场相机结构原理图；下列图为光场相机外观图2.8光场图像与数字对焦T. G eo rgie v等人基于光场维度冗余性 ,减少光场方
12、向维度的采样,即用较低的分辨 率换取相对较高的空间分辨率.在光场相机中,减少方向采样的直接方法就是减小微透镜单,T.Ge or元的孔径和焦距,使单个宏像素所覆盖的像元数减少.减小微透镜单元孔径和焦距的方法分别会引入制造和处理的两大问题.为此gie v等人对此展开相关研究,其中A . Lumsdaine和T .Georgiev提出的光场相机 2. 0, 又称聚焦光场相机其结构如图2.9所示.探测器位于微透镜阵列之前某个有限距离处 的虚拟无平面上.假设该虚拟物平面和探测器分别距离微透镜a和b,那么光场相机对光场的方向分辨率为a/b ,空问分辨率为探测器分辨率的b/a倍.通过调整参数a和b可以对光场
13、方向采样和空问采样进行折衷调节.针对处理的问题,T .Geor g iev等设计了一种外置与常规相机镜头前端的微透镜阵列或透镜-棱镜阵列,如图2.1 0所示.每个子图像为光场的一个方向维度采样,而子图像内的像元表示光场的空间采样.由于光场的方向采样数一般都远小于其空间采样数,因此采用这种排列方式能够减少子图像边缘像素的比例,因而提升了探测器像元的有效利用率.图2. 1 0采用外置透镜-棱镜阵列的光场相机与此结构类似,由P.Gr een等人设计的多孔径相机,如图2. 1 1所示.多孔径相机将主镜头的孔径分割为四个同心环 ,目标经过每个环形子孔径所成的像,经过不同的反射光路重 新分布到探测器像面.
14、与上述光场相机在光场方向维度的二维形采样方式不同,多孔径相机只对光场的方向维度沿径向进行一维采样,将其获得的多孔径图像直接相加即可合成为常规因此需米用额扣机在不同光圈下的图像.环形孔径分割方式难以直接在折射型透镜上实现, 外的反射和中继光路,增加了整个系统的尺寸重量和工程复杂度.Ref;0mW已Sp fttrng U rrc.CCD 氐Ftfldfig 閘帕亠 Irragtw LansAjMuruDFior Re ayOpliciAjpriurt SpiHinq WrnflraFn dnfl Mtijtf图2 .1 1基于环形分割的多孔径相机C.K丄ia ng 等人设计的一种可编程孔径相机(P
15、rogr a m m able a perture came ra),可通过屡次曝光对主镜的子孔径进行采样,每次曝光只允许特定子孔径位置的光线成像到探测器.可编程孔径相机所采集到的光场具有与探测器柏当的空问分辨率,但这同时是以牺牲噪光时间或图像信噪比为代价的,屡次曙光成像所形成的庞大数据量也成为额外的负担.A. V eer ara ghav a n等人还提出了另一种采用编码调制的方式获取光场的方法,即外差式光场相机(Het e rodyne 1 ight f ield camera),如图2 . 12所示.与空域对光场进行调 制的光场相机不同,外差式光场相机实现的是四维光场在傅里叶频域中的调制
16、.在傅里叶域 来看,某个深度位置所成的像就是四维光场沿相应角度的二维切片.如果在这个深度平面放置一片具有特定透过率函数的编码掩膜,那么光线经过掩膜滤光的过程在傅里叶域表现为光场频谱与透过率函数傅里叶变换的卷积.将掩膜透过率函数设计为余弦函数,其傅里叶变换为脉冲函数,就可以实现光场频谱沿角度的复制和搬移.调制后的光场再会聚到探测器上 ,即沿零度角重新作切片采样,采样后的图像频谱中已经包含了光场方向维度的频谱信息.对光场进行解调时,将探测器图像的频谱依序重新排列,即可得到四维光场的频谱.外差式光场相机的一个优点在于它在原始对焦面(即探测器所在平面)能够得到与探测器相同分辨率的图像,缺陷在于掩膜会滤
17、掉相机巾的大局部光线,造成光通量的严重损失, 需要增加数倍的曝光时间来进行补偿.(It) 1岸止朮场阳机和潇硏揃離虫物圈图2.1 2采用编码掩膜的外差式光场相机3. 微透镜阵列的光场采集不同于传统成像,光场成像利用二维探测器同时记录光场的四维信息,即二维位置分布和二维传输方向.可通过对四维光场的重新采样和分布实现四维光场向二维平面的转换.3.1基于针孔阵列的光场采集如图3 . 1所示,在传统成像系统的探测器前方距离处放置一组等间距针孔阵列可实现光场的重采样.从镜头发出的光线经过每个针孔后投影到探测器平面形成1个子图像,子图像中一点此时就对应于镜头光瞳发出的一条光线(即一个光场采样).假设将每个
18、子图像整体看作一个宏像素,那么每个宏像素对应于光场的一个位置采样,而宏像素内的每一点对应于光场在该位置的一个方向采样；所有宏像素共同组成了光场在镜头孔径上每一点和每一个针孔位置 的采样.光场的位置采样分辨率由针孔采样问隔所决定,而光场的方向分辨率那么取决于其在镜头孔径上的采样次数,这是由每个宏像素内所包含的像元数所决定的.0h针孔阵列探测器2子国像 (宏像秦)图3 .1基于针孔阵列的光场采样 上述直观上的理解也可以从成像公式的数学推导来验证.图中 镜头与针孔阵列之间的距离为对于探测器上任意一点D为镜头孔径的直径,a,针孔阵列中柏邻针孔的距为d.x处的照度可表示为光场经过针孔过滤后的积分,即L(
19、u,x) (s id)dui其中(?)表示针孔对应的 Dir a c脉冲函数；i为整数,id表示每个针孔阵列所在平面上的坐 标.对于图3.1中入射的一跳光线,关系可知引入临时变量f此时,l(x)将S x u代入式(3- 1) b al(x)(3 - 1)设其经过三个平面时的交点分别为u, S, X,根据其几何aba b中,得到L(u,x)ixa ubsa b(bXf u id)du aL(u,x)aa(r u fid)duL(f idax,x)bi,根据几何关系可知：Dda bDf(3 -2)当相邻自图像的边缘相切时,探测器利用率最大D dabb将d 列 Dt代入式(3 -2),那么有a b
20、aI(x)af L(iDa-x,x)b(3-3)由于成像镜头孔径范围的限制,式(3 - 3)应满足iDD?定义h为镜头孔径经过一2个针孔投影到探测器像面上的直径,那么有h Dba进而得到x1x 1i(3-4)h2h 2由于i为整数,因此对式(3-4)向下取整x 1,即 i-.此时将i代入式(3-2)可得h 2I(x)afiL(iDx 1h 2ax,x)bax1aL(D-x,x)(3-5)fh2b直接将式(3 -5)推广至四维光场可、,、ab . , x1ax1a、I (x,y) 2 L(-Dx,Dy,x, y)(3-6)fh2bh2b比照式(3-6)和(3-1 ),参加针孔阵列后,二维探测器上
21、任一像点对应的是四维光场采样 而不再是积分,因此可以获得光场的位置和方向信息.3.2基于微透镜阵列的光场采集针孔阵列的光场采集是基于位置维度上的点采样,这样的得采样方式缺失大量的广场位置信息,同时严重损失了成像系统的光通量.由于针孔的作用可以理解为对镜头孔径进行成像,因此可将其替换为具有同样功能的微透镜.如图3.2所示,在原针孔阵列的位置放置微透镜阵列,微透镜单元的孔径大小等于针孔采样间隔d,而微透镜的焦距正是引入的临时变量f.区别于针孔采样,微透镜单元对光场位置维度进行矩形采样(或圆形采样,取决于单透镜的孔径形状)形式.这样的采样方式不会损失成像系统的光通量.图3.3给出了光场采样方式在光场坐标空间中的比照.图3.2基于微透镜阵列的光场采样1 n11*Jn fF fbin 1n|;1 IIIIIS招1针孔盟拦图3.3针孔阵列和微透镜阵列的光场采样比拟了保证探测器像元的最大利用率,相邻微透镜的了图像应在边界处相切,即应满足dDf,稍作变换为a b aa fD d上式中,f Jd为微透镜F数；而a D为主镜头F数.因此可知,当微透镜和主镜头F 相等时,探测器像元数利用率最大.在理想条件下,假设微透镜的数量为 Mi M2,每个微透镜覆盖像元数 即宏像素像元数 为Ni N2,那么探测器像元数为 MiNi M2N2.