《光场相机与增强现实原理分析.pdf》由会员分享，可在线阅读，更多相关《光场相机与增强现实原理分析.pdf（7页珍藏版）》请在三一文库上搜索。
1、非常详细通俗的讲解 光场相机 Lytro 的运作原理和运算方法 A Light Field Camera “ Lytro” , the Principle and Algorithms 概略 Lytro 以在照片拍摄后，照片的对焦点可以自由变换的相机而被知晓Lytro 称其为光场相 机 成像部分是由图像感应器和微型镜头所构成，并 得到入射光束集中的光场然后从光场再处理 成最终的画面，光线集中相当于计算镜头的运作本 文就 Lytro 的动作原理和画面生成的运算方法进 行解释 . 1前言 数码相机是在摄像像素点上形成鲜亮的光 像，并把此光像忠实的反应成数码影像的装 置。但是光场相机则是采用与数码相
2、机完全不 同的原理所被认知。此相机是采用光场（光线 空间）得到多条光线，再将光线集合并经过一 种图像处理得到最终成像的相机。其代表机能 为利用摄影后的后处理，变更相机焦点距离的 再对焦机能。 初期的光场相机是用多台相机纵横排列成 的相机矩阵的实配相机矩阵对机能有验证作 用，但是没有实用性另一方面，Ng试做了在 成像像素的前面配置微镜头，通过致密的框体 集中光线的光场相机之后，Ng为了将此技术 商 品 化 而 成 立 了 公 司 ， 在 2012 年 开 发 了 Lytro 本文是根据 Ng的论文及实际的分析解析为基 础解释 Lytro 的运作原理，机能，运算方法 等 2. Lytro的影像感应
3、器 图1为Lytro 的影像感应器的扩大照片影像感应器是数 码相机用的 CMOS 感应器，内间距为1.4 m，影像 感应器上覆盖蜂巢结构的微镜头，微镜头的内间距 为14m。影像感应器 3280*3280 像素的面积上覆盖 330*380 个微镜头，一个微镜头的直径大约是10个 像素点的长度。 微镜头和保护用玻璃一体成型，CMOS感 应器上面有少量空间，保护玻璃上面平坦，底 面排列微镜头。保护玻璃和微镜头的厚度约为 430m，另外 CMOS 表面设置了拜尔型彩色滤 膜。 图2显示影响感应器和微镜头的位置关系。其并没有完 全对齐，每个相机的框体的倾斜和偏移都不一样。推 测其为装配微镜头时的机械原因
4、的误差。 图3显示 Lytro 获得的原生像素的部分扩大原生像素明显 的反映出了微镜头的构造，扩大图片显示了圆形构造 内的像素结构直径约为10个像素，一个圆形构造内对 应一束光线，圆形周围的像素较暗，此区域的光线获 得较为困难。 3. 光场的获得 影像感应器和主镜头来获得光场的示意见 图4。在 A位置的被摄物由主镜头获取光线，其 焦点位置落在微镜头矩阵上，此时，由被摄物 发出并到达微镜头的光线，利用在其下方定位 的像素记录方向和亮度，一个微镜头所对应的 全部像素平均化，生成A位置合焦后的粗略的 照片像素。 图4B位置上的灰色点，注意其位置通过的光线为3条， 利用不同的微镜头，使光线记录到的像素
5、点上。将这 些像素值平均化后，能够生成B焦点上的合焦照片像 素。 B位置合焦后， A像就会变模糊，利用光场来计算 这一现象。 图 4上微镜头覆盖的三部分像素，最下方位置 的像素追溯到主镜头，到达部分开口1所述范 围然后这些像素所生成的图像，是通过部分开 口的光线所成的像同样微镜头覆盖的像素， 最上方位置所生成的图像，是通过部分开口的 光线所成的像如此，微镜头覆盖N个像素时， 就可以对微镜头所对应的相同位置上的像素进行 排列形成 N个小图像，由N个部分开口分割主镜头 得到 N个立体图像群 4. 光场的映射 从 Lytro 获取的原始图像的光场到生成最终照 片图像的程序叫做光场映射在此解释一下两种
6、 映射方法 第一种方法，对应映射焦点距离，N个立体 图像适度平行移动后，并将其平均化的方法称 其为移动加算法第二种方法，将获取的光像投 射到适当焦点距离的设定图像面上称其为光线 束投影法 移动加算的映射说明如3章所述， Lytro 可 以将捕捉到的光场分解成多个立体的画面群图5 的左侧部分说明其样式从全部的微镜头相同位 置抽取像素后再配列。如此构成的小图像群，是 从主镜头不同的部分开口处观察被摄物的图像群 所以，从开口位置到被摄物之间的距离有视 差将这些立体图像群与假想的焦点距离重合， 使其只平行移动适当的量然后将移动后的图像 群加算平均化。移动量对应纵深，被摄物由于像 的位置重合所以形成锐利
7、的图像，如果不是像就 会模糊另外，实际的相机在合焦前后，不仅是 合焦位置有变化，像的大小也多少有变化再次 不考虑此效果 移动加算映射算法，其单纯的计算成本比较 小但是，由于最终图像的像素数和微镜头的像 素数相等，与一般的数码相机摄影后的画面尺寸 相比较显得非常小另外，微镜头和原始图像像 素的位置关系由微镜头不同有微小的差异所 以，对于像素再配列来说，像素值需要一个补充 差值其结果就是会导致最终图像的解像度有稍 许劣化 移动加算映射算法，实装是比较容易的，但 是最终的解像度不好为了得到更好的图像所用 的光线束投影法，以下进行说明 图 6上部所示，图像感应器和微镜头阵列所获 取光线的样子，进行详细
8、说明3章所述，图像感 应器的各像素获得一束光线进行了说明，但是要 更正确的话，要获得一定程度的光束宽度。光束 投影映射如图 6下部所示，是一种将获得的光束投 射到设定焦点距离的假想图像上的方法 各像素所获得的光束能够按照以下方法计 算图 7是图像感应器的放大图在此 ，图像感 应器面和微镜头阵列面的距离与微镜头的焦点距 离 f 相等 ，像素为点 图中其他尺寸记号的意思 以下说明 a: 微镜头的直径。 q: 像素的位置。表示从覆盖微镜头的光轴的距 离，以符号表示。 r: 微镜头 光轴和主镜头光轴的距离。 : 获得的光线束和光轴所形成的的角度。 此时 ，像素所获得的光线束是平行光，对于 光轴 =ar
9、ctan(- q/f)以此相交 光线束的直径a? cos，位置为主镜头光轴到微镜头阵列面r 的距 离 像素所占面积和，图像传感器面和微镜头阵 列面的距离，按照一般情况来考虑和计算的话， 比较复杂 ，但是按照相同的顺序的计算是可行 的。 图8中是移动加算法和光线束投影所形成的映射图像的比 较图8(a) 为样品图像整体图中的前方参照范围是从 Lytro 开始 30cm 左右 ，后方参照范围是2m左右的距离 (b) 和(c)进行比较 ，光线束投影形成的映射图像的解像度较 高另外 ，包括此实验在内，为了分析Lytro 的输出文 件，用到了开源的lfptool . 5. Web 图像映射 用 Lytro
10、摄影后，将主机与电脑连 接， 经过 数十秒的 处 理时间 ，形成个文件一个为图3 所示 图 像感 应器生成的原生图 像另一个是由复 数 JPEG图像和2020 像素的深度 图像打包到 一起的文件 复数的JPEG图 像分 别是最靠前合焦的图 像，中 间 位置合焦 图像和最靠后合焦图 像等焦点 位置不同的图像。 图像的 总张 数是按照 场景的 纵 深决定的， 纵深大的 图像 10 张左右， 纵深小的 4 张左右。 这些焦点位置不同的图 片，在相机连接 到电脑时 借由 软件进 行纵深调整形成光 场映射。 利用 这些复数的 JPEG图像和 纵深图像来生 成 Web 浏览 器可 查看的再聚焦 图片 Ly
11、tro将拍 摄的图 像生成 Web 图像的同 时可以用鼠 标点 击任 意希望聚焦位置，进 行重新聚焦其反应时间 非 常短另外如第4 章所 说明的映射方法，虽 然不 是特 别复杂 ，但是也不能做到即时实 施 鼠 标 所 点 击 位 置 的 距 离 测 量 处 理 也 很 必 要 为 了让 Lytro能够即时 生成重聚焦 图像，要 重新根据焦点不同的数张 JPEG图像和 1 张纵 深 图像进 行计算 图 9，表示推 测出的 Web 的重聚焦 图像的 结 构用 户 在图像上点 击位置 进 行再聚焦，到指定 被摄 物之 间的距离要从纵深图 像中 读 取将从此 深度附近抓取两张焦点接近的JPEG图像再聚
12、 焦图 像是把 这些图 像的中 间值图 像进 行适当的加 重然后平均化后生成的图像 2 张 JPEG图像加重平均 处理，中 间图 像为 根 据其所模糊的图像 为 了改善中 间图 像，要用到 焦点位置分 别不同的3 张 JPEG图 像，就可以 强调 中 间图 像高 频范围2 张的合成， 3 张的合 成，此 处说讲 的处理并不是非常高深的事情在 Web 浏览 器上 实现 即时处 理是可行的 6. Lytro的课题 Lytro是划 时代的相机但是还停留在未来 性的相机上，并没有普及到一半消费者在此 说 一下 关 于 Lytro 的几点 课题 最大的 课题 ，最 终图 像的像素或者说解像度 太小一个微
13、 镜头 的直径覆盖10 个像素，相比 一般的相机尺寸要小10 倍，横 竖像素数只有十 分之一而且Lytro对图 像感 应器的像素的利用 率也不好 Lytro的图像感 应器 3280 3280 像 素，微 镜头阵 列是330 380，每个微 镜头 所分 到的像素是85.8 个像素另外，从图 3 来看， 微镜头 所用到的有效像素大约是 50 个像素所 以有 40%左右的像素就用不到了 微镜头边界上的像素无法使用，微镜头周 边的像素所记录的光线的质量较差 如图 10，表 示了微镜头所对应的5处的像素所构成的小图 像此原稿的画质很难详细确认、 1-3 的图像光鲜 明亮，相比起来1-1的图像整体偏红，摩
14、尔纹和噪 点能看到 光量 也较少 3-3 的图像整体偏蓝，同 1-1 一样画质不好，有摩尔纹和噪点 Lytro 的在对焦功能能够很好使用的话， 就 要习惯于 Lytro Lytro 的主镜头直径约25mm ， 图像感应器4.6mm 4.6mm 要用这个尺寸的 镜头和图像感应器体验郊外模糊感觉的话， 就 要在正常的构图中，使用近摄等（微距摄影 ） 方法 所以正常的拍摄并不能充分发挥Lytro 的 性能 拍摄后的再聚焦功能， 并不是静止画 面，也可能会是动画摄像 现在的 Lytro 要针对各个框体内进行各种校 准 最关键的校准是图像感应器和微镜头阵列 的定位 如果此项不能正确的重合，就不可能 有高品质的图像映射