《数字视频处理课件4.ppt》由会员分享，可在线阅读，更多相关《数字视频处理课件4.ppt（117页珍藏版）》请在三一文库上搜索。
1、第四章 立体视频(3D Video),4.1 立体视觉基本原理,古埃及壁画,立体视觉,早在五千多年前的古埃及，人们就己经有了对立体成像技术的追求 考古发现当时对人物形象的画法造型，全身侧面造型，唯有双肩体位保持正面 大部分都把脸表达成侧面的姿态，显示出额头、鼻子和嘴唇的轮廓，而眼睛和上身的位置都是正面的，整个人物从头到脚有两次90度的转向,立体视觉,真人或站或坐都无法保持这种姿势，但这种奇特的造型却可使人物具有立体感和厚重感。古代尚且能以此实现立体视觉的梦想，当代的人们就更不满足于平面场景,古埃及壁画,4.1.1 立体视觉定义,立体视觉是人眼在观察事物时所具有的立体感 人眼对获取的景象有相当的
2、深度感知能力（Depth Perception），而这些感知能力又源自人眼可以提取出景象中的深度要素（Depth Cue） 立体视觉的形成因素有两类，一类为生理因素，一类为心理因素,4.1.2 立体视觉的生理因素,双眼观察景物能分辨物体远近形态的感觉 双眼同时注视某物体，双眼视线交叉于一点，叫注视点 从注视点反射回到视网膜上，这两点将信号转入大脑视中枢合成一个物体完整的像。不但看清了这一点，而且这一点与周围物体间的距离、深度、凸凹等等都能辨别出来，这样成的像就是立体的像,单眼视觉,单只眼睛视觉的例子：,单眼视觉,从不同方向(A, B)来的光，落在视网膜的不同区域(a, b)上，因此可以加以辨别
3、，但是由于在同一方向上的所有各点(A1,A2, A3)投射于视网膜的同一区域，则无法确定哪一点更远或哪一点近，因此视网膜点只能表明客体的方向不能表明它的距离,辐辏,眼球的旋转汇聚运动可称之为辐辏（形容视线聚集像车辐集中于车毂一样） 两眼对一观察点的两视线所夹的角称为辐辏角,辐辏,其中a1, a2分别为点Fl和F2的辐辏角。Fl和F2两点远近不同，因此，辐辏角a1, a2也不同，眼球旋转运动的程度也不一样，这样就产生了深度感觉,辐辏,看近处，双眼视轴较集中，看远处物体时，双眼视轴趋于分散；当距离达到一定程度时，双眼视轴接近平行,双眼视差,在观看空间某个对象时，人的双眼就从左右两边稍有差别的角度进
4、行观察，因此被观察的物体在人的左右眼视网膜上所形成的像存在略微的差异，这种差异就是双眼视差。视差的产生是由于人的左右眼之间有一定的距离,双眼视差,双眼视差,把一本书放在眼睛正前方大约25厘米的地方，使书脊朝向人脸并向下倾斜45度角，这时左眼就能看到书的封底，而右眼能看到书的封面。当左右眼视网膜产生的影像同时传向视觉中枢时，人就能感到眼前的这本书有立体感,书脊成像过程,双眼视差,当把书逐渐离开观察者时，书上的每一点相对左右眼所形成的视角就逐渐减小，所形成的视差也就逐渐变小，到达一定距离时，视差消失。物体距离眼睛太远时，就不会产生有深度感的视觉了。所以，物体越近，视差越明显，人眼就是由此获得深度信
5、息的,双眼视差,眼的调节,通过睫状肌的收缩与舒张，晶状体发生凸度和曲率的改变，使视网膜上的像得以清晰，这是保证视差存在的基本条件。假如视网膜上的像是模糊的，这种视差就会小很多，有时甚至会消失，因而形成立体感能力就差得多,双眼立体视觉,双眼视差、眼的调节和双眼的辐辏是人眼立体视觉的生理因素，是以人眼的生理活动为基础的，而不像单眼立体视觉中含有很多的心理（经验）因素,立体显示原理,L和R分别代表左眼和右眼所在位置，S和T在LR的中垂线上，PQLR。双目注视S点，即通过自适应调节聚焦到S点，由于辐辏效应，左右眼中的S合成一点,立体显示原理,点T1和T2分别代表T点在左右眼中形成的2个像，让这2个像互
6、不干扰地进入左右眼，由于大脑已经习惯了看辐辏以后的效果，所以大脑会自动将T1和T2合成T点，和参考点S相比，T点有了纵深的效果，从而产生立体的感觉,双眼单视,物体在两眼视网膜上单独成像，这两个物像是同时产生的，大脑皮层能将这两个物像融合成一个物像，这就是双眼单视 将双眼视觉像融合为一个视觉像的机能称为融合机能,4.1.3 立体视觉的心理因素,立体视觉除了生理因素之外，还受心理因素影响,心理因素线性透视,视线方向上平行线上对应两点随着视距的增大，在视网膜上所成像点的距离线性减小。这种方法常常用在绘画上，用以表现景物的远近深度 当眺望远方时，远处景物看起来尺寸很小,心理因素线性透视,心理因素相对大
7、小,当同时或短时间相继观察两个不同大小的相似或相同形状的物体时，通常感觉比较大的刺激离我们较近，这种线索称为相对大小,心理因素熟悉的尺寸,通常情况下，我们知道周围环境中许多物体的实际大小，所以我们能够根据记忆和观察到的远处此物体现在的大小推测其离我们的距离,心理因素运动视差,当物体相对于观察者而运动时，由于背景连续的光变化，视网膜上的图像也随之不断变化，并通过时间序列的比较，使立体视觉成为可能,心理因素结构级差,大多数物体的表面都以其纹理或结构等微观形式而相互区别。当我们观察具有结构的表面时，随着距离的增加，组成结构的成分的密度越大,心理因素朦胧透视,随着距离增大，景物的对比度降低从而产生深度
8、觉，这就是空气的透视作用 当观看远处弥漫着烟雾的风景照片时，会有一种强烈的深度感觉,心理因素朦胧透视,心理因素朦胧透视,A scene along the coast of California that illustrates atmospheric perspective,心理因素遮挡,遮挡是指一个物体遮蔽了另一个物体的一部分 如果一个物体部分遮挡另一个物体，那么我们就会知觉到完全暴露的物体离我们近 遮挡是判断物体深度秩序的重要条件，但是不能判断事物间的距离,心理因素遮挡,两个物体的前后位置关系会提供相应的深度线索。图中的a, d提供了深度线索。而 b, c没有深度线索,心理因素遮挡,心理
9、因素阴影,阴影是由不透明或半透明物体的阻碍所引起的表面亮度的变化。通常情况下认为暗的部分是由于光线被遮挡，亮的部分是光线的直接照射,心理因素颜色,同一视标由于颜色的不同，有时看起来近，有时看起来远。因此当观察同一个物体时，根据该物体颜色的变化也可以获得该物体深度变化的心理暗示 亮度相同的颜色，波长较长的光线给人近的感觉，波长较短的光线则相反,心理因素视场,大视场更有利于提高立体感和现场感，比如说人们看电影和电视的感觉就不一样,心理因素,电视、电影的立体感会比照片和图片强很多，可能的原因是什么？,立体作品,美国震撼3D壁画展现了一个灾难场景，由于太过逼真，在马上完成时，这幅灾难画引起了消防队的注
10、意，他们甚至停下车，想去采取营救行动,立体作品,立体作品,立体作品,立体作品,立体作品,立体作品,立体作品,立体作品,第四章 立体视频(3D Video),4.1 立体视觉基本原理 4.2 立体电影,立体电影,耗资5亿美元的电影阿凡达，让观看者享受到一种身临其境的震撼视觉体验，成为2010年初最热门的话题，狂卷全球20亿票房，也引爆3D这个名词,4.2.1 立体电影概述,1839年，英国科学家查理惠斯顿爵士根据“人类两只眼睛的成像是不同的”发明了一种立体眼镜，让人们的左眼和右眼在看同样图像时产生不同效果，这就是今天3D眼镜的原理 1922年，世界上第一部3D电影是爱情的力量，遗憾的是，影片很早
11、之前就已经遗失了。早期3D电影都是以展示立体效果为主，常以指向观众的枪、扔向观众的物体为噱头,立体电影概述,1952年，讲述非洲探险的非洲历险记被认定为是史上第一部真正的3D长片。该片的口号是“狮子在你腿上，爱人在你怀里”。尽管生活杂志在当时称该片“廉价、荒谬”，但观众们仍然热情地挤进电影院去体验片中的“自然视角”,立体电影概述,立体电影概述,1953年，恐怖蜡像馆等一批3D恐怖片应运而生，3D片在上世纪五十年代进入了黄金时期 1954年，当时世界上最伟大的导演们，绝大多数都对3D电影低眼相看，认为那只不过是在玩魔术而已，根本不是艺术。然而，希区柯克不这么想，他在1954年拍摄了3D版的电话谋
12、杀案，成为了当时3D片中为数不多的精品,立体电影概述,1962年，我国的天马电影制片厂拍摄了国内第一部3D立体电影魔术师的奇遇，桑弧导演，陈强主演。后来又陆续出现了欢欢笑笑快乐的动物园靓女阿萍侠女十三妹等,立体电影概述,1982年，迪士尼拍摄了短片魔法之旅，虽然这部短片只有16分钟，但通过CGI(Computer Generation Image)与真人表演的混合，打造出了在当时令人惊讶的3D效果 1982年，13号星期五第三部上映，令80年代的3D电影慢慢复苏,立体电影概述,1983年，3D版的大白鲨第三集轰动一时，放映首周就赚得1300万美元的票房。但因为电影本身水准低下，3D效果也无过人
13、之处，很快就让观众失去了兴趣 1985年，魔晶战士成为世界首部3D动画长片,立体电影概述,2004年，第一部IMAX 3D长片极地特快诞生。该片在2000块普通2D银幕上放映，3D IMAX银幕只有75块。然而就是这75块3D IMAX银幕，获得的票房占全片总票房的百分之三十。3D+IMAX的“超强组合”，让发行方看到了巨大的商业潜力,极地特快,立体电影概述,2005年，迪士尼的动画片四眼天鸡 (鸡仔总动员)采用了新型投影技术放映，减轻了以往看3D电影时容易产生的眼睛疲劳,立体电影概述,2008年，U2 3D演唱会是第一部完全用3D摄影机拍摄的真人影片，这个音乐纪录片堪称先锋,立体电影概述,2
14、009年，环球影业的动画片鬼妈妈是第一部采用停格动画形式的3D电影,立体电影概述,2009年，阿凡达成为有史以来制作规模最大、技术最先进的3D电影。阿凡达（Avatar）是一部科幻电影，由著名导演詹姆斯卡梅隆执导，二十世纪福克斯出品。该影片预算超过5亿美元，成为电影史上预算最高的电影,立体电影概述,大卫斯莱德执导的暮光之城3：月食于2010年6月30日上映，影片采用3D IMAX技术 暮光之城4：破晓上集于2010年秋季开拍，并于2011年11月在北美上映，暮光之城4：破晓下集则将在2012年11月上映,立体电影在中国,3D电影在国内大范围上映实际始于2008年的地心历险记。近在咫尺的细微生物
15、、呼啸而过的珍奇异兽、过山车般身临其境的美妙感觉100元的高昂票价和前所未有的视觉冲击力，让该片在有限的80块3D银幕放映27周，票房达6700万元，平均每块银幕票房80万元,立体电影在中国,以票房3.2亿元的赤壁(上)为例，它在3600块银幕放映合每块银幕票房8万多元。比较两部影片，3D电影平均银幕票房数是普通影片的10倍！“卖一部电影的票房就收回了放映设备的投入”，堪称奇迹,立体电影在中国,一系列引进的3D大片掀起了3D热潮，国内众多院线纷纷扩建、更新放映设备，力推3D电影。08年中国的3D银幕数量还只有86块，一部地心历险记6700万的票房极大的刺激了各院线老板的胃口，纷纷上马升级3D银
16、幕和设备，到暑期冰河世纪3上映之时，中国的3D银幕数量已经迅速发展到350块,立体电影在中国,阿凡达上映之时，中国的3D银幕数量将突破600块，成为紧随美国之后的全球第二大3D电影市场。中国3D银幕数量2010年是1300块，直追美国目前的2000多块,立体电影在中国,中国3D电影市场一不留神成为全球第二，成长速度可谓一日千里。同时，一批优秀的影视、动画工作者也投入到了3D电影的制作。中国第一部真人实景拍摄的3D电影乐火男孩已于2009年8月上映，开创了国产3D电影的先河,观看距离,与传统电影的观看方式会有不同，由于3D电影技术的目的是让人感到身临其境，所以在影院观看时，坐在前排要比坐在中后排
17、的位置的效果好。由于前排距离银幕近，视角大，画面会将眼球转动的范围完全覆盖，让人会有身处电影环境之中的完美感觉,眼球的适应,初看3D电影的观众，偶尔会感到看不到3D效果，或是立体效果不明显，这种现象的根本原因可能与戴上了眼镜这种观看方式有关，毕竟影院所提供的眼镜是大众尺寸的，不舒服的感觉和镜片的距离等方面的因素，分散了观影的注意力,4.2.2 IMAX,IMAX(Image Maxium)是加拿大的IMAX集团所研发的一种巨型银幕电影 除了一般的IMAX影片之外，IMAX后来又发展出了IMAX 3D技术，所以IMAX电影并不一定是3D立体电影,IMAX,3D立体电影设计是通过观众所戴的3D立体
18、眼镜分别接收左右眼影像后呈现成3D立体的效果 传统的3D胶片技术，将左右眼视觉影像同时存放在同一个胶卷中，而IMAX 3D技术不仅使用世界最大的IMAX底片，并且使用双胶片分开录制、播放左眼及右眼的影像，使得影像更立体清晰，色彩也更鲜明,IMAX,使用Imax 3D影片时，Imax摄影机装有两个相同的镜头，镜头间距正好是人眼间距65mm，两幅图像被分别记录到两条同步运行的空底片上。在Imax 3D影院，专用的Imax 3D立体放映机分别把左右两条影片上的图像通过一对放映镜头放映到巨幕上,立体电影拍摄,数字立体电影拍摄,IMAX,Imax胶片采用独特的70mm横排以造成巨幅效果。如图所示为几种常
19、见的电影胶片，从左到右分别是：70mm Imax胶片（仅一个镜头的胶片）、70mm胶片、35mm胶片（电影院里看的电影，几乎全部是用35mm胶片放映的）、16mm胶片。（前些年还有8mm胶片，不过已经绝迹了）这些胶片是按照宽度来命名。除了Imax，其他胶片都是竖着放映的,Imax 3D胶片与其他胶片的区别,Imax 3D胶片与其他胶片的区别,4.2.3 立体电影的观看方式,立体电影的观看方式主要有：色分法、时分法、光分法等,4.2.4 色分法,色分法是把两幅具有适当视差的同一景物分别制成红色和绿色图像，再把这两幅图像组合在一起 红绿立体形成的基本原理就是将左右图像用红绿两种补色同时显示出来并用
20、相应的补色观察，即分别用红色绘出左眼图像，用绿色绘出右眼图像,色分法,观察者戴上红绿眼镜观看，其中的红色镜片滤掉绿色图像，看到红色图像，绿色镜片滤掉红色图像，看到绿色图像。这样，观察者的每个眼镜就只能看到一个图像，就实现了分像。因此通过红绿眼镜将具有视差的两张图各自反映到大脑，使人产生逼真的立体感,色分法,色分法,目前较为常见的滤光片颜色是红蓝、红绿或者红青，目前采用这种技术的影院已经越来越少了，毕竟跟不上用户体验度的需求 优点：技术难度低，成本低廉 缺点：3D 画质效果不理想，画面边缘容易偏色,色分法,4.2.5 时分法,时分法的技术原理是在发送端用两台摄像机，模拟人的左、右两眼进行摄像，产
21、生一对视差图像信号，编码成一路信号进行传送。接收端解码成两路信号，在屏幕上同时显示两幅图像，由人的两眼分别观看，从而获得立体感 左右眼的视图在不同时刻无交叉地交替显示,时分法,时分法需要显示器和3D快门式眼镜的配合来实现3D立体效果。时分法所采用的立体眼镜构造有些复杂，当然成本也高。两个镜片都采用电子控制，可以根据显示器的输出情况进行状态的切换，镜片的透光、不透光切换使得人眼只能看到对应的画面（透光状态下），双眼看到不同的画面就能够达到立体成像的效果,时分法,优点：应用得最为广泛，资源相对较多 缺点： 戴上眼镜之后，亮度减少较多 3D眼镜快门的开合在日光灯作用下与左右图像不完全同步，会出现串扰
22、重影现象 快门式3D眼镜相对较贵，并且需要安装电池或充电使用,4.2.6 光分法,光分法立体电影是用两个镜头如人眼那样从两个不同方向同时拍摄下景物的像，制成电影胶片；在放映时，通过两个放映机，把用两个摄影机拍下的两组胶片同步放映，使这略有差别的两幅图像重叠在银幕上，这时如果用眼睛直接观看，看到的画面是模糊不清的,光分法,要看到立体电影，就要在每架电影机前装一块偏振片，它的作用相当于起偏器，从两架放映机射出的光通过偏振片后，就成了偏振光，左右两架放映机前的偏振片的偏振化方向互相垂直，因而产生的两束偏振光的偏振方向也互相垂直，这两束偏振光投射到银幕上再反射到观众处，偏振光方向不改变,光分法,通过眼
23、镜的过滤，把分离后的左右影像送到各个眼睛，大脑再把这两个影像合成3D立体感 其他立体显示方法都有晕眩感，观看半小时以上需要中间休息以缓解视力疲劳，而光分法则没有，因此具有独特的优点,第四章 立体视频(3D Video),4.1 立体视觉基本原理 4.2 立体电影 4.3 立体电视,4.3.1 立体电视的发展,4.3.2 立体电视技术,需要辅助眼镜 左右眼图像的偏振光调制技术：被动式，采用偏振片，不同偏振方向的光进入不同的眼睛。采用隔行扫描，分辨率受限 时间域调制技术：主动式，同一位置不同的时间给出两个图像。左眼图像出现时，右眼眼镜关闭，右眼图像出现时，左眼眼镜关闭。采用逐行扫描，分辨率较高，可
24、实现真正的1080p,立体电视技术,无需辅助眼镜-裸眼3D 裸眼直视自动立体显示技术，该类技术主要通过光学系统将左右眼图像分别在空间不同方向进行传播，从而在特定位置使左右眼观看到不同图像内容来实现立体显示,被动偏振眼镜式,一部分3D液晶电视采用了被动偏振眼镜式。在屏上，另有一层偏振导向膜，交错将每一行的光线偏振方向做方向扭转，奇数行扭转到与左眼镜片偏光方向相同的角度，偶数行扭转到与右眼镜片偏光方向相同的角度（也可奇数行对右眼，偶数行对左眼）,被动偏振眼镜式,主动偏振眼镜式（快门式）,显示屏高速交替显示左右眼画面，眼镜左右眼也分别高速切换开关，显示左眼画面时，眼镜左眼打开右眼关闭，显示右眼画面时
25、，眼镜右眼打开左眼关闭。所有的等离子3D电视和一部分液晶3D电视使用这种技术形式 目前三星、LG 、SONY等厂商所推出的3D电视主要使用的就是这种3D显示技术,主动偏振眼镜式,主动偏振眼镜式,通过提高画面的快速刷新率（至少要达到120Hz），左眼和右眼两个60Hz的快速刷新图像才会让人对图像不会产生抖动感，并且保持与2D图像相同的帧数 优点：资源相对较多，厂商宣传推广力度大，3D效果出色 缺点：快门眼镜价格昂贵,主动偏振眼镜式,裸眼式柱状透镜式,在屏表面上有一道道紧密排列的半圆柱形透镜，利用这些柱镜的折射角度不同，将左右眼的图像分开 优点：不需要眼镜，使用方便，制作成本相对较低，亮度较高 缺
26、点：分辨率损失较严重，2D兼容性不好,裸眼式柱状透镜式,裸眼式平行光栅式,在屏前或屏与背光板之间再加一层遮蔽物，把部分方向的光线遮住，只让某些角度的光线可以发出去，将左右眼的图像分开 优点：不需要眼镜，使用方便，如果遮蔽物使用可以切换状态的材质，则可以很好的兼容2D 缺点：制作成本相对较高，亮度较低，分辨率损失也较严重,裸眼式平行光栅式,多视点技术,如图(a)所示，视区1表示观看者眼睛位于该视区时只能看到第一幅视差图像；同理视区2表示观看者眼睛位于该视区时只能看到第二幅视差图像。当观看者左眼位于视区1而右眼位于视区2时，就能感知到立体图像,多视点技术,若观看者水平移动一定距离就会使得左眼位于视
27、区2而右眼位于视区1，从而产生伪立体（赝立体）。采用双视点技术，观看者只能在相对固定的位置观看到立体图像，缺乏自由度,多视点技术,为了给观看者提供较大的观看自由度，可采用多视点技术 所谓多视点技术，即有N（N2）幅视差图像信息 N幅视差图像交错排列在平板显示屏上，借助光栅的分光作用，当观看者水平移动时，总有两个最佳视差图像进入左眼和右眼，从而形成立体视觉,多视点技术,多视点技术中也存在伪立体，即左眼位于视区N而右眼位于视区1时，但相对于双视点技术而言，伪立体视区要小得多,2D到3D图像转换技术,转换的核心工作主要由两部分构成：识别出物体和背景、深度赋值,立体电视面临的问题,无比混乱的市场可以说
28、是3D市场目前面临最大的难题。作为一种新型的显示技术，3D技术目前正处于蓬勃发展的阶段，但是整个3D行业却无统一标准，不仅消费者晕头转向，有些厂商的技术人员也为之头疼,立体电视面临的问题,3D画面长时间观看很容易出现头晕、头痛。另外，电影院内光线比较暗，观众瞳孔自然就会放大，3D画面对于眼睛刺激性也特别大，眼压也会随之升高，出现眼干、眼痛等症状,立体电视面临的问题,想看1080p高清视频？网上随便一搜便琳琅满目。但是3D内容呢？虽然支持3D的游戏已经多达百款，但是每年在影院放映的3D电影还寥寥无几，其他诸如3D图片等资源更是为数稀少，在这种情况下，消费者又有什么理由耗费数倍的价钱去购买一款“华
29、而不实”的产品呢？,立体电视面临的问题,真正的3D电视应该是裸眼就可欣赏到3D效果的，但目前已知的3D电视产品基本都需戴专门的3D眼镜才能观看。在裸眼3D电视真正成熟之后，3D电视才可能普及。否则，不单是3D眼镜的售价高昂，一些近视人群的佩戴舒适度等因素都将阻碍3D的推广,立体电视发展动态,三星电子于2010年1月27日正式宣布，开始大批量的生产3D LED电视和3D LCD电视 三星高端超薄LED 8000系列65寸3D电视,立体电视发展动态,2010年1月，松下公司宣布已经开发出全球最大的152英寸、拥有4K*2K超高清分辨率、支持3D显示的等离子电视,立体电视发展动态,英国天空电视台(British Sky Broadcasting)2010年开通欧洲首家3D电视台，对阿森纳Vs曼联的英超重头戏进行3D现场直播 中国中央电视台将于2012年开通3D频道,