《第五章数字视频基本概念.ppt》由会员分享，可在线阅读，更多相关《第五章数字视频基本概念.ppt（71页珍藏版）》请在三一文库上搜索。
1、第五章 数字视频基本概念,内容,模拟视频 数字视频 计算机合成视频(计算机动画),一、模拟视频,什么是视频?,视频(video)：随时间变化其内容的一组图象(24,25, 30帧/秒)，又叫运动图象或活动图象(motion picture)。 常见视频信号：电视，电影，动画等. 视频信号的特点： 内容随时间而变化, 伴随有与画面动作同步的声音(伴音), 人类接受的信息70%来自视觉, 其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。 视频信息的处理是多媒体技术的核心。,电 视,3种彩色电视制式: NTSC制(正交平衡调幅制), 美国、加拿大，台湾、日本、韩国、菲律宾等采用 P
2、AL制(逐行倒相正交平衡调幅制), 德国、英国，中国、朝鲜等采用 SECAM制(顺序传送彩色与存储制), 法国、苏联及东欧国家采用.,电视图象摄取、传输和重现的过程,拍摄图像和播放图像都采用“光栅扫描”(raster scan)的原理。,摄象机摄取景物时，把自然景物的颜色分解为R,G,B 三个分量,在彩电信号传输中，用Y,C1, C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关。,电视接收机把Y,C1, C2信号重新转换为R,G,B进行显示.,视频信号,t,White(0.714V),Black(0.055V),Blank(0. V),Sync(-0.286V),光栅扫描(
3、raster scan),隔行扫描(interlaced,电视图象采用),逐行扫描(progressive,计算机显示图象时采用),625,视频信号的空间特性,575,(PAL),485,525,(NTSC),vertical resolution,aspect ratio ( 4:3 or 16:9 ),视频信号的时间特性,动作连贯性感觉的要求：帧频=15f/s； 无闪烁感觉的要求：画面刷新速率必须=每秒50次。 PAL制式： 帧频为25 帧/s, 场频50场/s； NTSC制式：帧频是30 帧/s, 场频是60场/s 电视扫描信号的行频： PAL：625 x 25 = 15.625 kHz
4、 ，周期为64s ; NTSC：525 x 30 = 15.75 kHz，周期为63.5s,视频信号的时间特性,模拟信号传输电视节目时的带宽： PAL制式是8.0MHz（亮度信号为5.5 MHz，2个色度信号均为1.8 MHz）， NTSC制式是6.0MHz（亮度信号为4.2 MHz，2个色度信号均为1.0 MHz）。,全屏光点总数: 575*(4/3)*575=440 kb (P) 484*(4/3)*484=310 kb (N),视频信号最高频率: 440 k * 25/2 = 5.5MHz(P) 310 k * 30/2 = 4.65MHz(N),电视信号的彩色空间,在彩色电视中，用Y、
5、C1, C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）。 C1，C2的含义与具体的电视制式有关:,电视信号的彩色空间,YUV空间 (PAL) 亮度分量 Y=0.3*R+0.59*G+0.11*B 色度分量 U=(B-Y)*0.493 色度分量 V=(R-Y)*0.877 YIQ空间 (NTSC) 亮度分量 Y=0.3*R+0.59*G+0.11*B 色度分量 I=0.6*R-0.28*G-0.32*B 色度分量 Q=0.21*R-0.52*G+0.31*B (优点：与黑白电视兼容；有利于压缩信号带宽),电视信号的彩色空间,Y
6、CbCr是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。 Y值的额定范围在16-235之间， Cr和Cb在16-240之间，具体的转换公式如下： Y = (77/256)*R+(150/256)*G+(29/256)*B Cr=(131/256)*R-(110/256)*G-21/256)*B+128 Cb=-(44/256)*R-(87/256)*G+(131/256)*B+128,视频信号种类,（1）复合电视信号,复合电视信号(composite video signal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号. 复合
7、电视信号 适合于进行远距传输，其质量称为VHS（家用级)。,0.0 1.25 4.83 5.75 6.0,NTSC复合电视信号的调制,为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。 CVBS =Y + I*Cos(Fsc*t) +Q*Sin(Fsc*t) 伴音信号与视频信号也复合在一起传输。,6 MHz (NTSC),图象载波,声音载波,色度副载波,6MHz,4.2MHz,（2）分量电视信号,为保证视频信号质量，近距离时可用分量视频信号(component video signal)传输, 分量信号是指每个基色分量( R,G,B 或 Y,U,V )作为独
8、立的电视信号传输。 (Betacam，广播级或专业级). 视频节目制作时使用的是分量视频信号 计算机输出的视频信号，是分量形式的视频信号。,（3）S-Video信号,S-Video是亮度(包含同步信号)和色度(2个色度信号复合在一起)互相分离的一种电视信号，优点： 减少亮度信号和色度信号之间的交叉干扰； 不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。,S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。 S-Video使用4针连接器,视频信号接口,视频信号接口,二、数字视频,为什么使用数字视频？,易于编辑、修改等操作处理 用户接收的
9、图像质量更好(可达演播室水平) 有利于存储，信息复制不会失真 有利于传输(抗干扰能力强) 节省频率资源(占用频道较窄) 可以通过公共电信网和计算机网传输 可以与其它媒体组合使用 可以生成描述信息（bits about bits）,便于信息的检索和使用,2 视频信号的数字化,视频信号数字化过程:,亮度信号 的取样频率: 13.5MHz,U,V色度信号 的取样方式有 多种不同格式,亮度信号的取样（CCIR601）,ITU-R BT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。 每一行的像素数目: PAL: 13.5MHz = 62525N =
10、 15625N, N=864 NTSC: 13.5 MHz = 52530N = 15734N, N=858 有效（可显示）像素 均统一为：720,色度信号的取样（CCIR601）,人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。 色度信号的取样频率有4种:,色度信号的4种取样格式,名称 亮度(Y) 色度(Cb, Cr) (行数/帧) (像素/行) (行数/帧) (像素/行) 取样格式 CCIR601 576 720 576 360 4:2:2 CIF 288 360 144 180 4:2:0 QCIF 144 180 7
11、2 90 4:2:0 SQCIF 96 128 48 64 4:2:0,常用数字视频信号的规格,(CCIR601 ITU-R 601),亮度的取值范围: 16(黑) - 235(白) 色度的取值范围: 16 - 240,数字视频的记时,当使用失落帧时间码时，系统对除了每十分钟以外的每分钟的头两帧重新赋给序号。 Drop-frame timecode: 00;02;51;20 Non-drop-frame timecode: 00:02:51:20 为什么？ 如果计时基准为30fps： 30fps60秒1800帧 如果计时基准为29.97fps： 29.97fps60秒1798.2帧 对于一段1
12、分钟的视频，30fps和29.97fps的视频帧数的差别为： 1800-1798.21.8帧，或约为两帧,3 常见数字视频格式,数字电视标准,数字电视是用数据压缩技术和数字传输技术的远程通信系统。目前用的最多的是卫星数字电视、地面数字电视和有线数字电视。 使用制式有美国ATSC DTV、欧洲DVB、日本的ISDB 数字电视图像格式 SDTV EDTV HDTV,三、计算机合成视频(计算机动画),什么是计算机动画？,计算机动画是采用计算机生成可供实时演播的一系列画面的一种技术。所生成的画面系列可在计算机显示屏上演示，也可转换成视频信息输出。 与模拟电视信号经数字化得到的自然数字视频相比，计算机动
13、画是一种合成数字视频。 计算机动画综合利用计算机科学、艺术、数学、物理学和其他相关学科的知识，用计算机生成绚丽多彩的连续的虚拟画面，给人们提供了一个充分展示个人想像力和艺术才能的新天地。,计算机动画分类,Simulation Animation 三维动画 二维动画,计算机动画的历史,1963年Bell实验室制作了第一部计算机动画片(二维)。 三维计算机动画的研究始于七十年代初，八十年代中后期进入实用化。 九十年代初，计算机动画应用于电影特技，如1993年“侏罗纪公园”取得轰动性效应，获得了该年度的奥斯卡最佳视觉效果奖。 1996年，世界上第一部完全用计算机动画制作的电影玩具总动员上映, 199
14、8年放映的电影泰坦尼克中，船翻沉时乘客的落水镜头有许多是采用计算机合成的，从而避免了实物拍摄中的高难度、高危险动作。,计算机动画的应用,应用领域涉及娱乐、电视、教育和科研各方面, 例如: 影视领域中电影特技、片头制作、动画片制作、基于虚拟角色的电影制作等； 商业：电视广告制作，电子商务； 教育领域中的辅助教学、实验示教及集娱乐与教育于一体的教育软件； 科学研究领域中，用于科学计算可视化，复杂系统工程中动态模拟； 军事领域中的军事训练、作战模拟、训练模拟； 娱乐行业，各种高档、大型游戏软件等。,传统动画制作过程,所谓动画，是指利用人的视觉残留特性使连续播放的静态画面相互衔接而形成动态效果。 传统
15、卡通动画的制作过程： 导演将剧本分成一个个分镜头， 由高级动画师确定各分镜头的角色造型，并绘制出一些关键时刻各角色的造型。 由助理动画师根据这些关键形状绘制出从一个关键形状到下一个关键形状的自然过渡，并完成填色及合成工作。 依次拍摄这一帧帧连续画面，就得到了一段动画片段。,计算机动画制作过程,计算机动画是在计算机中建立景物的模型、设置它们的运动、生成逼真图像并转换成视频信号的过程。 三维计算机动画制作过程分以下几个阶段： （1）建模（造型） （2）确定颜色和材质(纹理) （3）设置灯光和摄像机位置 （4）描述和设置动画要求 （5）图像绘制（rendering） （6）输出动画结果,动画制作方式
16、,OpenGL,Direct3D,操作系统,3ds max,Maya,Flash MX,（）建 模,使用建模工具直接进行建模 patch可生成直纹面； skin可由多个不同的截平面线构造物体； revolve可由母线旋转成一个旋转体； boundary可由三条或四条边界构造曲面； round可直接生成三个面相交处不同半径的圆角。 使用基本几何形体，如球、柱、锥、台、立方体等，通过调整曲面上的控制点或编辑点来进行所需要的造型，亦可通过布尔运算进行实体造型。,(2)颜色和纹理的确定,颜色的设定： 确定中间色、高光色、自发光色、透明色、反射区颜色等。 调整高光区大小，高光区与中间色区过渡、反射率、折
17、射率、反射次数、折射次数等。 使用本色贴图、高光区贴图、透明区贴图、白发光贴图、反射贴图、反射率贴图、粗糙度贴图、三维起伏贴图等。 调整贴图参数，可得到金属质感，无高光非金属和高光非金属，自发光等质感。,颜色和纹理的确定,材质(纹理)的设定： 提供许多纹理模板，可直接做为贴图使用，且调整方便，可以做材质渐变的动画。 背景材质:输入的各种素材图像或纹理图像均可作为背景。软件本身提供了若干背景，如天空、地平面、云和太阳组成的自然环境等。,（3）设置灯光和摄像机位置,灯光照耀在物体表面, 显现出物体表面的颜色和质感，然后通过虚拟相机得到最后的图像效果, 这一步与确定颜色和材质交替进行。 在场景中设置
18、灯光的数量,类型和位置。 光源的类型: 环境光、直射平行光、点光、白炽灯光、线光和面光源。每种光源又有多种参数可调，能生成许多特殊效果。如光通过雾气的效果、光的棱镜效果等。 设定虚拟摄像机的位置, 以及推、拉、摇、移和变焦等摄像机运动。,（4）运动的描述和设置,动画是运动中的艺术，运动是动画的要素。 运动（motion）指的是场景中任何一种系列的视觉变化 ，例如: 景物位置、方向、大小和形状的变化， 景物表面纹理、色彩的变化, 虚拟摄像机运动, 其它。,（5）图像绘制（rendering）,图像绘制有多种方法，最常用的是光线追踪法（Ray tracing）和光线投射法（Ray castimg）
19、。它们能自动计算光线在物体间的反射、折射、透明及物体阴影、浓淡，使画面更生动、更逼真。 绘制的动画图像如果是电影用的，每一秒需24帧画面，则计算机必须绘制生成24 x n帧图像（n是持续时间），如果是电视用的，则每秒需25或30帧画面。,（6）输出动画结果,为电视制作的计算机动画必须使用相应的视频卡把计算机图像转换成模拟视频信号，记录在广播级录像带上。 如果是为电影制作的动画，则通过胶片机，把制作的动画图像输出到胶片上。,小结：计算机动画与图形学,场景造型：精度不必像工业设计那样高，但对造型工具的灵活性及景物运动的可控性提出了更高的要求。 提出了针对动画应用而设计的造型技术，如隐函数曲面造型技
20、术和Catmull-Clark离散曲面造型技术等。 由于简单性和兼容性，多边形网格模型在计算机动画系统中得到广泛应用。 绘制：随着动画技术的发展，传统的真实感图形绘制技术必须予以改造，使之满足动画的需要。,运动控制的类型,刚体运动 变形体运动,运动控制的几种方法,关键帧（Keyframing） 关键帧、位置、方向的插值 变形、正向、逆向动力学 计算法(Procedural and Simulation) 运动学 动力学 随机、过程、行为控制 运动捕获技术 重用以前的动作,关键帧动画,关键帧动画是基于动画设计者提供的一组关键帧，自动产生中间帧的计算机动画技术。 关键帧动画制作的步骤: 脚本设计
21、角色定义 关键帧指定 中间帧生成,脚本中定义一系列要发生的运动,脚本设计(Storyboard layout),关键帧说明 Key-frame specifications,关键帧是动画序列中某个时刻的一个详细描述，包括该时刻该场景中所有角色的位置,关键帧之间是中间帧，通常两个关键帧之间有3-5个中间帧,生成中间帧,结果,通过计算进行运动控制,运动控制方法 用于控制(描述)动画形体随时间而运动/变化（形状、样式、行为）的方法主要有: 运动学（Kinematics）方法, 动力学（Dynamics）方法， 物理推导方法, 随机方法, 刺激一响应方法, 行为规则方法, 自动运动控制方法等。,算法动
22、画,算法动画 运动使用变换表（如旋转、大小、位移、切变、扭曲、随机变换、颜色改变等）进行描述和控制，每个变换由参数定义，而这些参数在动画期间可按照任何物理定律（如运动学的和动力学定律）来确定，这些定律可以使用解析形式定义或使用复杂的过程如微分方程的解来定义。,Animation handling,Video post,基于物理的动画,基于物理的动画 采用基于物理的造型，应用物理的定律以及基于约束的技术来推导和计算物体随时间运动和变化的一种计算机动画。,Motion Control System,Demonstration of TRACK, an animation system that i
23、ntegrates the following techniques in a unified framework: direct kinematics (keyframing) inverse kinematics direct dynamics procedural animation: walking and grasping,运动捕获技术,运动捕获的动画数据包括关节运动数据和脸部表情动画数据。 Use sensors to record a real person Get high-degree of realism Which may not be what you want.,(D
24、ancing),人脸动画(Facial Animation),例1 例2 例3,虚拟人,第一，能自动产生计算机生成的人（虚拟角色）的自然行为； 第二，提高运动的复杂性和真实性，其运动的真实性远远超过对机器人运动真实感的要求，既要有关节运动的真实感，又要求在动画过程中，其身体、手、面部等行为动作的真实性； 第三，应减少运动描述的复杂性，特别应能在任务级上进行运动的描述。,Crowd Behavioural Control,Simulation and control of group behaviors using autonomous social agents,a behavioral model,ViCrowd,(football),运动描述的困难,运动富有含义 心情、个性 运动很复杂、很深奥 什么样的运动看上去很悲伤? 描述的成本很高,