图像视频技术.ppt

《图像视频技术.ppt》由会员分享，可在线阅读，更多相关《图像视频技术.ppt（98页珍藏版）》请在三一文库上搜索。

1、图像视频技术,图像视频处理简图,主要内容,图像基础 图像获取-CCD摄像机 图像视频编解码标准 彩色电视制式PAL制、NTSC制 监控系统,图像基础（数字图像）,数字图像表示 （1）紧凑矩阵表示,（2）传统矩阵表示形式,数字图像表示,表示数字图像所用的坐标,灰度图像（单色图像） 如果在灰度图像中，像素灰度级用k bit表示，所以每个像素都是介于黑色和白色之间的2k种灰度中的一种。灰度图像只有灰度颜色而没有彩色。,空间分辨率和灰度分辨率 （1）空间分辨率：图像空间中可分辨的最小细节。一般用单位长度上采样的像素数目或单位长度上的线对数目表示。 对一幅图像采样时，若每行（即横向）像素为M个，每列（即

2、纵向）像素为N个，则图像大小为MN个像素。,不同采样点数对图像质量的影响 （a）原始图像(256256)；（b）采样图像1(128128)；（c） 采样图像2(6464)； （d）采样图像3(3232)； （e）采样图像4(1616)；（f） 采样图像5(88),总结：对一幅图像，当量化级数k一定时，空间分辨率越高，图像质量越好；空间分辨率越低，图像质量越差，会出现棋盘模式。,空间分辨率和灰度分辨率,（2）灰度分辨率：图像灰度级中可分辨的最小变化。一般用灰度级或比特数表示。 L=2k 当一幅图像有2k灰度级时，通常称其为k比特图像；或称2k灰度级图像。 存储一幅M*N数字图像所需的空间大小 B

3、=M*N*k bit,不同量化级别对图像质量的影响 （a） 原始图像(256色)； （b） 量化图像1(64色)； （c） 量化图像2(32色)； （d） 量化图像3(16色)； （e） 量化图像4(4色)； （f） 量化图像5(2色),总结：当图像的采样点数一定时，采用不同量化级数的图像质量也不一样。灰度分辨率越高，图像质量越好；灰度分辨率越低，图像质量越差，量化级数最小的极端情况就是二值图像， 图像出现假轮廓。,彩色图像基础,为了定量的描述颜色对人眼的视觉作用，可以选用与视觉特征有关的量：亮度、色调、色饱和度作为颜色的3个基本属性。 (1)亮度是指人眼感觉光的明暗程度。光的能量越大，亮度越

4、大。 (2)色调是彩色最重要的属性，决定颜色的本质，如红、橙、黄。 (3)饱和度是指颜色的深浅和浓淡程度，饱和度越高，颜色越深。饱和度的深浅和白色成反比，白色成分越多，饱和度越低,三基色原理,1、任何一种彩色都可以由三种基本彩色光混合产生，任一种彩色都可以分解为三种基色。 2、将三基色按不同比例合成可以引起不同的彩色感觉。合成彩色的亮度由三基色之和决定；而色度（色调和饱和度）由三基色之比例决定。 3、三个基色必须是独立的。一般用红、绿、蓝作三基色,彩色图像基础,每种基色的取值范围是0255 因此可组合成1677(256*256*256)万种不同的颜色， 常见的7种颜色及其对应的R，G，B值见下

5、表：,RGB彩色模型,RGB的彩色模型： 1. 每个分量是其3原色之一 2. 由3原色可以组成其它颜色 3. 对于24比特彩色，可以构成16777216种颜色 计算机、摄像机等均采用此彩色空间,RGB图像和与之对应的色调、饱和度、亮度分量,YUV彩色模型,Y指亮度(Brightness),即灰度值 U和V也指色调，不同于YIQ的I和Q 用于彩色电视广播，被欧洲的电视系统所采用（属于PAL系统） Y分量也可提供黑白电视机的所有影像信息,YIQ彩色模型,Y指亮度(Brightness),即灰度值 I和Q指色调，描述色彩及饱和度 用于彩色电视广播，被北美的电视系统所采用（属于NTSC系统） Y分量可

6、提供黑白电视机的所有影像信息,YCrCb彩色模型,Y指亮度(Brightness),即灰度值 Cb和Cr由U和V调整得到 JPEG采用的彩色空间,摄像机,摄像机的分类,按光电转换器件分类： (1) 光电导摄像管 (2) 固体光电传感器CCD （Charge Couple Device） ：发展的趋势，不论广播级或业务级，均为CCD取代摄像管。,什么是CCD？,CCD是电耦合器件（Charge Couple Device）的简称 当被摄物体反射光线，传播到镜头，经镜头聚焦到CCD芯片上，CCD根据光的强弱积聚相应的电荷，经周期性放电，产生表示一幅幅画面的电信号，经过滤波、放大、整形、DSP（数字

7、信号处理）等一系列处理，通过摄像头的输出端子输出一个标准的复合视频信号。 目前彩色摄像机和黑白摄像机技术以日本的SONY公司生产的芯片最为领先。其他的芯片生产商有日本的SHARP、PANASONIC、韩国LG、SAMAUNG等。,摄像机的基本组成框图,摄像机组成,一、镜头系统 二、主机 包括五部分：摄像头、视频信号处理单元、同步信号发生器、编码器、供电系统 三、寻像器 四、电源 五、传声器 六、通讯系统 摄像机电缆、支撑系统等,1.摄像头：内部光学系统，摄像器件，预放电路和电子快门。 (1) 内部光学系统:色温滤色镜和分光系统组成。 (2) 摄像器件:摄像管或CCD。CCD的尺寸一般有2/3英

8、寸和1/2英寸两种。 (3) 预放电路:要求放大信号噪声低、增益高（90dB）、频带宽。 (4) 电子快门:用于室外高亮度情况下拍摄快速运动的物体。有的摄象机还具有清晰度扫描开关,用于拍摄计算机屏幕。（如DXC-537摄像机）,例：面CCD,2.视频信号处理单元 视频信号处理单元，包括各种电子补偿、电子校正电路和调整、控制电路。如黑斑校正、孔阑校正、彩色校正、杂散光校正、校正、黑白切割、电缆补偿等以及光圈自动调整、黑白平衡调整、黑电平调整、重合调整、增益控制等。,3.同步信号发生器 同步信号发生器产生一个同步信号，保证整个系统同步工作。摄像机需要的同步信号可由内部同步信号发生器供给，也可用外部

9、输入的同步信号或用一个外同步信号来控制该机的内同步信号，（称为同步锁相或台从锁相）因而摄像机的同步有内同步、外同步或同步锁相三种不同方式。,4.编码器 将红绿蓝三种信号编码，以适用于传输和适应与黑白电视相兼容的需要。三种不同的彩色电视PAL、NTSC、SECAM各有其不同的编码器，到达接收机后使用相应的解码器还原出三基色图像。输出信号的方式：VIDEO OUT ；Y/C；RGB；Y、B-Y、R-Y 。,5.供电系统 输入到摄像机中的电源都是12V直流电，而摄像机中各个部件所需电压不尽相同，因此，摄像机中都有一套供电系统，负责把12V电压转换成其他各种不同的电压，以供不同之需。,按照成像色彩划分

10、 CCD 摄像机按成像色彩划分为彩色摄像机和黑白摄像机两种。 按照分辨率划分 按照分辨率划分为25 万像素左右，低档型；25 万至38万像素之间，中档型；38 万像素以上，高档型。 按照摄像机灵敏度划分 按照灵敏度可分为最低照度1 至3lux 的普通型；0.1lux 左右的月光型；0.01lux 以下的星光型，采用红外光源成像的红外照明型，可以为0Lux。,CCD摄像机的分类,按照CCD 靶面尺寸划分 摄像机摄像器件（CCD）的尺寸分为1 英寸、1/2 英寸、1/3 英寸、1/4 英寸等。其中以1/3” ，1/4” ，1/2”，最为常见。 CCD 尺寸 水平（mm） 垂直（mm） 对角线（mm

11、） 1 英寸 12.7 9.6 16 2/3 英寸 8.8 6.6 11 1/2 英寸 6.4 4.8 8 1/3 英寸 4.8 3.6 6 1/4 英寸 3.6 2.4 4 一般来说，大的CCD 芯片，其相应的象素面积也较大，接收所摄光的面积增大，必然使象素输出电荷增多，灵敏度上升，在弱光条件下具有较好的拍摄能力，容易使摄像机整体质量提高，图像细部明显细腻自然。, 按扫描制式划分 PAL制与NTSC制。 中国采用隔行扫描PAL制式（黑白为CCIR），标准为625行，50场，只有医疗或其它专业领域才用到一些非标准制式。另外，美国、日本为NTSC制式，525行，60场（黑白为EIA）。 按供电电

12、源划分 110VAC/60HZ（NTSC制式多属此类）， 220VAC/50HZ Or/60HZ， 24VAC/50HZ Or/60HZ。12VDC或9VDC（微型摄像机多属此类）,图像视频编解码,为什么要压缩,一张640*480真彩（24位）图像的大小： 640480247372800(bit),为什么要压缩,以这样的图像构成视频，以每秒钟30帧的速度播放，所需传输率为： 737280030221184000(b/s)221Mbps,目前: 局域网速率：100Mbps 硬盘传输速率：80Mbps-800Mbps 40光驱传输率：48Mbps 一张4.7GB(38502.4Mb)的光盘只能存储

13、约174.2秒的视频节目,很难满足处理要求,图像中的冗余编码冗余 如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余 例如：黑白二值图像编码,压缩的可能性,如果用8位表示该图像的像素，我们就说该图像存在编码冗余，因为该图像的像素只有两个灰度，用一位即可表示,图像中的冗余像素间冗余,压缩的可能性,如果灰度图的描述方式，此子块所需数据量为25*8=200bit， 若将此子块最小数据以及与之偏差的数据流描述，则采用103及25个差值：7,7,4,1,2,0,2,4,4,7,0,1,5,7,7,1,4,6,7,7,4,4,4,5,5，这25个差值大小范围07，则可采用3b

14、it来描述，则数据量变成 8+25*3=83bit,平缓图像，可看出灰度值接近,图像中的冗余像素间冗余,压缩的可能性,图像中的冗余心里视觉冗余 正常视觉处理过程中各种信息的相对重要程度不同，那些不十分重要的信息称做心理视觉冗余,压缩的可能性,256灰度级图像,均匀量化为16个灰度级,用IGS量化为16个灰度级,由于消除心理视觉冗余数据会导致一定量信息的丢失，所以这一过程通常称为量化 心理视冗余压缩是不可恢复的，量化的结果导致了数据有损压缩,静态图像压缩标准,JPEG 静止图像压缩编码的标准， JPEG格式是目前网络上最流行的图像格式，也在一些数字电视编录设备，如非线性编辑系统中得到应用。,JP

15、EG,JPEG图像压缩编码,算法概要 (cont.),JPEG压缩编码-解压缩算法框图,主要计算步骤,JPEG压缩编码算法的主要计算步骤如下： 正向离散余弦变换(FDCT) 量化(quantization) Z字形编码(zigzag scan) 使用差分脉冲编码调制(differential pulse code modulation，DPCM)对直流系数(DC)进行编码 使用行程长度编码(run-length encoding，RLE)对交流系数(AC)进行编码 熵编码(entropy coding),主要计算步骤：,正向离散余弦变换(FDCT),对于一个8*8的图像子块，它的原图像的像素点

16、灰度值及经过DCT变换后的FDCT系数如下：,计算步骤：,量化(Quantization) 量化是对经过FDCT变换后的频率系数进行量化，其目的是减小非“0”系数的幅度以及增加“0”值系数的数目。 对于有损压缩算法，使用均匀量化器进行量化。量化步距是按照系数所在的位置和每种颜色分量的色调值来确定。,计算步骤： （cont.）,量化(Quantization) 因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表：亮度量化值和色差量化值。,计算步骤：,Z字形编排(Zigzag Scan) 量化后的系数要重新编排，目的是为了增加连续的“0”系数的个数，就是“0”的游程长度，方法是按照Z字形的

17、式样编排，其结果是把一个8 8的矩阵变成一个1 64的矢量，频率较低的系数放在矢量的顶部。,量化DCT系数的序号,计算步骤：,Z字形编排(Zigzag Scan) 量化后的系数要重新编排，目的是为了增加连续的“0”系数的个数，就是“0”的游程长度，方法是按照Z字形的式样编排，其结果是把一个8 8的矩阵变成一个1 64的矢量，频率较低的系数放在矢量的顶部。,计算步骤：,直流系数(DC)的编码 DC系数的特点：8 8图像块经过DCT变换之后得到的DC直流系数有两个特点，一是系数的数值比较大，二是相邻8 8图像块的DC系数值变化不大。 JPEG算法使用了差分脉冲调制编码(DPCM)技术，对相邻图像块

18、之间量化DC系数的差值(Delta)进行编码。,计算步骤：,交流系数(AC)的编码 AC系数的特点：1 64矢量中包含有许多“0”系数，并且许多“0”是连续的。 JPEG使用非常简单和直观的游程长度编码(RLE)对它们进行编码。,计算步骤：,熵(Entropy)编码 使用熵编码的原因：对DPCM编码后的直流DC系数和RLE编码后的交流AC系数作进一步的压缩。 在JPEG有损压缩算法中，使用霍夫曼编码器，霍夫曼编码器使用很简单的查表(lookup table)方法进行编码 。,压缩数据符号时，霍夫曼编码器对出现频度比较高的符号分配比较短的代码，而对出现频度较低的符号分配比较长的代码。这种可变长度

19、的霍夫曼码表可以事先进行定义。,帧间运动补偿预测编码技术（比静态图像压缩多出来的技术） 帧间预测编码,+ -,熵编码,帧间 预测器,运动 补偿,压缩图像块,输入图像块,运动补偿预测帧间误差图像,运动补偿预测图像,视频图像压缩帧间编码,帧间运动补偿预测编码技术 帧间预测编码 向前预测 双向预测,前一帧,当前帧,前一帧,当前帧,下一帧,压缩标准:视频图像压缩,帧间运动补偿预测编码技术 帧间预测编码 I 帧 不进行帧间预测、进行帧内编码的编码帧（参考帧） P帧 通过向前预测得到的误差编码帧 B帧 通过双向预测得到的误差编码帧 因图像序列存放在存储器中，可以使用下一帧,压缩标准:视频图像压缩,帧间运动

20、补偿预测编码技术 编码中的运动补偿 运动补偿概念是以对帧间运动的估算为基础的，若物体均在空间上有一位移，那么用有限的运动参数来对帧间的运动加以描述，如对于像素的平移运动，可用运动矢量来描述。 一个来自前一编码帧的运动补偿预测像素，就能给出一个当前像素的最佳预测。预测误差和运动矢量一同参与编码。,压缩标准:视频图像压缩,帧间运动补偿预测编码技术 编码中的运动补偿 由于一些运动矢量之间的空间相关性通常较高，因此，一个像素的运动矢量，可以代表一个相邻像素块的运动。 实现中，画面一般划分成一些不连接的像素块(在MPEG1和MPEG2标准中一个像素块为1616像素)，对于每一个这样的像素块，只估算一个运

21、动矢量。,压缩标准:视频图像压缩,帧间运动补偿预测编码技术 编码中的运动补偿 举例：常用的基于块的运动估算和补偿块匹配法,K帧,K+l 帧,块,查找窗口,压缩标准:视频图像压缩,帧内编码与帧间编码流程的区别,帧内编码 只与当前视频帧信息有关。 帧内编码图像仅经过DCT，量化器和比特流编码器即生成编码比特流，而不经过预测处理。 DCT直接应用于原始的图像数据。 帧间编码 帧间编码主要解决时间冗余问题。 输入的帧数据与经过运动补偿的前帧信号相减，对差值数据进行DCT。 再进行量化处理，之字形扫描，熵编码，然后输出。 区别 帧内编码与帧间编码流程的区别在于是否经过预测环节的处理,MPEG-2视频压缩

22、标准,图像组的结构及其相互关系,图像编码时的顺序：IPBBPBBPBB 图像显示时的顺序：IBBPBBPBBP,视频压缩编码器的构成,一个典型的MPEG图像编码器的组成框图,MPEG-2视频压缩方案中关键技术介绍,余弦变换DCT 量化器 Z型扫描与游程编码 熵编码 运动估计 运动补偿,运动估计,特点 运动估计时，P帧和B帧图像所使用的参考帧图像是不同的。 前向预测 P帧图像使用前面最近解码的I帧或P帧作参考图像。 双向预测 B帧图像使用两帧图像作为预测参考。其中一个参考帧在显示顺序上先于编码帧(前向预测)，另一帧在显示顺序上晚于编码帧(后向预测)， B帧的参考帧在任何情况下都是 I 帧或P帧。

23、,运动补偿,方法 利用运动估计算出的运动矢量，将参考帧图像中的宏块移至水平和垂直方向上的相对应位置，即可生成对被压缩图像的预测。 效果 绝大多数的自然场景中运动都是有序的。 因此这种运动补偿生成的预测图像与被压缩图像的差分值是很小的。,视频基本码流的帧结构,ES流组成,流程图,说明：解复用器同一时间只能输出一个PS流,电视会议标准 CCITT H.261、 H.262 、H.263 多媒体标准 ISO 通过了动态图像专家组（ Moving Picture Experts Group ） MPEG系列标准,图像视频压缩标准,图像视频压缩标准,H.261 H.261是1990年ITU-T制定的一个

24、视频编解码标准，属于视频编解码器。 是可视电话和电话会议的国际标准。,H.261标准 应用范围：ISDN的视频会议 主要编码技术： DCT变换 向前运动补偿预测 Zig-zag排序 霍夫曼编码 IPPPPPPIPPP.,图像视频压缩标准,MPEG1标准 应用范围：视频CD_ROM存储、视频消费 主要编码技术： DCT变换 前向、双向运动补偿预测 Zig-zag排序 霍夫曼编码、算术编码 每15帧至少要有一个I帧 IBBPBBPBBIBBP . . . .,图像视频压缩标准,MPEG4标准 应用范围：互联网、交互视频、移动通信 主要编码技术： DCT变换、小波变换 前向、双向运动补偿预测 Zig

25、-zag排序 霍夫曼编码、算术编码 每15帧至少要有一个I帧 IBBPBBPBBIBBP . . . .,图像视频压缩标准,图像视频压缩标准,H.264 H.264，同时也是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码标准。2003年3月正式发布。 H.264/MPEG-4 AVC（H.264）是1995年自MPEG-2视频压缩标准发布以后的最新、最有前途的视频压缩标准。,图像视频压缩标准,H.264 主要编码技术 1.帧内预测编码： 6种模式

26、进行44像素宏块预测，包括1种直流预测和5种方向预测 2.帧间预测编码 3.整数变换 ：在变换方面，H.264使用了基于44像素块的类似于DCT的变换，但使用的是以整数为基础的空间变换，不存在反变换 4.量化 5.熵编码,MPEG2标准 应用范围：数字电视、高质量视频、有线电视、视频编辑、视频存储 主要编码技术： DCT变换 前向、双向运动补偿预测 Zig-zag排序 霍夫曼编码、算术编码 每15帧至少要有一个I帧 IBBPBBPBBIBBP . . . .,图像视频压缩标准,彩色电视制式,彩色电视制式,PAL(Phase-Alternative Line) 称为逐行倒相正交平衡调幅制。德国、

27、英国等一些西欧国家，以及中国、朝鲜等国家采用这种制式。 NTSC(National Television Systems Committee) 称为正交平衡调幅制。美国、加拿大等国家，以及日本、韩国、菲律宾等国和中国的台湾采用这种制式。 SECAM 称为顺序传送彩色与存储制。法国、前苏联及东欧国家采用这种制式。,彩色电视国际标准,彩色电视制式,2. PAL制电视的扫描特性 (1) 625行(扫描线)/帧，25帧/秒(40 ms/帧) (2) 宽高比：4:3 (3) 隔行扫描，2场/帧，312.5行/场 (4) 颜色模型：YUV,PAL制式编码：,彩色全电视信号FBAS：色度信号、色同步信号、亮

28、度信号与消隐信号、同步信号混合形成。 这种由多种信号混合而成的信号有如下特点: (1) 参于混合的各种信号均保持着独立性, 也就是说, 可用各种方法将它们一一分离。例如色度与亮度信号在时域重叠而在频域交错, 色度与色同步在频域重叠而在时域交错, 扫描用的同步与消隐信号在频域、时域均重叠, 但在所处电平高低上有区别, 它们与图像信号在时域交错, 互不干扰。,(2) 它是视频单极性信号, 既有直流成分, 又含有交流成分, 且是上下不对称的信号, 占有06MHz的频带宽度。 (3) 对静止的图像而言, 其电视信号以帧为周期重复, 其场间、行间相关性也较大 对活动图像而言, 则可说是帧间、 行间相关性

29、较大的非周期信号, 但其同步与消隐信号仍是周期性的。 (4) 它是黑白、彩色电视接收机都能使用的兼容性电视信号。,基色矩阵,高压,高频头,公共中放,伴音检波,鉴频,低放,图像检波,AGC电路,同步分离,色同步通道,带通放大,色度通道,色差矩阵,场扫描电路,行扫描及高压电路,亮度通道,显象管,偏转线圈,天线,电源,PAL制彩色电视机方框图,解码器中，全电视信号处理,（1）亮度与色度信号的分离（频域分离） （2）色度信号与色同步信号的分离（时间分离） （3）蓝色度信号和红色度信号的分离（频率、相位双重分离） （4）同步检波：色度信号被解调成色差信号 （5）亮度信号Y和色差信号U、V经矩阵电路变换成

30、三个基色信号R、G和B。,3. NTSC制的扫描特性 (1)525行/帧, 30帧/秒 (2) 宽高比：电视画面的长宽比(电视为4:3) (3) 隔行扫描，一帧分成2场，262 .5线/场,91,NTSC制编码框图,特点：正交平衡调幅,监控系统,什么是监控系统,由摄像机部分、传输部分、控制与记录部分以及显示部分四大块组成的系统就是监控系统。,摄像部分是电视监控系统的前沿部分，是整个系统的“眼睛”。在被监视场所面积较大时，在摄像机上加装变焦距镜头，使摄像机所能观察的距离更远、更清楚；还可把摄像机安装在电动云台上，可以使云台带动摄像机进行水平和垂直方向的转动，从而使摄像机能覆盖的角度更大。 在某些

31、情况下，特别是在室外应用的情况下，为了防尘、防雨、抗高低温、抗腐蚀等，对摄像机及其镜头还应加装专门的防护罩，甚至对云台也要有相应的防护措施。,摄像部分,传输部分就是系统的图像信号通路。一般来说，传输部分单指的是传输图像、声音信号。同时，由于需要有控制中心通过控制台对摄像机、镜头、云台等进行控制，因而在传输系统中还包含有控制信号的传输。 在传输方式上，近距离一般采用视频线传输，不超过一两公里的距离一般采用同轴电缆传输，更远的距离则可采用光纤传输。对于远距离传输，还需配备视频信号放大、图像信号的较正与补偿设备。,传输部分,控制与记录部分负责对摄像机及其辅助部件（如镜头、云台）的控制，并对图像、声音信号的进行记录。目前硬盘录像机的技术发展得较完善，它不但可以记录图像和声音，而且还包含了画面分割切换、云台镜头控制等功能，基本上取代了以往使用的画面切换器、画面分割器、云台控制器、镜头控制器等产品。如果客户要求能对云台、镜头（特别是高速球）进行非常方便的控制，则可以加配控制键盘。,控制和记录部分,显示部分一般由几台或多台监视器组成。在摄像机数量不是很多，要求不是很高的情况下，一般直接将监视器接在硬盘录像机上即可。如果摄像机数量很多，并要求多台监视器对画面进行复杂的切换显示，则须配备“矩阵”来实现。 专用监视器价格较贵，为了节省开支，也可用普通电脑显示器替代。,显示部分,谢谢！,