第四部分图像信息处理技术教学课件.ppt

《第四部分图像信息处理技术教学课件.ppt》由会员分享，可在线阅读，更多相关《第四部分图像信息处理技术教学课件.ppt（83页珍藏版）》请在三一文库上搜索。

1、第四章 图像信息处理技术,图像色彩与色彩空间,人们对颜色感觉的形成有四个要素,即光源、物体、眼睛和大脑。这四个要素不仅使人产生颜色的感觉，而且也是人能正确判断色彩的条件。,发光物体呈现的颜色是由物体本身发出不同波长的光所造成； 不发光物体呈现的颜色是光照射物体时被物体反射出的光所具有的。,度量色彩的三要素,色调：由可见光谱中各分量成分的波长来确定，是彩色光的基本特性。 饱和度：是指颜色的纯度，即掺入白光的深浅感觉。 明度：指彩色光对人眼引起的光刺激程度，显然它与光的能量有关。,三基色原理,红、绿、蓝三色光可以混合成自然界的全部色彩，而这三色光本身相互独立，所以人们常常将红、绿、蓝称为色光三原色

2、。从生理学上讲：人们眼睛的视网膜上存在着三种不同类型的锥体细胞，它们分别对红、绿、蓝有很高的灵敏度（对不同波长有不同的灵敏度），物体反射光进入人眼睛以后，在三种锥体细胞的作用下，产生不同颜色的光感。这就是三刺激理论，又称三色学说理论。,加色法颜色和减色法颜色,加色法颜色是把不同的颜色相加得到的颜色。该系统中，没有任何颜色呈黑色，全部颜色出现时呈白色。加色法系统属于发射光，计算机监视器采用这个系统。 加色法采用红、绿、蓝（RGB）三种颜色作为基色。,减色法所得到的颜色是减后的颜色。没有任何颜色时呈白色，全部颜色都出现则呈黑色。减色法利用的是反射光原理。打印机采用此系统。 反射光采用青色（Cyan

3、）、粉红（Magenta）及黄（Yellow）三种颜色作为基色。由于打印墨的问题，往往需加一些黑墨，所以真正打印机处理的是四色。简称 CMYK。,颜色空间,RGB颜色空间 采用红、绿、蓝3种基色来匹配所有颜色的模型称为RGB颜色空间.任意一种颜色可以由下式匹配: C=rR+gG+bB RGB色彩模型的混色属于加法混色。每种原色的数值越高，色彩越明亮。R、G、B都为0时是黑色，都为255时是白色。,CMYK颜色空间,用彩色墨水或颜料进行混合，得到的颜色被称为减法色。从理论上说，任何一种颜色都可以用三种基本颜料按一定比例混合而成。这三种颜色是 红、绿、蓝色的补色， 即青(Cyan)、品红 (Mag

4、enta)和黄色 (Yellow)，通常写 成CMY。,由于彩色墨水和颜料的化学特性,用等量的三基色得到的黑色不是真的黑色,因此印刷术中加入真的黑色,用K表示,称为CMYK颜色空间.,XYZ颜色空间 在RGB颜色空间中,有时r取负值,为了避免这一现象,用3个理想的原色代替实际的三原色.这样得到的颜色空间称为XYZ颜色空间. 这个空间是为了计算和理解和计算方便而人为设定的,并不真实存在.,Lab颜色空间 这种色彩空间,在不同位置、不同方向上相等的几何距离在视觉上有对应相等的色差,把易测的空间距离作为色差感觉差别量的度量. L、a、b三个分量各自代表 Luminance 通道（亮度）通道、a（红到

5、绿）通道和 b（黄到蓝）通道。它由颜色轴所构成的平面上的环形线来表示颜色的变化，其中径向表示色饱和度的变化，自内向外，饱和度逐渐增高；圆周方向表示色调的变化，每个圆周形成一个色环；而不同的发光率表示不同的亮度并对应不同环形颜色变化线。如下图所示：,HSB颜色空间 这种空间基于色相H、饱和度S和明度B的颜色空间,它是在Lab模式的基础上考虑了人对颜色的心理感受这一因素而转换成的. 由于HSB模型能直接体现色彩之间的关系,所以非常适合于色彩设计,绝大部分的设计软件都提供了这种色彩模型,包括Windows的系统调色板也是采用这种色彩模型,如下图所示:,YUV颜色空间 这是一种电视系统使用的色彩表示形

6、式。其中Y表示亮度，U、V表示色差。所谓色差是指三原色信号分量与亮度信号之差。其特点： 可使黑白电视和彩色电视兼容 可以利用人眼对彩色的敏感度低于对亮度的敏感度的视觉特性，将U、V信息用较少的二进制位数表示，较窄的频带传送,静态图像的信息密度随空间分布，且相对时间为常量。 视频动态图像是由多幅连续的单帧图像序列构成的，当每一帧图像为实时获取的自然景物或活动对象时，称之为动态影像视频，简称动态视频或视频（Video)。,电视技术基础,我国的电视广播始于20世纪50年代末,最初采用的是黑白电视,直播方式.后来出现了录播方式,使得电视广播节目的内容不受时间、空间的限制. 电视信号以前采用的是无线开路

7、方式,后来出现了卫星广播方式和有线电视网广播方式.,电视信号主要由图像信号和伴音信号两大部分组成,两种信号频带宽度相差较大,为避免相互干扰,在发射台采用不同的调制方式将它们调制到射频载波上.图像信号采用的是调幅方式,伴音信号采用的是调频方式.,由于人眼的惰性，在亮度信号消失后约1/20秒内仍然保留着图像。活动图像正是根据这一特性产生的。多幅连续的图像以每秒25帧的速度均匀地播放，我们就会感到这是一幅真实的活动图像。电影和电视都是根据这一原理来设计的，计算机的活动图像也是如此。,每幅图像分先后两次放送,称为隔行扫描.目前,广播电视系统中采用的是隔行扫描方式. 电子束沿水平方向从左到右从上到下匀速

8、扫描图像,称为逐行扫描.它的优点是简单、可靠、图像清晰,但是要求传输通道有很宽的带宽.计算机中采用的是逐行扫描的方式.,电视制式,所谓电视制式，实际上是一种电视显示的标准。不同的制式，对视频信号的解码方式、色彩处理的方式以及屏幕扫描频率的要求都有所不同，因此如果计算机系统处理的视频信号的制式与连接的视频设备的制式不同，在播放时，图像的效果就会有明显下降，甚至根本无法播放 。,NTSC制式,NTSC是National Television System Committe的缩写，译为美国国家电视标准委员会。它是1952年美国研制成功的一种兼容的彩色电视制式。它规定每秒30帧，每帧525行，水平分辨

9、率为240400个像素点，隔行扫描，扫描频率60Hz，宽高比例4:3。北美、日本等一些国家使用这种制式。,PAL制式,PAL是phase Alternate Line的缩写，译为相位逐行交换。它是前联邦德国1962年制定的一种电视制式。它规定每秒25帧，每帧625行，水平分辨率为240400个像素点，隔行扫描，扫描频率50Hz，宽高比例4:3。我国和西欧大部分国家都使用这种制式。,SECAM制式,SECAM是Sequential Color Memory System的缩写，译为顺序传送彩色存储。它是法国于1965年提出的一种标准。它规定每秒25帧，每帧625行，隔行扫描，扫描频率为50Hz，

10、宽高比例4:3。上述指标均与PAL制式相同，不同点主要在于色度信号的处理上。法国、俄罗斯、非洲地区使用这种制式。,HDTV,HDTV是High Definition TV的缩写，译为高清晰度电视。它是目前正在蓬勃发展的电视标准，尚无完全统一，但一般认为：宽高比例16:9，每帧扫描在1000行以上，采用逐行扫描方式，有较高扫描频率，传送信号全部数字化。,电视信号数字化,要把电视信号在计算机中进行操作,首先要把电视信号数字化成数字视频.该转换采用的是CCIR制定的数字电视图像数字化标准ITU-R BT.601,该标准规定了彩色电视图像转换成数字图像时使用的采样频率,彩色空间之间的转换关系等. 电视

11、数字化的方法有两种:,（1）先从彩色电视图像中分离出彩色电视信号，然后数字化。即先分离成YUV、YIQ或RGB彩色空间中的分量信号，然后用三个AD转换器分别对它们进行数字化。 （2）先对彩色电视信号进行数字化，然后在数字域中进行分离，以获取所希望的YUV、YIQ或RGB分量信号。用这种方法对电视图像数字化时，用一个高速A/D转换器即可实现视频信号的发送与接收。 计算机彩色视频信号发送与接收的原理如图所示。,图像质量评价概述 图像质量的含义可以包括两个方面，一是图像的逼真度（Fidelity），另一个是图像的可懂度（Intelligibility)。图像的逼真度用来描述被评价图像与标准图像的偏离

12、程度；而图像的可懂度则是用来表示图像能向人或机器提供信息的能力。,图像通信和图像质量关系模型图,图像质量的主观评价 1. 一般图像质量的主观评价 图像质量的主观评价就是以人作为图像的观察者，对图像的优劣作出的主观评定。 选择主观评价的观察者应考虑这样两类人：一类人是未经过任何训练的所谓“外行”观察者；另一类是训练有素的所谓“内行”观察者。,图像质量的主观评价一般可以分为两种类型：绝对评价和相对评价。绝对评价是由观察者根据一些事先规定的评价尺度或自己的经验，对被评价的图像提出的质量判断。,2. 电视图像质量的主观评价 QTV=f(X1，X2，X3，X4，X5，Xi，Xj，Xk) 在上式中，X1、

13、X2、X3、X4、X5分别是与杂波、回波、清晰度、对比度、亮度相对应的变量。Xi、Xj、Xk分别是与观察者类型、试验图像类型、观察条件相对应的变量。,图像信号的数字化,一、 概述 一幅黑白静止平面图像，比如照片，其中各点的灰度值可以用其位置坐标(x,y)的函数f(x,y)来描述。 模拟图像数字化的基本过程包括两个方面：采样和量化。,采样的实现只是完成了图像空间位置的离散化，这时所得的信号还不是离散信号，还需要将样点值的取值进行离散化。 二、 采样 采样的主要问题是：图像f(x,y)的采样密度选为多大，才不至于丢失原图像的信息。 所谓理想采样是指原图像信号与理想抽样函数相乘所得的采样函数，这里的

14、理想抽样函数是一理想单位冲击脉冲阵列。,图4.2 二维采样,(1) 折叠噪声 为满足抽样定理的要求，要求抽样频率fs大于二倍信号最大频率fc。为严格限制信号带宽，在采样前一般要加前置滤波器。 (2) 孔径效应 在实际应用中的采样信号并不是理想的冲击函数，实际的脉冲都是有一定宽度的，这就会引入高频失真。这就是所谓的孔径效应。,(3) 插入噪声 在恢复成原图像信号时，要用到接收滤波器，由于在实际中不可能有理想滤波器，在恢复图像信号时必将产生某种程度的噪声，这种噪声称为插入噪声。 (4) 抖动噪声 对图像信号的采样是在固定的时间周期内进行的，抽样脉冲的间隔周期是由时钟信号来控制的。,三、 量化 1.

15、 均匀量化 均匀量化是一种最简单的量化。均匀量化的量化区间是均匀化分的。经过采样的图像，只是使其成为在空间上离散的像素阵列，而每一个像素的亮度值还是在某一个范围内的连续量，必须将它转化为有限个离散值并用不同的码字来代替才能成为数字图像。,2. 非均匀量化 从量化值的选取来看，qi是某一小区间所有取值的代表值，是一个确定值。量化间隔取得越大，引入量化误差越大。所以，当概率密度p(z)较小时，所选取的量化区间的长度可以大一些；若在某一段区间内概率密度p(z)大则所选取的量化区间就应小一些。用这种方法来达到统计意义上每个像素平均量化误差最小的目的。也就是说，当p(z)不是常数时，量化区间的选取长度是

16、不一样的，这就是非均匀量化。,数字图像编码的常用方法 1. 预测编码 预测编码(Predictive Coding)是数据压缩技术的一个主要分支，其理论是建立在现代统计学和控制论基础上的。 因为是对差值进行编码，所以把这种方法称为差值脉冲编码调制（DPCM）。,DPCM框图,在DPCM中，由于量化会引起图像质量的下降，这种下降主要有以下几种： (1) 斜率过载； (2) 颗粒噪声； (3) 边缘繁忙； (4) 伪轮廓。 由对人眼所作的视觉特性实验表明，在亮度变化大的地方量化误差大一些也不会被人眼察觉。这种效应称为掩盖效应。,预测编码的特点： a.简单、经济、易于实现，并可实现信息保持编码； b

17、.由于误差会传播，故易受信道误码影响； c.压缩比低时图像质量高，但压缩比不高； d.量化噪声有平坦区的颗粒噪声、突变处的过载噪声、缓变区的伪轮廓以及边缘和交织区的边沿忙乱四种。,2. 离散余弦编码（DCT） 离散余弦编码属于图像变换编码的内容，在近年来这种编码方法发展较快。 变换编码的特点： (1) 所需的存储量大、结构复杂但压缩比高时图像质量好（相对于DPCM而言），但一般做不到信息保持编码；,(2) 区域取样时可将误码影响限制在一个方块内，且其影响也小于DPCM编码。 (3) 对图像统计特性的变化不那么敏感； (4) 量化噪声有平坦的凹凸噪声、缓变区的伪轮廓、突变处的分量过载以及因噪声平

18、均值非零时而产生的条带状噪声四种。,正交变换有如下一些非常有用的性质： (1) 熵保持：通过正交变换本身并不丢失信息，可以用传送变换系数来达到传输信息的目的。 (2) 能量保持：变换域中的信号能量与原来空间域中的信号能量相等。,(3) 去相关：正交变换可以使相关的空间样值变为不相关的或相关性很弱的变换系数，换句话说，正交变换有可能使相关的空间域变为不相关的变换域，这就使存在于相关性之中的多余度得以去除。 (4) 能量重新分配与集中：这是正交变换最重要的优点，也是利用它能实现数据压缩的物理本质。此性质DPCM方法并不具备。,变换编码原理框图,3. 变字长编码 实现霍夫曼编码的基本步骤如下： (1

19、) 将信源符号出现的概率按由大到小的顺序进行排列； (2) 将两个最小的信源概率进行比较，将上边的信源概率定为1，将下边的信源概率定为0（或相反）；,(3) 将两个最小的概率进行组合相加，再与其它信源符号概率进行比较，始终将较高的概率分支放在上部，直到概率达到1.0为止； (4) 在新的信源概率符号排列中继续将两个最小的概率进行比较，将上边的信源概率定为1，将下边的信源概率定为0（或者相反）；,(5) 画出由每个信源符号到达概率为1.0处的路径，记下沿路径所遇到的每个1和0； (6) 对于每个信源符号都写出1和0的序列，则最后就得到了霍夫曼码。,霍夫曼编码实例,霍夫曼树,4. 子带编码 子带编

20、码的基本思想就是将信号的频带化分成为不同的子带，针对不同的子带选用适合其本身统计特性的编码器。子带编码在图像编码中的应用是由Wood和ONeil在1986年进行的。 语音信号的子带分解是一维的，也就是将语音信号在“时间”频率域上分成不同的段即子带。子带的分解是用一组带通滤波器来实现的。,一个子带编码子系统主要由两部分组成：一部分是编码子系统，这一部分主要进行子带信号的编码和译码；另一部分是子带的分解/合成子系统，这一部分主要进行分解、合成滤波器组及降采样和插值操作，以完成对原始信号的滤波。,5. 小波变换编码 小波变换（Wavelet Transform，简写WT）是由法国地理学家Morlet

21、和数学家Growwmann提出的。 小波变换也称为子波变换。顾名思义，小波就是小的波形。所谓“小”是说它具有衰减性；所谓“波”是说它具有波动形式，即其振幅正负相间的振荡形式。,小波变换（WT）具有十分优异的性能，例如： (1) WT是一个能满足能量守恒方程的线性变换，能够将一个信号分解成对空间和尺度（即时间和频率）有独立贡献，同时又不丢失原信号所包含的信息； (2) 小波分析相当于一个具有放大、缩小和平移等功能的数学显微镜，通过检查不同放大倍数下信号的变化来研究其动态特性；,(3) WT不一定要求是正交的，小波基不唯一。小波函数系（即通过一基本小波函数在不同尺度下的平移和伸缩而构成的一族函数，

22、用以表示或逼近一个信号或一个函数）的时宽-带宽积很小，且在时间和频率轴上都很集中，也就是说展开系数的能量较为集中；,(4) WT巧妙地利用了非均匀分布的分辨率，较好地解决了时间和频率分辨率的矛盾：在低频段用高的频率分辨率和低的时间分辨率（宽的分析窗口），而在高频段用低的频率分辨率和高的时间分辨率（窄的分析窗口），这与时变信号的特性一致；,(5) WT将信号分解为在对数坐标中具有相同大小频带的集合，这种以非线性的对数方式而不是以线性方式处理频率的方法对时变信号具有明显的优越性； (6) 利用二维离散小波正交基，可以将原始图像在独立的频带与不同的空间方向上加以分解，便于利用HVS在相应频带与空间方

23、向上有不同敏感性的特点；,(7) 小波函数介于空间域和时间域之间，此时若小波函数是正交的，则没有冗余信息； (8) 具有基于卷积和QMF的塔型快速算法，该算法在小波分析中的地位相当于FFT在经典傅立叶分析中的地位； (9) 为多分辨率分析、时-频分析和子带编码建立了统一的分析方法。,数字图像压缩编码的主要国际标准,针对静止图像压缩编码制定的国际标准H.261在1990年12月获得通过；针对应用于数字存储媒体(DSM)的国际标准MPEG-1在1993年通过；为适应甚低码率（低于64kbit/s）的可视电话系统的需要，在H.261基础上改进的H.263国际标准在1995年7月提出。,一、 H.26

24、1建议 世界上的彩色电视制式有PAL、NTSC和SECAM三种不同的制式。 CIF和QCIF的数据结构分为四个层次，即： 图像层（P）：由图像头和块组（GOB）数据组成。图像头由一个20bit 的图像起始码、视频格式、时间参数（帧数）等标志信息组成。,块组层（GOB）：由块组头和宏块数据组成。块组头由16bit的块组起始码、块组编号、量化步长等组成。 宏块层(MB)：由宏块头和块数据组成。宏块头由宏块地址、宏块类型、量化步长等组成。 块层(B)：由变换系数和块结束符等组成。,归纳起来，H.261的混合编码方式通过多种手段来压缩图像序列中的相关信息，即： (1) 利用二维DCT来减少图像的空间域

25、冗余度； (2) 利用运动补偿预测减少图像的时间域冗余度； (3) 利用视觉加权量化来减少图像的灰度域冗余度； (4) 利用熵编码来减少图像的频率域冗余度。 采用这些方式，从而使电视图像的码率得到了较大的压缩。,H.262 ITU-T的一个数字视频编码标准，属于视频编解码器。H.262在技术内容上和ISOIEC的MPEG-2视频标准（正式名称是ISO/IEC 13818-2）一致。 H.262是由ITU-T的VCEG组织和ISOIEC的MPEG组织联合制定的，所以制定完成后分别成为了两个组织的标准，正式名称是“ITU-T建议H.262“和“ISO/IEC 13818-2“。这两个标准在所有的文

26、字叙述上都是相同的（也许除了封面和标价之外）,H.263 H.263是以H.261为基础的进一步的扩展，以混合编码为核心 H.264，或称MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISOIEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。 ITU-T的H.264标准和ISO/IEC MPEG-4第10部分（正式名称是ISO/IEC 14496-10）在编解码技术上是相同的，这种编解码技术也被称为AVC，即进阶视讯编码（Advanced Video Coding）。该标准第一版的最终草案已于20

27、03年5月完成。,H.264比起以前的视频编解码能够带来性能上显著的提高，并在各种不同的环境下达成更广泛的应用。H.264在压缩性能上比起MPEG-2有很大的提高，在相同的图像质量下可以，码率可以减少到一半或者更少。, 二、 H.263建议 H.263是以H.261为基础的进一步的扩展，以混合编码为核心。 三、 静止图像压缩编码技术标准JPEG JPEG(Joint Photographic Experts Group)是由国际标准化组织提出的，面向静止图像的编码标准。,JPEG标准适用于各种分辨率与格式的彩色和灰度图像，但对二值图像则不适宜。它建议的压缩算法的要点如下： (1) 基本系统提供

28、顺序扫描重建图像，实现信息有丢失的图像压缩，图像主观质量能达到不易察觉到有图像损伤。它采用88分块DCT变换编码算法，根据视觉特性设计的自适应量化器，用霍夫曼码作变字长熵编码。通常谈到JPEG标准，一般指的就是基本系统。,(2) 扩展系统中可以选用算术码作熵编码；还可以选用“逐渐浮现”重建方式由“粗而细”地显示图像。扩展系统是基本系统的扩展或增强，扩展系统必须包括基本系统。 (3) 独立的信息保持型压缩，采用预测法以及霍夫曼编码或算术编码，可保证重建数据与原始数据完全相等，其均方误差等于零。,JPEG压缩的不自然现象可以很好地调和到细微非均匀材质的相片中，因此允许得到更高的压缩率。,低品质 (

29、10%)，档案大小为 1.7 KB.,中等品质 (50%)，档案大小为 5.7 KB,最高品质 (100%)，档案大小为 36 KB,这是解压缩的子影像，且可以被用来与原本子影像相比，借由取两者之间的差异（原本解压缩）得到误差值。,原图,解压缩图,JPEG2000是基于小波变换的图像压缩标准，由Joint Photographic Experts Group组织创建和维护。JPEG2000通常被认为是未来取代JPEG（基于离散余弦变换）的下一代图像压缩标准。JPEG2000文件的副档名通常为.jp2，MIME类型是image/jp2。 JPEG2000的压缩比更高，而且不会产生原先的基于离散余

30、弦变换的JPEG标准产生的块状模糊瑕疵。JPEG2000同时支持有损数据压缩和无损数据压缩。另外，JPEG2000也支持更复杂的渐进式显示和下载。,JPEG2000是国际标准化组织（ISO）发布的标准，文档代码为ISO/IEC 15444-1：2000。虽然JPEG2000在技术上有一定的优势，但是到目前为止（2006年），互联网上采用JPEG2000技术制作的图像文件数量仍然很少，并且大多数的浏览器仍然没有缺省支持JPEG2000图像文件的显示。但是，由于JPEG2000在无损压缩下仍然能有比较好的压缩率，所以JPEG2000在图像品质要求比较高的医学图像的分析和处理中已经有了一定程度的广泛

31、应用。,MPEG-1概述 MPEG-1是为CD光盘介质定制的视频和音频压缩格式。一张70分钟的CD光盘传输速率大约在1.4Mbps。而MPEG-1采用了块方式的运动补偿、离散余弦变换（DCT）、量化等技术，并为1.2Mbps传输速率进行了优化。MPEG-1随后被Video CD采用作为核心技术。MPEG-1的输出质量大约和传统录像机VCR，信号质量相当，这也许是Video CD在发达国家未获成功的原因。MPEG-1音频分三层，其中第三层协议被称为MPEG-1 Layer 3，简称MP3。MP3目前已经成为广泛流传的音频压缩技术。,MPEG-2是MPEG工作组于1994年发布的视频和音频压缩国际

32、标准。MPEG-2通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。MPEG-2经过少量修改后，也成为DVD产品的核心技术。 MPEG-2支持隔行扫描和逐行扫描。在逐行扫描模式下，编码的基本单元是帧。在隔行扫描模式下，基本编码可以是帧，也可以是场（field）。,MPEG-4是一套用于音频、视频信息的压缩编码标准，由国际标准化组织(ISO)和国际电工委员会(IEC)下属的“活动图像专家组”（Moving Picture Experts Group，即MPEG）制定，第一版在1998年10月通过，第二版在1999年12月通过。MPEG-4格式的主要用途在于网上串流及光碟分发，语音传送（视频电话），以及电视广播。 MPEG-4包含了MPEG-1及MPEG-2的绝大部份功能及其他格式的长处，并加入及扩充对虚拟现实模型语言（VRML for Virtual Reality Modeling Language）的支援，面向对象的合成档案（包括音效，视讯及VRML物件），以及数码权限管理/数字版权管理(DRM)及其他互动功能。,H.264 、MPEG-4，优劣势比较,