《视频的形成和计算机视觉概要改.ppt》由会员分享，可在线阅读，更多相关《视频的形成和计算机视觉概要改.ppt（77页珍藏版）》请在三一文库上搜索。
1、Introduction to Computer Vision and video processing,种衍文 武汉大学测绘遥感信息工程国家重点实验室 研究方向有视频处理与通信、计算机视觉和模式识别,Video processing, computer vision (CV),refs: 视频处理与通信， 电子工业出版社， yao wang 等著 图像工程， 清华大学出版社， 章毓晋 编著 计算机视觉 模式识别，武汉大学出版社，钟珞等编著 matlab程序设计语言 OpenCV,上课安排： 1. 2-15周，每周三 2：30-4：30 考评方式及组成： 课堂 30% 作业 30% 考试 4
2、0%,相关学科与相关课程的联系,June 22, 2019,数字图象处理,计算机视觉,模式识别,机器视觉,计算机图形学,线性代数,集合论,高级语言程序设计,数据结构,先后顺序,重叠量反应相关程度,基础知识,计算机视觉专题（图象与视觉计算）,高等代数,最优化方法,。,信号与系统,计算几何,Overview (1),计算机视觉的几何学基础 摄像机模型 1、单摄像机(pinhole model/perspective transformation) 2、双摄像机 (epipolar geometry: fundamental matrix/essential matrix) 3、三摄像机及更多(mu
3、lti-view geometry) 运动估计 1、对应点问题（correspondence problem） 2、光流计算方法 3、刚体运动参数估计（minimal projective reconstruction） 2-view, 7 points in correspondence; (Faugeras) 3-view, 6 points in correspondence; (Quan Long) 3-view, 8 points with one missing in one of the three view. (Quan Long) 几何重构（Geometry reconstr
4、uction） 1、立体视觉(stereo vision) 2、Shape from X (shading/motion/texture/contour/focus/de-focus/.),June 22, 2019,Overview (2),计算机视觉的物理学基础 1、摄像机及其成像过程 视点、光源、空间中光线、表面处的光线. 明暗 shading、阴影 shadow 2、光学/色彩 light/color 辐射学，辐照率radiometry, 3、物体表面特性 漫反射表面（各向同性）Lambertian surface BDRF (bi-directional reflectance di
5、stribution fucntion),June 22, 2019,Overview (3),计算机视觉的图像模型基础 1、摄像机模型及其校准 内参数、外参数 2、图像特征 边缘、角点、轮廓、纹理、形状 3、图像序列特征 (运动) 对应点、光流,June 22, 2019,Overview (4),计算机视觉的信号处理层次 1、低层视觉处理 单图像：滤波/边缘检测/纹理 多图像：几何/立体/从运动恢复仿射或透视结构 affine/perspective structure from motion 2、中层视觉处理 聚类分割/拟合线条、曲线、轮廓 clustering for segmenta
6、tion, fitting line 基于概率方法的聚类分割/拟合 跟踪 tracking 3、高层视觉处理 匹配 模式分类/关联模型识别 pattern classification/aspect graph recognition 4、应用 距离数据（range data）/图像数据检索/基于图像的绘制,June 22, 2019,Overview (5),计算机视觉的数学基础 摄影几何、微分几何 概率统计与随机过程 数值计算与优化方法 机器学习 计算机视觉的基本的分析工具和数学模型 Signal processing approach: FFT, filtering, wavelets,
7、 Subspace approach: PCA, LDA, ICA, Bayesian inference approach: EM, Condensation/SIS/, MCMC, . Machine learning approach: SVM/Kernel machine, Boosting/Adaboost, NN/Regression, HMM, BN/DBN, Gibbs, MRF, ,June 22, 2019,Applications: - Manufacturing and inspection; QA - Robot navigation - Autonomous veh
8、icles - Guiding tools for blind - Security and monitoring - Object/face recognition; OCR. - Medical Applications - Visualization; NVS - Visual communication - Digital libraries and video search - Video manipulation and editing,How is an image formed? (geometry and photometry) How is an image represe
9、nted? What kind of operations can we apply to images? What do images tell us about the world? (analysis & interpretation),What and where 举例: Image Segmentation,Image Segmentation,视频信号,定义： 从动态的三维景物投影到视频摄像机图象平面上的一个二维图象序列。一个视频帧中的任何一点的彩色值记录了在所观察的景物中一个特定的三维点所发出或反射的光。 三维： （x， y， t）,视觉的光学基础,光： 由人眼可以感觉的、波长在
10、380780nm范围内的电磁波组成的。 度量辐射强度分布 ：光源通常能发射某一波长范围内的能量，并且其强度随时间和空间变化。 光谱成分决定彩色感觉具有非常窄的带宽的光称为谱色，白光被称为非彩色的。 光源：照明光源和反射光源 照明光源的彩色感觉取决于它所发射能量的波长范围。照明光源遵循相加规则几个混合的照明光源的彩色感觉取决于所有光源光谱的总和。 例如，红、绿和蓝光以合适的比例组合起来就能形成白色光。 反射光源的彩色感觉取决于入射光的光谱成分和被吸收的波长范围。反射光源遵循相减规则几种混合的反射光源的彩色感觉取决于剩余的、未被吸收的波长。补色：红青、绿品、蓝黄。 青色、品色和黄色燃料混合形成黑色
11、，它吸收整个可视光谱。,16,光与彩色 光是一种以电磁波形式存在的物质；可见光能引起人眼视觉反应的光。波长为380780nm（毫微米）；不同波长的光入射到人眼会引起不同的颜色感觉；如果将所有波长的光均等地混合在一起，则给人以白色的感觉。,表2-1 光的波长与颜色的关系,17,电磁辐射波谱,18,电磁辐射波谱,19,彩色三要素,亮度：是指光的作用强弱，它由光的辐射功率及人眼视敏度特性决定。 色调：是指光的颜色，由作用到人眼的入射光波长成分决定。 色饱和度：是指彩色的浓淡，与掺白光的多少有关。,20,视觉特性,（1）亮度特性 对于同一波长的光，当光的辐射功率不同时，则给人的亮度感觉也不同。但如果辐
12、射功率相同而波长不同，则给人的亮度感觉也是不同的。,21,(2) 彩色分辨力特性,人眼对彩色细节的分辨力比对黑白亮度的分辨力要低。 根据这一特性，彩色电视广播用0-6.0MHz宽带来传送亮度信号，用0-1.3MHz窄带来传送色度信号。 另外，对于不同色调的彩色，人眼的细节分辨力又是不一样的。例如，人眼对于橙色与青色的彩色分辨力较强，对于紫色与黄绿色的彩色分辨力较弱。,22,（3）彩色视觉的非单值性,每种特定波长的光波都能引起一种特定的色调感觉，但是波长与色调之间并不存在着一一对应关系。 人眼彩色视觉的非单值性特定波长的光波能使人眼产生特定的色调，但却不能反过来根据人眼的色调感觉去判断光的波长。
13、,23,三基色原理,三基色原理的主要内容是：自然界几乎所有的彩色，都可以用三种基色光按一定的比例混合产生；反之，自然界中的所有彩色，都可以分解为三种基色光。 在彩色电视系统中，选用红、绿、蓝作为三基色。三基色与混合色的关系是： a、三种基色的混合比例，决定混合色的色调与色饱和度。 b、混合色的亮度等于参与混合的各个基色的亮度之和。,24,（1）相加混色法,红+绿=黄 红+蓝=紫 绿+蓝=青 红+绿+蓝=白 青色+红色=白色 黄色+蓝色=白色 紫色+绿色=白色,投影电视采用此法,25,背投电视机,26,（2） 空间混色法,当三基色光点很小且距离很近时，由于人眼视觉分辨率有限，将呈现混合色的色调。
14、彩色显像管采用此法,27,（3）时间混色法 利用人类眼睛视觉暂留的特点,在时域实现混色。,三基色光按顺序轮流快速出现,28,29,编 码 器,图象,分光系统,光电转换系统（摄像机等）,图像三基色分解,通过彩色摄像机中的分色光学系统来完成图象三基色分解,30,彩色图像的复原,在接收端，利用彩色显像管使三基色光像混合成原彩色图像,彩色混合的三基色原理,原理： 大多数彩色C可由适当选择的三种基色（C1、C2、C3）混合产生。（Maxwell） RGB基色照明光源最流行的基色系（红、绿、蓝） CMY基色反射光源最通常的基色系（青、品、黄） 彩色坐标转换：我们能够把基于一种基色系的彩色值转换为基于另一种
15、基色系的彩色值。,人类的彩色感觉,人类彩色感觉的属性：亮度Y和色度C 彩色 亮度指被感知的光的明亮度，与可视频带中的总能量成正比的。 色度指被感知的光的颜色（色调）和深浅（饱和度），由光的波长成分决定的。 三感光细胞原理（Young）： 这三种类型的感光细胞的组合可使人类感知任何彩色，这意味着被感知的彩色只依赖于 这三个数，而不是整个的光谱。 HVS反彩色模型：HVS把锥状细胞获得的三个彩色值转换成一个与亮度成正比的值和另外两个响应于色度感觉的值。同样大小的能量在不同的波长会产生不同的亮度感觉，GRB.,Have a break,Eye,Neural circuitry of the reti
16、na,Receptors Density - Fovea,Retina Mosaic,Center-surround Receptive Fields,Modified from PSY280F,Visual pathway,Physiological Recording,fMRI Magnet,彩色视频成像原理,视频记录了从一个观测系统（人眼或摄像机）所观测的场景中的物体发射或反射的光的强度 ， 当由摄像机观测场景时，只有摄像机敏感的那些波长是可见的。 视频信号： 如果摄像机只有亮度传感器， 那么表示投影光亮度的标量函数灰度级。 如果摄像机有三个分离的传感器，每一个接收一种所选的基色，那么信
17、号就是一个在每个点包含三个彩色值的矢量函数。 特殊传感器： 感知人眼看不到的物体 X光 红外线摄像机 测距摄像机,视频摄像机,采集机制：目前所有的模拟摄像机都是一帧一帧地捕捉视频，帧与帧之间有一定的时间间隔。它是通过扫描具有一定行间隔的相继的行来获得一帧。 显示机制：所有显示设备都以相继的一系列的帧显示视频。 摄像机分类： 基于光电管的摄像机（光导摄像管、氧化铅摄像管或正析摄像管） 和 固态传感器（CCD电荷耦合器件）,基于光电管的摄像机工作原理： 摄像机镜头把场景中的图象聚焦到摄像机析像管的光敏表面，由它将光信号转换成电信号。析像管的光敏表面一般是用电子束或其它的电子方法一行一行地扫描（称为
18、光栅扫描），然后每一帧中的扫描行被转换成用不同电压代表不同光强度的电子信号。因此不同的扫描行是以相继的方式在略微不同的时间上摄取的。 固态传感器工作原理： 对于CCD摄像机，光敏表面由二维传感器矩阵组成，每个传感器对应一个象素，到达每个传感器的光信号被转换成一个电信号。在每帧时间内摄取的传感器值首先存储在缓冲区中，然后一次一次地相继读出，以形成光栅信号。与基于光电管的摄像机不同，同一帧中所有读出的值是同时被摄取的。 CCD摄像机 更小 更轻 便宜 普通消费者使用 光电管摄像机 较大 较重 昂贵 高分辨率、低环境光高敏感度,视频显示,CRT 阴极射线管： 在CRT监视器中，电子枪一行一行地向屏幕
19、发射电子束以激励荧光粉，其强度正比于在相应位置的视频信号的强度。为了显示彩色图象，三个电子枪发射三个电子束，在每个位置以期望的强度组合激励红色、绿色和蓝色荧光粉。 CRT能产生很大动态范围的图象，因此显示的图象可以很亮，足以在白天或在远处观看。然而，为使电子到达屏幕的边界，CRT的深度需要大致与屏幕的宽度相当。这样CRT的厚度限制了它的应用，不适合应用在小型轻便的设备中。 LCD 液晶显示器： 通过施加电场改变光学特性进而改变液晶的亮度或彩色。电场由一个晶体管阵列产生或刷新，从而使大屏幕显示器成为可能。 等离子显示器 俗称PDP，也称电浆显示，是一种利用气体放电的显示技术。它采用了等离子管作为
20、发光元件，屏幕以玻璃作为基板，基板间隔一定距离，四周密封形成一个放电空间，再充入氖、氙等混合惰性气体。当向玻璃板电极上加入电压，放电空间内的混合气体便发生等离子体放电现象，放电产生紫外线，紫外线激发荧光屏，荧光屏发射出可见光，经过适当的技术处理，呈现出彩色图像。,认识复合视频、S-Video、分量视频,YUV主要用于优化彩色视频信号的传输，并向前兼容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只占用极少的带宽，而RGB要求三个独立的视频信号同时传输。在YUV中，“Y”代表明亮度（Luminance或Luma），也就是灰阶值; 而“U”和“V”表示的则是色度（Chrominance或
21、Chroma），作用是描述图像色彩及饱和度，用于指定像素的颜色。“亮度”是通过RGB输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。色度则定义了颜色的两个方面色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异，此即所谓的色差信号，也就是我们常说的分量信号（Y、R-Y、B-Y）。 将两个色差信号U、V合并形成一个彩色信号C，以Y/C格式进行记录，这种格式被称为彩色降频方式，这就是我们常说的S-Video信号。 将亮度信号、彩色信号和同步信号合成一个信号就被称为复合信号
22、。形成复合信号的处理过程被称为编码，彩色信号和亮度信号经过编码，很难再完全分开而又没有损失，结果造成色串亮和亮串色，这就是大家认为复合信号质量没有S-Video信号质量好的原因。,模拟彩色电视系统,一、NTSC彩色电视制式：它是1952年由美国国家电视标准委员会指定的彩色电视广播标准，它采用正交平衡调幅的技术方式，故也称为正交平衡调幅制。美国、加拿大等大部分西半球国家以及中国的台湾、日本、韩国、菲律宾等。 二、PAL制式：它是西德在1962年指定的彩色电视广播标准，它采用逐行倒相正交平衡调幅的技术方法，克服了NTSC制相位敏感造成色彩失真的缺点。西德、英国等一些西欧国家，新加坡、中国大陆及香港
23、，澳大利亚、新西兰等国家采用这种制式。PAL制式中根据不同的参数细节，又可以进一步划分为G、I、D等制式，其中PALD制是我国大陆采用的制式。 三、SECAM制式：SECAM是法文的缩写，意为顺序传送彩色信号与存储恢复彩色信号制，是由法国在1956年提出，1966年制定的一种新的彩色电视制式。它也克服了NTSC制式相位失真的缺点，但采用时间分隔法来传送两个色差信号。使用SECAM制的国家主要集中在法国、东欧和中东一带。 NTSCM PALD SECAM 帧频（Hz） 30 25 25 行 / 帧 525 625 625 亮度带宽（MHz） 4.2 6.0 6.0 彩色副载波（MHz） 3.58
24、 4.43 4.25 声音载波（MHz） 4.5 6.5 6.5,ITU-R BT.601标准摘要,ITU-R BT.601用于对隔行扫描电视图像进行数字化，对NTSC和PAL制彩色电视的采样频率和有效显示分辨率都作了规定。下表给出了ITU-R BT.601推荐的采样格式、编码参数和采样频率。 ITU-R BT.601推荐使用422的彩色电视图像采样格式。使用这种采样格式时，Y用13.5 MHz的采样频率，Cr，Cb用6.75 MHz的采样频率。采样时，采样频率信号要与场同步和行同步信号同步。,彩色图像YCbCr样本空间位置,图像分辨率,为了既可用625行的电视图像又可用525行的电视图像，C
25、CITT规定了称为公用中分辨率格式CIF(Common Intermediate Format)，1/4公用中分辨率格式(Quarter-CIF，QCIF)和(Sub-Quarter Common Intermediate Format，SQCIF)格式，具体规格如表所示。,openCV,OpenCV = Intel(c) Open Source Computer Vision Library,Matlab,MATLAB 是矩阵实验室（Matrix Laboratory）之意。除具备卓越的数 值计算能力外，它还提供了专业水平的符号计算，文字处理，可视化建模仿 真和实时控制等功能。,Exerci
26、ses DUE DATE: Oct 28, 2011.,1、人类视觉中最基本的几个要素是什么？ 2、发光强度及亮度与照度各有什么不同？,3、Object Segmetation CAN SUBMIT THE EXERCISE IN PAIRS (2 people) . Read the following images and extract the cars by applying various object detection and segmentation methods in Matlab: Instructions: circle every car with a rectang
27、le. estimate the calculation time. Submit the Matlab code.,Have a break!,Supplementary materials: The Fourier Transform,Jean Baptiste Joseph Fourier,=,A sum of sines and cosines,The Continuous Fourier Transform,Complex Numbers,Real,Imaginary,Z=(a,b),a,b,|Z|,x,The wavelength is 1/u . The frequency is
28、 u .,1,The 1D Basis Functions,1/u,The Fourier Transform,1D Continuous Fourier Transform:,The Inverse Fourier Transform,The Continuous Fourier Transform,2D Continuous Fourier Transform:,The Inverse Transform,The Transform,The wavelength is . The direction is u/v .,The 2D Basis Functions,u=0, v=0,u=1,
29、 v=0,u=2, v=0,u=-2, v=0,u=-1, v=0,u=0, v=1,u=1, v=1,u=2, v=1,u=-2, v=1,u=-1, v=1,u=0, v=2,u=1, v=2,u=2, v=2,u=-2, v=2,u=-1, v=2,u=0, v=-1,u=1, v=-1,u=2, v=-1,u=-2, v=-1,u=-1, v=-1,u=0, v=-2,u=1, v=-2,u=2, v=-2,u=-2, v=-2,u=-1, v=-2,U,V,Discrete Functions,0 1 2 3 . N-1,f(x),f(x0),f(x0+Dx),f(x0+2Dx),f
30、(x0+3Dx),f(n) = f(x0 + nDx),x0,x0+Dx,x0+2Dx,x0+3Dx,The discrete function f: f(0), f(1), f(2), , f(N-1) ,(u = 0,., N-1),(x = 0,., N-1),1D Discrete Fourier Transform:,The Discrete Fourier Transform,Fourier spectrum log(1 + |F(u,v)|),Image f,The Fourier Image,Fourier spectrum |F(u,v)|,Frequency Bands,P
31、ercentage of image power enclosed in circles (small to large) : 90%, 95%, 98%, 99%, 99.5%, 99.9%,Image,Fourier Spectrum,Low pass Filtering,90%,95%,98%,99%,99.5%,99.9%,Noise Removal,Noisy image,Fourier Spectrum,Noise-cleaned image,Noise Removal,Noisy image,Fourier Spectrum,Noise-cleaned image,High Pa
32、ss Filtering,Original,High Pass Filtered,High Frequency Emphasis,+,Original,High Pass Filtered,High Frequency Emphasis,Original,High Frequency Emphasis,Original,High Frequency Emphasis,Original,High pass Filter,High Frequency Emphasis,High Frequency Emphasis + Histogram Equalization,High Frequency Emphasis,2D Image,2D Image - Rotated,Fourier Spectrum,Fourier Spectrum,Rotation,Image Domain,Frequency Domain,Fourier Transform - Examples,End of lesson,