第7章计算机多媒体技术及应用(第13讲).ppt

《第7章计算机多媒体技术及应用(第13讲).ppt》由会员分享，可在线阅读，更多相关《第7章计算机多媒体技术及应用(第13讲).ppt（46页珍藏版）》请在三一文库上搜索。

1、02:43,福建工程学院软件人才培养基地 计算机导论,1,第 7 章 计算机多媒体技术及应用 (第13讲),讲授：黄瑞兴,02:43,福建工程学院软件人才培养基地,2,第7章 计算机多媒体技术及应用,多媒体技术概述 多媒体计算机系统 多媒体元素制作技术 虚拟现实技术 多媒体技术应用与发展,02:43,福建工程学院软件人才培养基地,3,7.1 多媒体技术概述,多媒体技术是近几年来全球信息化发展的比较热门的技术，由于它不仅能处理数据与文本，而且还能处理图形、图像、声音等信息，得到了迅速的发展。,02:43,福建工程学院软件人才培养基地,4,7.1.1 多媒体与多媒体技术,通常所说的“媒体”（Med

2、ia）有两种含义 一种是存储和传递信息的实体，如书本、挂图、磁盘、光盘、磁带以及相关的播放设备等； 另一种含义是指信息的表现形式（或者说传播形式），如文字、声音、图像、动画等。 多媒体Multimedia计算机中的媒体，主要是指信息的表现形式，即计算机不仅能处理文字、数值之类的信息，而且还能处理声音、图形、电视图像等各种不同形式的信息。,02:43,福建工程学院软件人才培养基地,5,7.1.1 多媒体与多媒体技术,多媒体技术则是指把文字、音频、视频、图形、图像、动画等多种媒体信息通过计算机进行数字化采集、获取、压缩解压缩、编辑、存储等加工处理，然后以单独或合成形式表现出来的一体化技术。 多媒体

3、系统是在计算机控制下对多媒体信息进行处理、编辑、表现、存储、通信和集成的信息系统。,02:43,福建工程学院软件人才培养基地,6,7.1.1 多媒体与多媒体技术,多媒体技术的几个主要特点： 集成性: 能够对信息进行多通道统一获取、存储、组织与合成 控制性: 处理和控制多媒体信息，并按人的要求以多种媒体形式表现出来，同时作用于人的多种感官 交互性: 使用如键盘、鼠标器、触摸屏、声音、数据手套等设备，实现人对信息的主动选择和控制,02:43,福建工程学院软件人才培养基地,7,7.1.1 多媒体与多媒体技术,多媒体技术的几个主要特点： 非线性: 更灵活、更具变化的方式 实时性: 实时控制多媒体信息

4、信息使用的方便性: 可按自己的需要、兴趣、任务要求、偏爱和认知特点来使用信息，获取图、文、声等信息 信息结构的动态性: 可按目的和认知特征重新组织信息，增加、删除或修改节点，重新建立链。,02:43,福建工程学院软件人才培养基地,8,7.1.2 多媒体应用系统中的媒体元素,文本指各种字体、尺寸、格式及色彩 图形(Graphics)和图像(Image) 处理图像时一般要考虑三个因素：分辨率、图像亮度和颜色表示、图像文件大小 视频(Video)指连续播放有联系的图像数据 音频(Audio) 影响数字声音波形质量的三个主要因素：采样频率、采样精度、通道数 声音文件常用的格式有：波形音频文件、数字音频

5、文件和MPEG音频文件等 动画指用计算机生成连续播放的图像。,02:43,福建工程学院软件人才培养基地,9,7.2 多媒体计算机系统,多媒体个人计算机（Multimedia Personal Computer）一般是指能够综合处理文字、图像、动画、声音、音乐等多种媒体信息（特别是指传统微机无法处理的图像信号、音频信号和视频信号等）的个人计算机 通常是在个人计算机（PC）上增加多媒体板卡以及多媒体外部设备组成。 多媒体计算机CPU性能较高，存储容量较大，有很强的多媒体处理功能，可实现图形、图像实时处理，显示分辨率高，速度快。,02:43,福建工程学院软件人才培养基地,10,7.2.1 多媒体计算

6、机的构成,多媒体系统由多媒体硬件和软件构成。 计算机处理媒体信息时，首先通过表现媒体的输入设备将感觉媒体转换成表示媒体，并存放在存储媒体中，计算机从存储媒体中获取表示媒体信息后进行加工、处理；最后利用表现媒体的输出设备将表示媒体还原成感觉媒体。通过传输媒体，计算机也可将从存储媒体中得到的表示媒体传送到网络中的另一台计算机。,02:43,福建工程学院软件人才培养基地,11,7.2.1 多媒体计算机的构成,输入设备,输出设备,CPU,存储器,表现媒体,表示媒体,感觉媒体,感觉媒体,存储媒体,表示媒体,表现媒体,传输媒体,02:43,福建工程学院软件人才培养基地,12,7.2.2 多媒体计算机的硬件

7、构成,多媒体接口卡：有声卡、语音卡、视频压缩卡、视频捕获卡、视频播放卡、光盘接口卡、图像扫描仪接口卡等 多媒体CPU(如Intel 公司的MMX多媒体增强指令集技术可以大大提高应用程序对二维三维图形和图象的处理能力) 多媒体输入设备：键盘、鼠标、音频、视频、图像等。 输出设备：显示器、打印机、音频、视频。 通信设备 其他设备。,02:43,福建工程学院软件人才培养基地,13,7.2.3 多媒体计算机的软件系统,多媒体系统的软件体系结构是一个层次结构，可分为六层。 驱动程序 视频音频信息处理 多媒体操作系统 多媒体素材制作软件 开发工具著作语言 多媒体应用程序.,02:43,福建工程学院软件人才

8、培养基地,14,7.3 多媒体元素制作技术,多媒体涉及的技术范围很广，技术很新，研究内容很深，是多种学科和多种技术交叉的领域。多媒体技术的研究和应用开发主要在下列几个方面： 音频信息处理 图形图像信息处理 视频信息的处理,02:43,福建工程学院软件人才培养基地,15,7.3.1 音频信息处理,在多媒体技术中处理的信号主要是音频信号。要处理的声音媒体可分为三类。 波形声音：包含了所有声音形式，这是因为计算机可以将任何声音信号通过采样、量化、编码进行传输，在需要的时候，还可以将其恢复。 语音：一般指人说话的话音，它不仅是一种波形声音，而且还通过语气、语速、语调携带更加丰富的信息。这些信息往往可以

9、通过特殊的软件进行抽取，所以把它作为一种特殊的媒体单独研究。 音乐：音乐是一种符号化了的声音，这种符号就是乐谱，乐谱则是转变为符号媒体形式的声音。,02:43,福建工程学院软件人才培养基地,16,7.3.1 音频信息处理,音频卡(也称声卡)由数据总线驱动器、总线接口和控制器、数字声音处理器、混合信号处理器、接口电路以及多个音乐合成器等部件构成。外部接口： 线路输入口：连接录音机、CD播放机或其他音频信号用于声音录制。 话筒输入口：连接话筒，用于话筒输入。 扬声器输出口：与耳机、立体声扬声器或立体声放大器连接，用于声音输出。 MIDI和操纵杆端口：连接MIDI和标准PC操纵杆。,02:43,福建

10、工程学院软件人才培养基地,17,声卡工作原理框图,02:43,福建工程学院软件人才培养基地,18,声音的数字化转换,多媒体计算机发出的声音有两种来源。一是获取，即利用获取的语音或音乐经过数字化转换、编码后又以文件的形式保存下来，输出时再进行解码和数模转换，还原成为原来的波形；另一种是合成，计算机通过一种专门定义的语言去驱动一些预制的语言或音乐的合成器，借助合成器产生的数字声音信号还原成相应的语言或音乐。,02:43,福建工程学院软件人才培养基地,19,声音数字化示意图,声音进入计算机的第一步就是数字化，即把模拟信号转变成数字信号。连续的弯曲弧线代表模拟信号，而曲线上一个个点就是代表数字信号，用

11、一点代替一段曲线，就是数字化过程.,02:43,福建工程学院软件人才培养基地,20,声音素材的采集和制作,通过计算机中的声卡，从麦克风中采集语音生成wav文件。 通过计算机声卡的电子乐器数字接口MIDI (Music Instrument Digital Interface)，采集音乐，形成MIDI文件；或用连接在计算机上的MIDI键盘创作音乐，形成MIDI文件。 使用专门的软件抓取CD或VCD光盘中的音乐，生成声源素材后利用声音编辑软件对声源素材进行剪辑、合成，最终生成所需的声音文件。 专门用于声音编辑的软件，如Cool Edit Pro/2000、Sound Forge、Wave Edit

12、、Gold Wave等声音编辑器，对声音的录制和编辑的功能都很强大。,02:43,福建工程学院软件人才培养基地,21,7.3.2 图形图像信息处理,图形图像的基础知识 扫描仪 图象文件格式及其转换 图象素材的采集和制作,02:43,福建工程学院软件人才培养基地,22,图形图像的基础知识,图像一般用扫描仪扫描图形或照片、静态图像，并用图像编辑软件进行加工生成的。 自然界绝大多数颜色可以分解成红、绿、蓝三种色光，即色度学中三基色原理。把三种基色光按不同比例相加称之为相加混色。 彩色可用亮度、色调和饱和度来描述，通常把色调和饱和度通称为色度，因此，亮度表示某彩色光的明亮程度，而色度则表示颜色的类别与

13、深浅程度。,02:43,福建工程学院软件人才培养基地,23,扫描仪（Scanner）,扫描仪利用光电转换原理，采取扫描的方式把普通图片颜色灰度信号转换为数字图像信号，再输入到计算机中以文件的形式保存。还可用于文字识别、图像识别等。 扫描仪可分为单色与彩色。与计算机的连接有三种接口方式：SCSI、并行打印接口EPP及通用串行总线口USB。 在扫描仪中，低频光源的光线反射到由电荷耦合器件CCD(Charge-Coupled Device)制成的光敏二极管矩阵上，形成模拟信号，然后再转换成数字信号。,02:43,福建工程学院软件人才培养基地,24,图像素材的采集和制作,可用扫描仪得到高精度的彩色图像

14、，也可用数码相机。 图像素材抓屏软件。常用的抓屏软件有HyperSnap-DX、Capture Profession、PrintKey、SnagIt等。 图形图像编辑软件有：Windows“附件”中的画笔。用于三维造型AutoCAD ，CorelDraw、Macromedia Freehand、Illustrator等都是创作和编辑矢量图形的常用软件。PhotoShop是公认的最优秀的专业图像编辑软件之一。,02:43,福建工程学院软件人才培养基地,25,7.3.3 视频信息的处理,视频及有关的基本概念 视频卡 视频文件的格式 流媒体及流式视频文件,02:43,福建工程学院软件人才培养基地,2

15、6,视频及有关的基本概念,视频信息是由一幅幅单独的称为帧(Frame)的画面序列组成，这些画面以一定的速率连续地投射在屏幕上，就可看到活动的影像。 普通的视频信号和音频一样都是模拟的，因此，必须经过数字化过程，再将数字化视频信号经过编码成为电视信号，才能录制到录像带上或在电视上播放。 视频的数据传输对数据的传输率有一定要求。如果设备的数据传输速率达不到视频数据传输的要求，视频画面就会出现间断和不连续。,02:43,福建工程学院软件人才培养基地,27,视频信息获取流程框图,02:43,福建工程学院软件人才培养基地,28,视频卡,视频卡将激光视盘机、摄像机或放像机等设备输出的视频图像信号转换成计算

16、机数字图像的主要硬件设备之一。按功能可分成以下几种类型： 视频采集卡 视频输出卡 解压卡：指的是能看VCD电影的MPEG解压卡,俗称“电影卡”。 压缩卡：主要是为制作影视节目和电子出版物用 电视接收卡,02:43,福建工程学院软件人才培养基地,29,视频采集卡的连接,02:43,福建工程学院软件人才培养基地,30,数据压缩编码,数据压缩编码是信息科学中的重要研究课题。未经压缩的数字化信息的例子： 印在B5纸上的文件，用中等分辨率(300dpi)的扫描仪采样，其数据量约为52.9Mb页。 双通道立体声激光唱盘(CD.A)，每秒钟采样的数据量为44.1103162=1.41Mb。 数字电视图像NT

17、SC制式、彩色、4:4:4采样，每帧数据量为2028Kb，每秒数据量为60.8Mb。PAL制式、4:4:4采样，每幅数据量为9.95Mb，每秒数据量为248.8Mb。 陆地卫星遥感图片按每天30幅计算，其数据量为6.36Gb，而每年的数据量则高达2300Gb。,02:43,福建工程学院软件人才培养基地,31,基于内容的压缩编码,MPEG(MovingPictureExpert Group)是国际标准化组织ISOIEC下辖的一个制订动态视频压缩编码标准的组织，它为压缩编码技术的标准化和实用化做出了巨大的贡献。针对CD-ROM的1.5Mbps传输率的MPEG-1，以及针对高清晰度电视(HDTV)的

18、6Mbps以上传输率的MPEG-2都获得了巨大的成功。目前已推出MPEG-4，并在酝酿MPEG-7。,02:43,福建工程学院软件人才培养基地,32,7.4 虚拟现实技术,虚拟现实技术的概念 虚拟现实技术的关键技术 虚拟现实技术的应用 虚拟现实建模语言VRML,02:43,福建工程学院软件人才培养基地,33,7.4.1 虚拟现实技术的概念,虚拟现实是利用计算机生成一个逼真的视觉、听觉、触觉以及嗅觉等的模拟环境(如飞机驾驶舱、分子结构世界等)，通过多种传感设备使用户“投入”到该环境中，用户可通过其感官与这一生成的虚拟实体进行交互沟通，如同与真实的环境直接进行自然交互的技术。 虚拟现实技术实现的是

19、人所感受到的虚拟幻境，所以钱学森建议把Virtual Reality的技术叫做“灵境技术”，由它构成的信息处理环境称作“灵境” 。,02:43,福建工程学院软件人才培养基地,34,虚拟现实技术的含义(1),第一，虚拟现实技术是通过计算机生成一个非常逼真的实体，逼真要达到三维的视感，甚至还包括听觉、触觉和嗅觉等。这个逼真的实体足以成为“迷惑”人类视觉的虚幻的世界，这种“迷惑”是多方面的，不仅可以看到而且可以听到、触到以及嗅到这个虚拟世界中所发生的一切。这种感觉是如此的真实，以至于能全方位地浸没在这个虚幻的世界中，这就是虚拟现实的第一个特征，即浸没感（Immersion）或临场参与感。,02:43

20、,福建工程学院软件人才培养基地,35,虚拟现实技术的含义(2),第二，虚拟现实与通常CAD系统所产生的模型是不一样的，它不是一个静态的世界，而是一个动态的、开放的环境，它可以对使用者的输入（如手势，语言命令）作出响应。如拿起一个虚拟的火炬并打开其开关，推动操纵杆，就可以在虚拟环境中的漫游，甚至还可以用虚拟的手感触到虚拟物体的存在。虚拟现实环境可以通过一些三维传感设备来完成交互动作，这是虚拟现实技术的第二个特征，即交互性（Interaction）。,02:43,福建工程学院软件人才培养基地,36,虚拟现实技术的含义(3),第三，虚拟现实不仅仅是一个媒体，一个高级用户界面，它还是为解决工程、医学、

21、军事等方面的问题而由开发者设计出来的应用软件，它以详尽的形式反映了设计者的思想。如盖一座大厦之前，先要对这座大厦的结构做细致的构思，为了使之定量化，还需设计许多图纸，反映设计者的构思。 国外有些学者称虚拟现实为放大人们心灵的工具，或人工现实（artifical reality）。这是虚拟现实技术所具有的第三个特征，即思想性（Imagation）。,02:43,福建工程学院软件人才培养基地,37,7.4.2 虚拟现实技术的关键技术,动态环境建模技术 实时三维图形生成技术 立体显示和传感器技术 应用系统开发工具 系统集成技术,02:43,福建工程学院软件人才培养基地,38,7.4.3 虚拟现实技术

22、的应用,医学 娱乐、艺术与教育 军事与航天工业 管理工程,02:43,福建工程学院软件人才培养基地,39,7.4.4 虚拟现实建模语言VRML,虚拟现实建模语言VRML (Virtual Reality Modeling Language)是一种基于文本的、在网络上使用的描述三维环境的场景描述语言，是HTML的3D(三维)模拟。它定义了3D应用中大多数常见概念，如光源、视点、动画、雾化、材质属性、纹理映射等。 VRML语言的诞生，尤其是新的VRML2.0标准，被称为第二代Web语言，它改变了原来WWW上单调、平面的缺点，将人的行动作为浏览的主体，所有的表现都将随操作者行为而改变。,02:43,

23、福建工程学院软件人才培养基地,40,7.5 多媒体技术的应用,教育与培训 咨询和演示 多媒体电子出版物 多媒体电子娱乐与服务 管理信息系统（MIS） 多媒体监控及监测系统 视频会议系统 计算机支持协同工作（CSCW） 视频服务系统 对自然语音进行分析。,02:43,福建工程学院软件人才培养基地,41,未来多媒体发展的几个趋势,虚拟现实(Virtual Reality) 超媒体(Hyper media) 多媒体通讯网络通信等。多媒体加上通讯网络将是多媒体未来发展的重点。,02:43,福建工程学院软件人才培养基地,42,习题（p215）,4归纳计算机图像和图形的区别。 6什么是计算机动画，常用的动

24、画制作软件有哪些? 7目前常用的声音文件有哪些格式，音频处理技术包括哪些内容? 10多媒体技术的应用有哪些领域?,02:43,福建工程学院软件人才培养基地,43,7.2.4 多媒体计算机的存储技术,多媒体光存储系统是由光盘驱动器和光盘存储器组成。 网络附加存储NAS(Network Attached Stored)是一种特殊的专用数据存储服务器，可提供跨平台文件共享功能。NAS设备完全以数据为中心，将存储设备与服务器彻底分离，集中管理数据，提高了网络整体性能，有效降低总拥有成本。 存储局域网是把存储设备和挂在TCP/IP局域网上的服务器群相连。当有海量数据的存取需求时，数据可以通过存储局域网在

25、相关服务器和后台存储设备之间高速传输。,02:43,福建工程学院软件人才培养基地,44,多媒体数据压缩的发展趋势,压缩编码的理论基础是信息论。压缩编码的发展历程实际上就是以申农信息论为出发点，并不断克服其缺陷的过程。编码方法可以分成三类： 考虑图像信源的统计特性：采用预测编码方法、变换编码方法、矢量量化编码方法、子带小波编码法、神经网络编码法等。 考虑人眼视觉特性：基于方向滤波的图像编码法、基于图像轮廓纹理的编码法。 考虑图像传递的景物特征：采用分形编码方法、基于模型的编码方法。,02:43,福建工程学院软件人才培养基地,45,基于内容的压缩编码,MPEG-4的初衷是针对视频会议、视频电话的超

26、低比特率编码，MPEG-4新的目标就确定为：支持多种多媒体应用(主要侧重于对多媒体信息内容的访问)，可根据应用的不同要求现场配置解码器。编码系统是开放的，可以随时加入新的有效的算法模块。这对于以前基于专用硬件的压缩编码方法来说都是不可想象的。,02:43,福建工程学院软件人才培养基地,46,基于内容的压缩编码,MPEG-7实际是“多媒体内容描述接口“，主要针对基于内容检索的需求。MPEG-7从某种意义上来说是基于MPEG-4的。从MPEG组织公布的1998年正式推出MPEG-4标准和2000年推出MPEG-7标准来看，根据计算机视觉理论和技术的发展，物体基方法将是MPEG-4和MPEG-7主要考虑的算法。,