第一部分多媒体技术概述.ppt

《第一部分多媒体技术概述.ppt》由会员分享，可在线阅读，更多相关《第一部分多媒体技术概述.ppt（33页珍藏版）》请在三一文库上搜索。

1、第一章 多媒体技术概述 本章的讲解包括两个部分： 第一部分 媒体与多媒体数据流 第二部分 多媒体计算机技术概述 本本 章章 重点讲述重点讲述 主 要 讲 解 内 容 2 2 2 2 内容简介 第一部分第一部分 媒体与多媒体数据流 第二部分第二部分 多媒体计算机技术概述 本部分介绍多媒体系统的基本概念和多媒体系统的组成要素，首先对 多媒体这个术语的含义进行界定，然后对不同的媒体特征进行描述， 并指出多媒体系统的重要特性，最后介绍多媒体系统中的数据流特征 和逻辑数据单元(LDU, Logical Data Unit)。 概述多媒体计算机的定义、分类、现状及发展趋势。 Part 1. 媒体与数据流

2、1.1.1 媒体的概念与分类 1.1.2 多媒体系统的主要特征 1.1.3 多媒体的概念 1.1.4 传统的数据流特性 1.1.5 连续媒体的数据流特性 1.1.6 信息单元 本部分介绍多媒体系统的基本本部分介绍多媒体系统的基本 概念和多媒体系统的组成要素，首概念和多媒体系统的组成要素，首 先对多媒体这个术语的含义进行界先对多媒体这个术语的含义进行界 定，然后对不同的媒体特征进行描定，然后对不同的媒体特征进行描 述，并指出多媒体系统的重要特性述，并指出多媒体系统的重要特性 ，最后介绍多媒体系统中的数据流，最后介绍多媒体系统中的数据流 特征和逻辑数据单元特征和逻辑数据单元(LDU, Logica

3、l (LDU, Logical Data Unit)Data Unit)。 4 4 4 4 1.1.1 媒体的概念与分类 l媒体的概念 l媒体的类型 感知媒体(The Perception Medium) 表示媒体(The Representation Medium) 表现媒体(The Presentation Medium) 存储媒体(The Storage Medium) 传输媒体(The Transmission Medium) 信息交换媒体(The Information Exchange Medium) 一般说来，媒 体是一种信息发 布和表现的方法 ，如文本、图形 、语音、音乐等 ，

4、也可以将水和 空气加入媒体范 畴。 根据ISO IEC JTC1/SC29标准 ，媒体可以划分 成6种类型。 帮助人来感知 环境。 要解决的主要 问题是：人在计 算机环境中如何 感知信息? 视、听 用信息的计算 机内部表示来 刻画。 要解决的主要 问题是：计算 机信息如何编 码? PCM, MPEG, 指信息输入 / 输 出的工具和设备 。 要解决的问题是 ：信息通过何种 媒体输入到计算 机中或从计算机 中输出? 喇叭、摄像机 是指能支持信息存 储的数据载体，数 据存储并不局限于 计算机的部件，例 如，纸也是一种存 储媒体。 要解决的问题是： 信息存储力：什么 地力? 缩微胶片、软盘、 CD-

5、ROM 传输媒体用于 传输数据信息 ，它们支持连 续媒体的数据 传输，存储媒 体不属于传输 媒体的范围。 要解决的问题 是：在什么上 而传输信息? 网络、光纤、 无线通信 信息交换媒体包括所有 用于传输和存储的信息 载体。 要回答的主要问题是： 在不同地点之间使用哪 种信息载体来进行信息 交换? 三个答案：通过中间存 储媒体、使用计算机网 络、组合使用存储媒体 和传输媒体(如电子邮 件系统)。 5 5 5 5 媒体的概念与分类(cont.) l表示值与描述空间(The Representation Values much; multiple Medium : lat. : middle An

6、intervening substance through which something is transmitted or carried on; A means of mass communication such as newspaper, magazine, or television. from American Heritage Electronic Dictionary, 1991 集成性集成性 交互性交互性 同步性！同步性！ 8 8 8 8 1.1.4 传统的数据流特性 l在分布式多媒体通信系统中，信息的交换是伴随着连续媒 体和离散媒体数据的传输产生的 l传输媒体的信息类型的

7、差异使得数据流间的特征差异很大 l在计算机通信相交互领域中有三种传输模式 异步传输模式(ATM, Asynchronous Transmission Mode) 同步传输模式(STM, Synchronous Transmission Mode) 等时传输模式(ITM, Isochronous Transmission Mode) n信息的传送不受时间条件的约束，数据包总是尽可能快地被送达接收端； n例子：互联网上电了邮件的传输协议、以太网； n特点：所有离散媒体信息都可以作为异步数据流来传输，而传输连续媒体，则必须 使用其他技术来提供时间约束。 等时传输模式对于每个包的端到端延时在规定一个最

8、大值之外还规定一个最小值。 这就意味着单个包的延时跳动被限定在了一个更小的范围内。 在这种模式下，上例子中的接收端所需缓存就大大减小了，当然还要把数据路由经 过的从起点到终点间所有中间部件中的存储都考虑在内。 同步传输模式为数据流中的每个数据包规定了一个端到端的最大延时，包可以在早 于这个最大延时的任意时刻到达接收端，但绝对不能超过这个最大延时，这样多媒体 应用的一个重要要求-端到端(End-to-End)最大延时就得到了保证。 另外在支持同步传输模式的局域网上还可以进行音频信号传输。使用检索方式 (Retrieval Mode)传送未压缩的视频数据的重要特征是具有较高的数据速率，相应也有 较

9、大的端到端延时。典型的数据速率是140Mb/s、最大延时1秒，所以在极端情况下， 包可以提前1秒被送达，这样就需要一个缓冲存储来保存这些数据如果按上面的数据 速率这个缓冲需要有17.5兆字节。 9 9 9 9 1.1.5 连续媒体的数据流特性 l传输中相邻数据包间的时间间隔 如果相邻包之间的时间间隔是一个 常量，那么这个数据流就是强周强周 期性期性的，也就是说时间间隔的变化 值为0 如果两个相邻包之间的时间间隔长 度不是常数(否则就是强周期数据 流)。但可以用一个有固定周期的 函数来描述，那么就称这种数据流 为弱周期性弱周期性的 以其他时间间隔形式传输的数据 称为非周期非周期数据流 10101

10、010 连续媒体的数据流特性(cont.) l传输中相邻数据包数量的变化 在数据流的生命周期中，数据包的大小没有改变，则称该数据流是强规则强规则的。未压 缩数据的传的具有这种典型特征，例如以未压缩形式传输的视频数据流以及CD中的 音频数据流。 如果包的数据量随时间作周期性的变化，就称这种数据流为弱规则弱规则的。按以下压缩 方法进行压缩的视频数据的数据流是弱规则的：对视频序列中的某些图像单独压缩编 码，使之成为数据流中相对较大的包（不考虑网络对包长度的限制），并使这些包以 一定的时间间隔(如2秒)在数据流中周期性地出现，而在这些时间间隔内传送的是图 像的附加包，它包含两幅相邻压缩的图像间的差别。

11、 如果数据包的数据量既不恒定也不依某个周期函数变化，那么就称这个数据流为不规不规 则则的，这种情况下的数据传输与处理就更为复杂。在对数据流进行压缩时，数据流有 一个可变的位率，从单幅图像得来的单个包的大小取决于前一幅变化图像的内容。这 样产生的信息单元的大小就与视频序列的内容有关，从而使得数据流变成不规则。 11111111 连续媒体的数据流特性(cont.) l包的连续性 连续传输：所有的包都紧跟在前 一个包后面传输，中间没有空隙 ，必要的附加倍息(如误差控制代 码)也在其中，这样就100%地利用 了系统资源。以这种连接方式传 输的数据流可以获得最大的数据 吞吐量并最大限度地利用系统资 源。

12、ISDN中传送音频信息的 64kb/s的B通道采用的就是这种传 输力式。 首尾相接的数据包在传输时如果 通道的容纳能力大于数据的输入 速率，包与包之间就会出现空隙 ，如图2.8所示。这种在信息单元 间有空隙的数据流称为非连续数 据流，但空隙是否存在于所有的 包之间以及空隙的长度是否变化 并不重要。例如，经JPEG编 码平均数据传输速率为1.2Mb/s 的数据流，在FDDI网上传输时包 之间会产生空隙。 12121212 1.1.6 信息单元 l连续媒体是由与时间有关的独立信息单元的 序列构成的，我们称这样的信息单元为逻辑 数据单元(LDU，Logical Data Unit) l例如： （1）

13、举Joseph Hoydn的交响乐“The Bear”为例，它分为4个乐句：vivace assai，a11egretto和finate vivace。每一乐句都是整首交响乐中独立的一个部 分、由各种乐器的演奏音符组成。在数字系统中，音符是用一系列的采样 值来表示 的(这里不考虑压缩)。CD-DA质量的声音每秒有44l00次采样，每 个采样值用16位编码。在CD上，这些采样值被组织成许多1/75秒的小单元 ，所以既可以把LDU看做整首交响曲，也可以把它看做独立的乐句、1/75秒 的采样单元或者就是采样值，这取决于不同的应用需要。例如对于播放整 首交响乐的应用，LDU就是整首交响曲。有些应用会把

14、有意义的最小单元 作为LDU(在这里是音符)，数字系统则把采样点看成LDU。 （2）再举视频图像为例。未经压缩的视频序列 由表示场景的视频片断组成如图2.9所示。一个 场景是由一系列国像组成的，一幅图像又可以被划 分为16l6像素的小块，而每个像素的信息又是由 亮度值和色度值来表示的。因此，视频序列的LDU 并不局限于是单幅图像，它可以是场景也可以是像 素。使用DVI或MPEG编码方法可以用帧间压缩的 方法消除视频序列的冗余，在这个应用中，能自我 包含的有意义的最小单元是图像序列本身。 粒度粒度这个概念用来描述音频和视频数据流层这个概念用来描述音频和视频数据流层 次划分的细密程度。在上述例子中

15、，最常见次划分的细密程度。在上述例子中，最常见 的名字也是最显而易见的信息单元是交响乐的名字也是最显而易见的信息单元是交响乐 和影片，但也可根据时间长度做出其他类型和影片，但也可根据时间长度做出其他类型 的的LDULDU划分。预先确定时间长度的划分。预先确定时间长度的LDULDU称为称为 闭合闭合LDULDU。计算机中的音频采样数据流就是。计算机中的音频采样数据流就是 闭合闭合LDULDU数据流。不能预先确定时间长度的数据流。不能预先确定时间长度的 IDUIDU称为称为开放开放LDULDU，由摄像机或麦克风传向，由摄像机或麦克风传向 计算机的数据流就是开放计算机的数据流就是开放LDULDU数据

16、流。数据流。 第二部分 多媒体计算机技术概述 概述多媒体计算机的定义、分类、现状及 发展趋势。 要点： 1. 多媒体计算机的定义、分类和关键技术 2. 从多媒体计算机的分类看家电制造厂商研 制的电视计算机， “灵巧”电视Smart TV 3. 从多媒体计算机的分类看计算机制造厂商 研制的计算机电 视，TV-Killer 14141414 主要讲述内容 1.2.11.2.1 多媒体计算机的定义和关键技术 1.2.21.2.2 多媒体技术促进了通讯、娱乐和 计算机 的融合 1.2.31.2.3 多媒体计算机技术的发展和应用 1.2.1 多媒体计算机的定义和关键技术 多媒体计算机技术定义 多媒体计算

17、机的分类 多媒体计算机的关键技术 16161616 多媒体计算机技术定义 多媒体计算机技术 (Multimedia Computing) 定义定义：计算机综合处理多种媒体信息(文本、图 形、图像、音频和视频)，使多种信息建 立逻辑连接，集成为一个系统并具有交 互性。 计算机综合处理声、文、图信息 具有集成性和交互性 17171717 多媒体计算机的分类多媒体计算机的分类 从开发和生产厂商以及应用的角度出发可以分 成两大类： 电视计算机电视计算机（Teleputer） 家电制造厂商研制的电视计算机，是把CPU放到家电中 ，通过编程控制管理电视机、音响，有人称它为“灵巧/智能” 电视Smart T

18、V； 计算机电视计算机电视（Compuvision） 计算机制造厂商研制的计算机电视，采用微处理器（ 8086、68）作为CPU，其它设备还有VGA卡、CD-ROM 、音响设备以及扩展的多窗口系统，有人说它的发展方向是 TV-Killer。 18181818 节目流通过网络接口模块（NIM）进入核心处理芯片STB01X0； 在STB01X0中，解复用、解压缩、再NTSC/PAL编码； 得到的视频送到电视，得到的音频流经过D/A转换输出； 控制各存储器SDRAM(用于视音频缓存)，Flash/DRAM(用于系统处理)； 接收遥控器信号等的处理由Peripherals外设部分接收，STB01X0协

19、调处理。 Red Wood III机顶盒平台 19191919 多媒体计算机的关键技术 要把一台普通的计算机变成多媒体计算机要解 决的关键技术是： 视频音频信号获取技术； 多媒体数据压缩编码和解码技术； 视频音频数据的实时处理技术； 视频音频数据的输出技术。 1.2.2 多媒体技术促进了通讯、娱乐和 计算机的融合 现代化社会人的工作 方式和特点是： 群体性、交互性 分布性、协作性 21212121 TimeTime User ScaleUser Scale ControlControl Single UserSingle UserMultiple UserMultiple User (Grou

20、p)(Group) SynchronousSynchronousAsynchronousAsynchronous DistributedDistributedCentralizedCentralized GroupGroup DecisionDecision MakingMaking Conference Room Conference Room MeetingMeeting Face-to-Face Face-to-Face MeetingMeeting Group CSCWGroup CSCW Desktop Desktop TeleconferencingTeleconferencing

21、 TelephoneTelephone Tele-MentoringTele-Mentoring Electronic MailElectronic Mail Bulletin BoardBulletin Board Collaborative Collaborative Software Software DevelopmentDevelopment Collaborative Collaborative Document EditingDocument Editing Group Schedule Group Schedule ManagementManagement 多媒体协同计算的多维

22、空间表示多媒体协同计算的多维空间表示 22222222 多方协作的任务多方协作的任务- -活动模型活动模型 合作层 合作项目 任务层 任务网络 活动层 活动序列 CollaborationCollaboration T1T1 T2T2 T3T3 T4T4 T5T5 A1A1A2A2 A3A3 A4A4 A5A5 A6A6 A7A7 A8A8 CollaborationCollaboration CollaborationCollaboration 23232323 多媒体通讯分类 1. 对称的全双工的多媒体通讯 如分布式多媒体信息系统、视频会 议系统及计算机支持的协同工作系统； 2. 非对称全

23、双工的多媒体通讯系统 如交互式电视系统（ITV）、点播电 视系统（VOD）、远程教育系统、远程医 疗诊断系统及及远程图书馆。 24242424 1. 多媒体数据压缩（越小越好） 二、多媒体通讯的关键技术 2. 高速数据通讯问题（频带越宽越好） 尤其是视频会议系统要解决视频 会议系统的国际标准问题。 25252525 26262626 1.2.3 多媒体计算机技术的发展和应用 进一步完善计算机支持的协同工作 环境CSCW 智能多媒体技术 把多媒体信息实时处理和压缩编码 算法作到CPU芯 片中 28282828 分布式多媒体协同编著系统界面 私人编辑窗口权限控制窗口 协同编辑窗口发言人视频图像 2

24、9292929 智能多媒体技术 计算机人工智能 中间地带中间地带 用交互式弥补计算机智能的不足 智能多媒体数据库的核心技术： 将具有推理功能的知识库与 多媒体数据库结合起来，形成智 能多媒体数据库。 30303030 Content-based Retrieval 猜！猜！ 猜！猜！ 猜猜 ！ 31313131 多媒体计算机硬件 从目前的发展趋势看可以把这种 芯片分成两类： 1. 以多媒体和通信功能为主，融合 原有的计算功能。 2. 以通用CPU计算功能为主，融合 多媒体和通信功能。 32323232 Mpact 多媒体处理器功能图 33333333 Intel MMX的核心技术 lMMX技术提供了面向多媒体和通信应用的 新特性，新特性如下： 增加了新的数据类型；把较小的数据元素的数 据类型合并到一个寄存器中； 扩充了饱和型运算方式：定点运算时上溢下溢 不中断，保持最大最小值； 扩充的57条新的指令：扩充的MMX指令系统采 用SIMD形式完成寄存器中所有数据元素的并行 操作； 与I A结构的全兼容性：八个64位MMX寄存贮组 可映射到IA结构的浮点寄存器中。