《论文（设计）--视频编解码方案介绍及研究.doc》由会员分享，可在线阅读，更多相关《论文（设计）--视频编解码方案介绍及研究.doc（6页珍藏版）》请在三一文库上搜索。
1、 课 程 论 文题 目: 视频编解码方案介绍及研究 摘要随着网络和多媒体技术的迅猛发展，宽带多媒体应用受到人们的广泛欢迎，P2P技术的引入使得大规模流媒体的部署和应用成为可能。然而，视频巨大的数据量对网络带宽的占用、网络服务质量、传输实时性等方面提出了更高要求。此外，现有接入网络的异构性导致的服务能力差异，以及用户随时加入或退出而造成的服务网络拓扑动态变化等问题给P2P流媒体系统的设计带来极大挑战，传统的生成单流的视频压缩技术已不能满足用户需求。多描述编码与分层编码都生成多个压缩子流，不同的是，分层编码的基本层数据丢失则增强层将毫无用处；而多描述编码生成的各个子描述地位相同，任一子流都能独立解
2、码重建原始视频。多描述编码不仅能降低系统延时，还能使得视频的传输与现有网络基础架构更匹配。本文研究了各种多描述编码算法并设计了视频图像空间亚采样加H.264编码的多描述编码方案，将标清格式的视频节目划分为4个码率低于ADSL上行链路带宽的子描述，以适应现有接入网络的异构性关键词：视频编码研究H.264如何在现有网络基础设施条件下，设计合理可行的多描述视频编解码方案是本文的主要工作之一，设计时主要考虑两个问题：(1) 编码端应将视频编成几个描述；(2) 如何划分子描述，即具体的多描述编码算法。一多描述视频编解码方案设计1.1 子描述数目的确定一般来说，子描述个数越多，解码端解码的可能性越大，然而
3、系统的复杂度也随之变高，且由于冗余的存在，编码效率越低。现有的城域网中，70%的用户使用ADSL接入。由于ADSL网络上下行链路带宽不对称，下行链路带宽是上下链路带宽的4倍。为最大程度地利用ADSL的网络带宽进行数据分发，同时兼顾系统的复杂度及编码效率，设定本文多描述编解码方案的描述个数为4。这样，通过一定的多描述编码算法，使得每个子描述的码流低于ADSL的上行链路带宽，以确保每个ADSL用户至少能够为其他用户提供一个子描述，其他高带宽用户也能根据需要提供1个或多个子描述。此外，由于所有子描述的码流之和低于ADSL的下行链路带宽，则ADSL接收端有能力接收到所有的描述进行解码合并，达到最佳视频
4、重建质量。1.2 多描述编码算法目前，国内外学者已经提出了众多多描述编码算法（详见2.4节）。这些算法中提供2个描述的编码方案居多，较难扩展到多于2个描述的情况。部分算法提出多个描述划分的方案32，但实现复杂度高，难以应用于实时系统中。此外，在P2P VOD的实时应用系统中，多描述解码的速度也是必须考虑的因素之一。从算法可行性、实现复杂度、解码速度等实际因素考虑，本文选用最简单直接的基于空间亚采样的多描述编码方案，其基本思想如下：对原始视频序列中的每一帧进行象素级的空间1/4亚抽样，生成4个低分辨率的视频子流，对每个视频子流进行独立的压缩编码，生成最终的4个多描述子流。采用不同的信道对4个多描
5、述子流进行传输。客户端对接收到的n（n=4）个子描述分别进行相应的压缩解码，生成n个低分辨率的视频子流，对其中的每一帧按照空间亚采样的顺序进行合并，得到重建视频。由于传输中的包丢失不可避免，在合并第m帧的数据时，若有子描述丢失，则使用相应的插值算法获得质量可接受的重建帧。在本文系统中，采用YUV 4:2:0格式、标清大小（720576）的视频序列。对原始视频序列进行空间1/4下采样之后，每个子序列的码率仍然较大：36028881.52529.7Mbps。此外，进行空间亚采样后，相邻象素间的相关性降低，运动补偿的效率也大大降低。为了保证每个子描述的码率低于512kbps，本文采用当前同等图像质量
6、下压缩码率最高的H.264编码方案。图4-3给出本文的多描述编解码模型：图4-1 基于空间亚采样的多描述编解码模型由于YUV图像存储格式，H.264编码标准与本文算法的实现密切相关，在随后的章节中对YUV图像格式及H.264编码标准进行简要介绍。二YUV图像格式简介YUV格式（亦称YCrCb）是被欧洲电视系统所采用的一种颜色编码方法，主要用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。其中，Y表示明亮度，即灰度值；而U和V表示的则是色度，作用是描述影像色彩及饱和度，用于指定象素的颜色。YUV的优点之一是，色度频道的采样率可比Y频道低，同时不会明显降低视觉质量。2.1 YUV主要采样格式Y
7、UV主要有四种采样格式，如图4-2所示（色度分量用圈表示，亮度分量用叉表示）：图4-2 YUV主要采样格式1） YUV 4:4:4YUV三个频道的采样率相同，因此在生成的图像里，每个象素的三个分量信息完整（每个分量通常8比特）。2） YUV 4:2:2每个色差频道的采样率是亮度信道的一半，所以水平方向的色度抽样率只是4:4:4的一半，即2:1的水平下采样，没有垂直下采样。对于每两个U样例或V样例，每个扫描行都包含四个Y样例。3） YUV 4:1:14:1:1的色度抽样，是在水平方向上对色度进行4:1抽样，没有垂直下采样。对于每个U样例或V样例，每个扫描行都包含四个Y样例。对于低端用户和消费类产
8、品这仍然是可以接受的。4） YUV 4:2:04:2:0并不意味着只有Y，Cb分量而没有Cr分量，它指得是对每行扫描线来说，只有一种色度分量以2:1的抽样率存储。相邻的扫描行存储不同的色度分量，也就是说，如果一行是4:2:0的话，下一行就是4:0:2，再下一行是4:2:0.以此类推。对每个色度分量来说，水平方向和竖直方向都是2:1下采样，所以可以说色度的抽样率是4:1。2.2 YUV存储格式YUV存储格式34主要分为打包（packed）YUV和平面（planar）YUV两种：打包YUV格式中，亮度分量Y、两个色度分量U和V是紧挨着存放在一个单独的矩阵中的；而平面YUV格式把Y、U、V三个分量分
9、别存放在不同的矩阵中，每一个矩阵看作是一个平面，最终看到的图像是将三个平面融合在一起得到的。对于YUV4:4:4格式而言，采用打包格式是很合适的，但YUV另外几种格式都是通过亚采样来获得的，其亮度分量与色度分量的分辨率不相同，大都采用平面格式存放。下面以44大小的图像为例，分别给出YUV4:4:4打包矩阵以及两种YUV4:2:0格式I420及YV12的平面矩阵。图4-3 44大小4:4:4打包YUV矩阵图4-4 两种YUV4:2:0格式的平面矩阵可见，在I420平面格式的YUV矩阵中，所有的Y样本以unsigned char的数组形式出现在内存的最开始，接下来就是所有的U（Cb）样本，步幅是Y
10、的一半，而且有一半Y的行数；接下来是所有V（Cr）样本，和V有同样的步幅行数。YV12跟I420的差别仅在于U和V的存储次序不同。三H.264标准简介H.264/MPEG-4 AVC35是1995年自MPEG-2视频压缩标准发布以后的最新、最有前途的视频压缩标准，由ITU-T和ISO/IEC的联合开发组共同开发。通过该标准，在同等图象质量下的压缩效率比以前的标准提高了2倍以上，因此，H.264被普遍认为是最有影响力的行业标准。3.1 H.264的特征H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式，但它采用“回归基本”的简洁设计，不用众多的选项，就可以获得比H.263+好的多的
11、压缩性能。加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理，应用范围较宽，以满足不同速率、不同解析度以及不同（存储）场合的需求。它既保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点。1) 低码流(Low Bit Rate)：和MPEG2和MPEG4 ASP等压缩技术相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3； 2) 高质量的图象：H.264能提供连续、流畅的高质量图象；3) 容错能力强：H.264提供了在不稳定网络环境下解决容易发生的丢包等错误的必要工具；4) 网络适应性强：H.264提
12、供了网络适应层(NAL: Network Adaptation Layer)，使得H.264的文件能容易地在不同网络上传输(例如互联网，CDMA，GPRS，WCDMA，CDMA2000等)。3.2 H.264的档次H.264着重于解决压缩的高效率和传输的可靠性，其应用面十分广泛。具体说来，H.264规定了三种档次，并支持一类特定的应用。1) 基本档次( baseline profile)：利用I片和P片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码(CAVLC)。主要用于可是电话、会议电视、无线通信等实时视频通信。2) 主要档次( main profile)：支持隔行视频
13、，采用B片的帧间编码和采用加权预测的帧内编码；支持利用上下文的自适应的算术编码(CABAC)。主要用于数字广播电视与数字视频存储。3) 扩展档次( extend profile)：支持码流之间有效的切换(SP和SI片)、改进误码性能(数据分割)，但不支持隔行视频和CABAC，主要应用于流媒体。各个档次具有不同的功能，扩展档次包括了基本档次的所有功能，而不能包括主要档次的全部功能。每一档次设置不同的参数(如取样速率、图像尺寸、编码比特率等)，得到对应的编解码器性能的不同级。3.3 H.264的编码数据格式H.264支持4:2:0的连续或隔行视频的编码和解码，算法在概念上可以分为两层：视频编码层(
14、VCL: Video Coding Layer)和网络提取层（NAL: Network Abstraction Layer）。VCL负责高效的视频内容表示，包括核心压缩引擎和块、宏块及片的语法级别的定义，它的设计目标是尽可能地独立于网络的情况下进行高效的编解码；而NAL则负责将VCL产生的比特字符串适配到各种各样的网络和多元环境中，它覆盖了所有的片级别以上的语法级别，同时支持以下功能：独立片解码、起始码惟一保证、SEI以及流格式编码数据传送。H.264的编码视频序列包括一系列的NAL单元，每个NAL单元包含一个原始字节序列负荷（RBSP）及一组对应于视频编码数据的NAL头信息。NAL单元序列的
15、结构如图4-5所示，其中，NAL单元的头信息定义了RBSP单元的类型，其余部分则为RBSP数据。图4-5 NAL单元序列结构H.264标准并未定义NAL单元的传输方式，实际中根据不同的传输环境选择不同的传输方式。在网络传输的环境下，编码器将每个NAL各自独立、完整地放入一个分组中。由于分组都有头部，解码器可以很方便地检测出NAL的分界，依次取出NAL进行解码。为了节省码流，H.264没有另外在NAL的头部设立表示起始位置的句法元素。如果编码数据是存储在介质（如DVD）上，由于NAL是依次紧密排列的，解码器将无法在数据流中分辨出每个NAL的起始位置和终止位置，为此， H.264草案的附录B中指明
16、了一种简单而又高效的方案。当数据流是存储在介质上时，在每个NAL前添加起始码：0x000001。在某些类型的介质上，为了寻址的方便，要求数据流在长度上对齐，或必须是某个常数的倍数。考虑到这种情况，H.264建议在起始码前添加若干字节的0来填充，直到该NAL的长度符合要求。在这样的机制下，解码器在码流中检测起始码，作为一个NAL的起始标识，当检测到下一个起始码时，当前NAL结束。H.264规定当检测到0x000000时也可以表征当前NAL的结束，这是因为连着的三个字节的0中的任何一个字节的0要么属于起始码，要么是起始码前面添加的0。在一些应用中，视频编码需要和音频及相关信息一起传输或存储，这就需
17、要一些实现的机制，目前常用的是RTP/UDP协议协同出现。H.264实际应用是否成功取决于编解码器的设计和编码参数的选择。小结在现有网络基础设施条件下，设计能应用于P2P VOD系统合理可行的多描述视频编解码方案是当前研究热点也是难点所在。我们从算法可行性、实现复杂度、解码速度等实际因素考虑，采用对视频图像空间进行1/4下采样并对4个低分辨率视频分别进行H.264的编码方案，生成4个可独立解码的子描述。本文中采用YUV 4:2:0格式720576大小的视频序列作为输入数据，由于在对图像空间进行1/4下采样时涉及到YUV图像的存储格式，而在对亚采样后的低分辨率序列进行H.264编码后，其码流格式涉及到.264数据的打包、传输及解码检测。因此，本文在4.2节及4.3节分别对YUV图像格式及H.264编码标准做了简要介绍。- 6 -