铁路供电生产远程督导系统—电气自动化毕业设论文.doc

《铁路供电生产远程督导系统—电气自动化毕业设论文.doc》由会员分享，可在线阅读，更多相关《铁路供电生产远程督导系统—电气自动化毕业设论文.doc（55页珍藏版）》请在三一文库上搜索。

1、甘肃有色冶金职业技术学院毕业论文甘肃有色冶金职业技术学院毕业论文 铁路供电生产远程督导系统铁路供电生产远程督导系统 现场终端图像采集与处理技术研究现场终端图像采集与处理技术研究 RailwayRailway powerpower systemsystem The terminal image acquisition and processing 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 摘摘 要要 随着我国铁路建设的飞速发展，铁路供电段生产管辖范围越来越 宽广，技术人员应付生产现场的技术指导，疲于奔命，严重地影响了 铁路供电的高效生产。就当前生产和科学技术现状，基于 3G 无线网

2、 络的铁路供电生产远程督导系统是目前解决问题的有效手段。 论文基于 DaVinci 技术硬件平台和软件架构完成了督导系统终端图 像采集与处理技术的设计，分析了 3G 无线网络的有限带宽对图像实 时传输的限制问题，对视频处理技术提出了更高的要求既要保证 图像传输的实时性，又要保证视频图像的清晰度。结合铁路供电生产 远程督导系统终端设备的便携性和可移动性，论文研究设计了一种新 的图像处理方案两种算法协调处理图像。在目标搜索 阶段对视 频质量要求不高但需要保证较小的延时，则采用最新的 H.264 压缩算 法进行图像处理，目标锁定后允许存在一定的延时但要保证视频的清 晰度，则对图像进行分割处理传输。设

3、计通过调度终端发送指令的形 式，完成了两种算法的灵活调用，保证了图像处理的高效性。设计的 核心技术主要分为硬件设计和软件设计两大模块，硬件部分主要从视 频处理、音频处理、存储器（DDR2 和 FLASH） 、电源、USB 接口、时钟 等模块进行了具体设计；软件部分主要设计了视频处理、音频处理及 控制模块的流程图和部分代码，其中视频采集模块采用 Linux 内核的 V4L2 进行设计，实现了对视频采集设备的控制。 由于达芬奇硬件处理器 TMS320DM6446 集成了 ARM 内核和 DSP 内核， 缩小了体积、降低了成本、提高了算法处理的性能，所以论文所设计 的图像采集与处理设备具有体积小、成

4、本低、算法处理能力强等特点， 能够满足高质量视频在 3G 网络的实时传输功能 关键词关键词：远程督导；视频采集与处理；TMS320DM6446；图像分割； H.26 ABSTRACTABSTRACT With the rapid development of Chinas railway system, the scope of management of railwaypower feed section becomes more wider. It makes technicians become exhausted to give technical guidance for const

5、ruction, which affects the production of railway power supply seriously. Considered the current situation of manufacture and technology, so far, the railway remote steering system based on 3G wireless network is an effective way to solve the problem. This article designs the image acquisition and th

6、e terminal of processing technology of steering system which is based on DaVinci technology hardware platforms and processing technology- not only to ensure the real-time image transmission, but then it uses the latest H.264 compression algorithm for image processing. The core technology of designin

7、g contains hardware and software modules. Hardware part designs the video processing, audio processing, memory(DDR2 and FLASH), power supply, USB interface, clock etc and draws the circuit diagram. Software part designs the flow diagram and code of video processing, audio processing and control modu

8、le, and the video capture module is designed by V4L2 of Linux kernel to control the video capture device. For DaVinci hardware processor TMS320DM6446 integrates the ARM core and DSP core, it reduces volume and cost and improves the function of the algorithm processing ,so the paper designs the image

9、 acquisition and processing equipment with smaller size, lower cost and stronger ability of algorithm processing, which is able to meet requirement of real-time transmission capabilities for the high-quality video in 3G Keywords:Keywords: remote steering; video capture and processing; TMS320DM6446;

10、image segmentation; H.264 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 目 录 1 引 言 2 1.1 铁路远程督导系统及应用.2 1.2 相关技术的发展现状.2 1.2.1 3G 无线网络发展现状.2 1.2.2 图像处理技术发展及现状2 1.3 课题研究内容及章节安排.3 2 现场图像采集与处理技术 .5 2.1 图像采集芯片简介 5 2.2 图像处理硬件平台的选择.6 2.3 达芬奇技术介绍.7 2.3.1 DaVinci 硬件结构7 2.3.2 DaVinci 软件体系9 2.4 算法12 2.4.1 H.264 压缩算法.12 2.4.2 图像分割

11、算法.13 3 图像终端硬件设计16 3.1 系统框图16 3.2 图像采集与处理模块17 3.2.1 TVP5146 与 DM6446 的硬件连接17 3.2.2 TVP5146 与 DM6446 的数据通信18 3.3 存储器模块 .20 3.3.1 DDR2 模块20 3.3.2 FLASH 模块.22 3.4 音频模块23 3.5 其他模块24 3.5.1 电源管理.24 3.5.2 USB 接口.24 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 4 图像终端软件设计 25 4.1 系统整体框架25 4.2 主线程模块26 4.3 图像线程模块27 4.3.1 图像采集驱动

12、.27 4.3.2 图像处理流程.31 4.4 音频模块34 5 总结.37 6 参考文献 38 7 致 谢.40 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 2 1 1 引引 言言 1.1 铁路远程督系统及应用 随着社会的不断发展和进步安防问题得到人们越来越高的重视。视频监控 作为安全防范系统的重要组成部分，使得人们可以远距离的观察和调度被控区 域的能力，以其直观、准确、及时和信息内容丰富等优势广泛应用于现代化小 区、交通、铁路、消防等领域。随着科学技术的不断进步和人们对监控系统要 求的不断提高，监控系统也经历了从模拟监控时代到数字化网络监控时代的飞 速发展变化。基于国内已经投入

13、商业运营的 3G 网络的无线视频监控系统具有 强大的功能，能够克服由于地理位置、布线成本和远距离监控等带来的问题。 相对于有线传输，无线传输模式具有安装方便、灵活性强、性价比高等特性， 诸多优势使得无线监控系统成为如今视频监控领域新的发展方向。 论文是基于铁路供电生产远程督导系统进行研究的，远程督导系统也算是 视频监控系统，但是跟视频监控系统又不完全一样，增加了部分功能，即在监 控的同时可以进行双向语音交流，随时指挥现场的维修进展等。铁路供电生产 远程督导系统主要具有以下优势： （1）利用远程督导系统，监控人员可以直接对出问题系统进行实时监控， 不仅能直观的监视和记录工作现场的情况，而且能及时

14、发现事故苗子并加以指 导，防患于未然； （2）使数字化存储成为可能，经过处理的视频数据可存储在磁盘阵列中或 保存在光盘中，查询十分简便快捷，也能为事后分析事故提供有关的第一手图 像资料； （3）远程督导系统是基于 3G 无线网络设计，终端设备简易携带方便，所 以适用于任何地点任何位置，可以实现图像在局域网的共享，基本上不受距离 限制，便于迅速集合众专家的力量快速完成维修工作； 此督导系统主要是针对铁路供电生产提出的，由于其终端设备体积较小、 移动性好，全球 3G 无线网络的无缝覆盖，便于调度终端的指挥等优势，系统 也可以应用于其他领域，如地震、重大交通事故突发区，井下作业的指导等， 该远程督导

15、系统具有较高的研究价值和广阔的应用前景。其总体框图如图 1.1，系统中云台控制摄像机从铁路施工现场采集图像并传至图像处理器进行 处理，处理后的视频信息通过 3G 无线网络传输至调度中心，并通过因特网实 现资源共享。督导系统涉及到现场终端的供电技术（没有电源） 、云台控制技 术、图像处理技术、3G 无线网络传输技术及调度终端的图像解码技术和资源共 享技术等。其中现场终端的图像采集与处理技术是设计重点研究的部分，其关 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 3 键是图像压缩编码和图像分割并用问题的解决，设计从软硬件两方面的研究达 到图像处理的目的。 监控 对象 图像 采集 图像处理

16、及 控制设备 云台终端供电设备 通信网 用户终端 调度终端 服务器 解码 服务器 显示 Internet网络存储 图 1.1 铁路远程督导系统结构图 1.2 相关技术的发展现状 1.2.1 3G 无线网络发展现状 无线远程监控系统指的是利用无线传输网络实现远程现场视频信号 传输的系统。无线传输网络可以是微波、卫星或移动通信网络。其中， 成本最低、灵活性最强的是移动通信网络。目前最常用的无线数据网络 中无论是 CDMA1.x 还是 GPRS 网络，其上行带宽均在 l00 kbps 以下，监 控画面的图像格式要求在 320240 以上，传输的图像连续性差无法实 现实时传输。而 3G(第三代移动通信

17、系统)是一种能提供多种类型、高质 量的多媒体业务，能实现全球无缝覆盖，具有全球漫游能力，无线视频 传输系统具有功耗低、数据量大、压缩效率高和信道容错能力强等特点。 联通的 3G 网络 WCDMA 在静止条件下速率可达 7.2M/s,电信的 CDMA2000 速率达 3.1M/s，移动 TD-SCDMA 在准静止条件下能够达到 2.8M/s 的速率， 在阻挡物等影响下网速会有所下降，但能够支持音频或低速率视频等多 媒体业务。由于 3G 网络的发展， 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 2 实现远程视频的无线传输已不再是梦想。假设在一般状态下，3G 网络的 传输速率为 2Mbp

18、s，采用 D1 格式 NTSC 制式分辨率为 720576 的图像， 且每个像素采用 24 bit，则每帧的数据量为 72057624=9953280bit，压缩比采用 150：1，则压缩后的数据量为 9953280bit/150=66355.2bit/帧，那么用 3G 无线网络传输可达的帧数 是 2Mbps66355.2bit/帧=31 帧。由此可以看出，通过图像压缩视频通 信能够保证以 30fps 的传输速率，完全满足高质量实时视频要求，由 此也可得出论文研究的可行性。 1.2.2 图像处理技术发展及现状 视频图像是对客观事物形象、生动的描述，是直观而具体的信息表 达形式，是人类最重要的信

19、息载体。随着网络、通信和微电子技术的快 速发展，图像处理系统以其直观、方便和内容丰富等特点，日益受到人 们的重视。视频图像处理产品现在正经历着从模拟化向数字化、网络化 的革命，并在科学研究、工农业生产、交通运输、资源的遥感探测、医 疗卫生等各个领域得到越来越广泛的应用。在实际的应用中，系统除了 对算法本身有较高的要求外，对视频信号的处理速度和稳定性也有一定 的要求。而目前的视频图像处理系统难以满足实时处理和稳定可靠的要 求。因此需要研制新一代的数字视频图像处理系统，两超大规模集成电 路和嵌入式软硬件技术的迅猛发展，使得研制嵌入式结构的数字视频图 像处理系统成为一个新的发展方向。基于嵌入式设备的

20、处理系统的优点 表现在：由于嵌入式系统的硬件是一个处理器和软件捆绑较为紧密、设 计专门的独立设备，不像插卡系统那样受通用计算机系统中其他软硬件 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 3 的影响，因此在性能上更稳定，且便于安装、维护，易于实现系统的模 块化设计；另一方面，由于功能的单一，只要算法选择正确，系统的实 时性就能得到保证，而且控制功能较 PC 系统容易实现。数字视频图像 处理系统不仅符合信息产业的未来发展趋势，而且代表了处理行业的未 来发展方向，蕴藏着巨大的商机经济效益，有较大的研究意义。 为了应对市场的强劲需求，基于嵌入式系统，2005 年 TI 公司推出 了 Da

21、Vinci(达芬奇)技术，其应用目标就是数字视频图像处理应用。它 将固定器件的高效率和可编程器件的灵活性结合在一起，以支持各种数 字的终端设备。TI 通过达芬奇技术提供了新的产品开发工具和支持，其 第一批处理器 TMS320DM6446 是基于 ARM926EJ-S 和 TI 最新的 C64x+DSP 的双核 SOC 架构，集成了为加速数字视频开发而专门设计的协处理器引 擎和丰富的片上外围器件。它超越了传统的开发工具和应用支持，扩展 到包含了开发数字视频所需要的基本软件架构，通过应用编程接口 （API），开发者直接调用已经编好的符合接口标准的 DSP 库程序，大 大加速了开发速度，具有较大的应

22、用前景和研究价值。达芬奇技术也是 图像采集与处理设计中所采用的关键技术。 1.3 课题研究内容及章节安排 随着我国铁路建设的飞速发展，铁路供电段生产管辖范围越来越宽 广，技术人员为应付生产现场的技术指导疲于奔命，严重地影响了铁路 供电的高效生产。就当前生产和科学技术的现状，铁路供电生产远程督 导系统是目前解决问题的有效手段。论文主要就是针对远程督导系统， 研究现场终端图像采集与处理技术，主要内容包括：调查铁路供电生产 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 4 远程督导技术的研究现状；选择合适的现场终端图像采集与处理技术； 采用当前先进、实用的技术设计现场图像采集与处理终端；其

23、中关键是 解决图像采集与处理的硬件平台和算法选择问题。 设计首先利用视频解码器 TVP5146 将 CCD 摄像头采集到的模拟信号 数字化，将数字信息传至 TMS320DM6446 芯片的视频处理子系统 （VPSS）进行预处理，然后由 ARM 端应用程序调用 DSP 端的视频处理算 法进行编码处理，最后处理后的视频数据流将通过 3G 网络进行传输。 其中督导系统的便携移动性，使得现场终端的摄像头需要先进行目标搜 索，搜索到目标并调整为合适的焦距后才会固定设备。由于搜索阶段对 视频质量要求不是很高，而设备固定后的维修阶段则需要高质量的视频 图像，考虑到 3G 无线网络带宽的有限性及视频传输的实时

24、性要求，为 了充分利用资源达到灵活处理图像的目的，设计图像处理部分时采用了 两种算法相互协作，分为搜索阶段的压缩处理算法和锁定阶段的图像分 割处理算法。搜索阶段采用最新的压缩技术 H.264 压缩标准，图像质量 略有下降但降低了延时；图像分割处理则是利用整个大背景的不变性只 对小部分的运动目标进行处理传输，由于运动目标数据流较小所以无需 对其进行图像压缩，则提高了视频质量当然会带来一定的延时，但是对 系统功能的实现影响不大。其中压缩算法和图像分割算法的调用是根据 调度中心的指令灵活切换。通过软硬件及算法的合理设计，实现了高质 量图像的有效处理并达到能在 3G 无线网络实时传输的目的。 第一章主

25、要介绍了课题研究的背景及意义和 3G 无线网络及图像处 理技术的发展现状。 第二章主要涉及到技术介绍，首先是采集芯片的简要介绍和硬件平 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 5 台的选择，然后介绍了设计使用的达芬奇技术，包括硬件平台、软件架 构及算法开发步骤，最后介绍了设计采用的压缩算法和图像分割算法的 原理。 第三章主要是图像处理系统的总体设计及各个硬件模块的设计，主 要有图像采集与处理模块、音频模块、存储模块、电源管理模块、USB 接口模块、RS232 串口模块以及时钟模块等。 第四章则是图像采集与处理的软件设计，从软件的总框架、视频线 程、音频线程和控制线程做了设计的阐

26、述。 第五章是设计的总结和展望。 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 6 2 2 现现场场图图像像采采集集与与处处理理技技术术 2.1 图像采集芯片简介 为了开发出适用于例如数字电视、移动电话等便携式、高质量及高 性能的视频产品，TVP5146 芯片相继为此应用诞生并且在市场上广泛使 用，它可以将模拟视频信 PAL、 NTSC、SECAM 制式的视频信号转化为数 字视频信号 BT.656 的 YUV 格式，是能解决绝大多数视频信号和图像信 号的 A/D 转换的高效芯片。TVP5146 支持的格式为 CVBS 信号 、Y/C 信 号、 RGB 信号 和 YPbPr 信号。TV

27、P5146 模数转换芯片有 4 路高达 10 位 精度的 A/D 转换通道，并且包含借位电路、可编程增益及偏移电路10。 视频解码芯片 TVP5146 的主要功能模块包括：模拟前端模块（有 4 路独立 A/D 转换），时钟处理模块(可进行同步检测)，I2C 总线模块， VBI 数据处理模块，CVBS、Y、RGB 及 YPbPr 信号处理模块，输出格式模 块，拷贝保护检测模块。 PAL/NTSC 等制式的模拟视频信号输入视频解码芯片 TVP5146，经过 相位电路、自动增益控制电路(AGC)后进入视频模数（A/D）转换器，最 后出来 BT.656 的 YUV 格式的数字视频信号。不同的信号具有不

28、同的处 理方式，例如：对数字化的 CVBS 信号是先进行自适应数字梳状滤波， 然后再进行亮度、色度处理；对数字化的 Y/C 信号则是并行进行亮度、 色度处理(分离出色差 Cr 和 Cb 信号)；而对数字化的 YCbCr 分量信号和 RGB 信号，则除了进行分量处理和色彩空间转换外不需要其他处理方式， 经过视频解码器处理过的数字视频信号经过 CCDC 进入解码输出控制器。 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 7 另外需要注意的是，TVP5146 输出的 10 位 YCbCr 数据格式进入 8 位 YCbCr 输入数据格式的 DM6446 时其像素最后两位将会丢失。 2.2 图

29、像处理硬件平台的选择 目前，基于 3G 无线网络的视频监控系统的终端图像采集与处理的 硬件平台主要有以下几种构架： （1）PC 机+视频采集卡方案 此方案是较早出现的数字视频监控形式，其最大的优势就是软硬件 资源非常丰富。相对 Linux 系统而言，它的软件便于开发并且开发周期 较短，硬件的维护比较容易。另外，单用硬件采集卡或者软件编码器都 可以实现视频图像的处理。其缺点不只是体积和功耗大的问题，而且成 本也很高，另外视频的布线也相当麻烦。这种方案比较适用于监控点固 定或者范围较小的场合，比如银行、监控等。 （2）MCU+DSP 双处理器方案 此方案结合了嵌入式微处理器强大的控制能力（控制系统

30、各个外围 接口）和 DSP 的编码运算能力（处理视频图像数据），一般所选 MCU 的 外围扩展能力都不错，视频图像质量由 DSP 中的算法来定，图像编码和 应用软件开发工作的同步进行缩短了开发周期。但是首先 MCU 和 DSP/ASIC 各用一块内存，增加了体积；其次，通常还需要外加可编程逻 辑器件（CPLD）或现场可编程门阵列（FPGA）来解决两个模块之间的同 步和逻辑转换问题，使得开发周期变长,还增加了一块芯片带来了功耗 的增加。这种方案比较适合用于要求设备体积较小或者监控路数较少的 场合。 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 8 （3）单片 DSP 处理器方案 基于单

31、片 DSP 视频监控终端，在单片 DSP 上集成了 MCU 和 DSP 的优 越功能，既能实现视频图像处理算法（保证实时性和质量），又能实现 系统控制功能，但是占用大量的资源的同时芯片的负荷也比较重，在实 现复杂度较高的算法时难度很大，更不用提高清晰的视频编码了。另外， 此方案很大程度的限制了能够在网络通信协议栈使用的资源。这种方 案比较适合用于对设备的功能追求不高要求但对其体积要求很严格的场 合。 2.3 达芬奇技术介绍 达芬奇技术（DaVinci）由硬件处理器 TMS320DM6446、达芬奇软件、 开发工具和技术支持系统等组件优化构成。TMS320DM6446 处理器具有最 高性能的 T

32、I 的 C64x+ DSP 内核。达芬奇处理器既包括 SoC(基于可扩展、 可编程的 DSP)，又包括了优化的加速器与外设等其他优秀的设备，满足 于视频采集与处理系统低成本、高性能和强功能的要求。达芬奇软件利 用芯片资源运行在处理器 TMS320DM6446 上，其内置于可配置的框架内， 通过流行操作系统内部已公布的应用编程接口（API）提供，以实现快 速的软件实施。达芬奇技术为了能加速厂商的设计与开发过程专门提供 了一整套的工具与套件，其中包括：入门工具、开发套件和参考设计。 达芬奇处理器上 ARM-DSP 集成开发环境(IDE)、Linux 操作系统及 DSP 工 具使得开发人员不需要重新

33、学习新的开发环境，因为它的编程环境基本 上没有变化，在一方面体现了达芬奇技术的优势，而且开发人员还能充 分利用达芬奇技术的其他优势。 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 9 2.3.1 DaVinci 硬件结构 TMS320DM6446 是 TI 公司于 2005 年 12 月推出的高度集成的双核视 频处理芯片，该芯片是 361 脚（引脚间距是 0.8mm）BGA 封装，图 2.1 是它的内部功能模块。DMSoc 包括 ARM 子系统、DSP 子系统、视频处理 子系统(VPSS)和系统控制模块；另外有交换中心资源（SCR）、外部存 储接口、电源管理和外围控制模块等。 JTA

34、G接口 CLOCK POWER/ Reset 多重管脚 系统控制 ARM CPU ARM CPU 16KB I-Cache 8KB D-Cache 16KB RAM 8KB ROM ARM子系统 DSP CPU 64KB L2 RAM 32KB L1 PRAM 64KB L1 DRAM DSP子系统 VICP Preview Histogram/3A Resizer CCD控制器 Video视频接口 在线 视频 显示 (OSD) 视频 编码 （VENC） 10b DAC 10b DAC 10b DAC VPFE VPBE VPSS 交换中心资源(SCR) EDMA 音频串 行接口 SPII2C

35、 UART x3 Timer x2 WD Timer PWM x3 USB2.0 PHY VLYNQ EMAC/ MDIO DDR2C EMIF/ NAND/ SmartMedia ATA/ Compact Flash MMC/SD 外围设备 串行接口系统 连通性 程序/数据存储器 图2.1 TMS320DM6446功能结构图 ARM 子系统采用的是工作频率达到 297MHZ 的 ARM926EJ-S 内核 CPU（管道化流水线 32bit 的 RISC 处理器），ARM 系统相当于整个系统 的 HOST，负责控制整体配置及外围的操作，甚至包括 DSP 端的算法调用。 ARM926EJ-S 使

36、用协处理器 CP15 和保护模块增强了体系结构，能处理 16bit 或 32bit 的指令和 8bit、i6bit 及 32bit 的数据，同时提供程序 和数据内存管理单元(MMU)。ARM 用独立的 16KB 指令存储和 8KB 数据存 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 10 储来保证内核周期的存取指令和数据，指令存储和数据存储都是通过 VIVJ 四路连接。另外，还有一个用来提升内核性能的写缓存，缓存数据 达 17KB。 DSP 子系统采用的是工作频率达到 594MHZ 的 TMS320C64+TMDSP 内核 的 CPU，支持 3.3V、1.8V 的 I/O 及储存器

37、接口。DSP 主要是负责视频处 理算法的编码工作，它 16bitMAC 的处理能力可达 237MMACS(AMCs per Second)，而 8bitMAC 处理能力可高达到 4752MMACS(AMCs per Second)。 DSP 系统具有 64 个 32bit 的通用寄存器和 8 个独立的功能单元 (包括 6 个算数逻辑单元及 2 个乘法器)。 DM6446 中视频处理子系统（VPSS）接口分为视频处理前端（VPFE 主要用于获取经过视频解码器处理过后的数字视频数据信息）和视频处 理后端（VPBE 主要用于压缩处理后视频的输出），视频处理子系统 （VPSS）的视频处理前端（VPFE

38、）用来连接至前方的视频解码芯片 TVP5146，提供数字视频的输入；它的视频处理后端（VPBE）可以连接 至后方的高清显示器、或者视频解码器及网络传输模块等。在芯片内部 的公共缓冲区（通过内部的 128 位总线通信）和 DMA 控制器确保了 DDR2 存储器与视频处理子系统（VPSS）的高效通信。图 2.2 为视频处理 子系统框图。 视频处理前端的输入模式主要包括以下几种： （1）一般数字接口模式，该模式主要用于数字传感器的接入； （2）ITU-RBT.656 视频流模式，该模式在视频流内嵌行场同步信号； （3）标准 YUV 模式，该模式兼容 8 位或 16 位的标准 YCbCr-4:2:2

39、格式 。 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 11 共 享 缓 冲 逻 辑 SBL 图像 缩放 引擎 预览 H3A CCD 控制器 OSD VENC 时钟 中 断 直方图 控制总线接口 VPFE VPBE 模拟输出 数字输出 CMOS/CCD/ 视频解码 器输入 图 2.2 视频处理子系统框图 视频处理后端（VPBE）主要用于数字视频数据流的输出，其接口主 要由 OSD(实现画中画并在视频上叠加音量等信息)引擎和视频编码器 （支持数字输出和模拟输出）组成。数字输出支持 24bit RGB 格式、 8/16bit BT.656 以及具有独立的水平和垂直同步能力的 CCIT.6

40、01 输出； 模拟输出支持四路 10bit DAC，均工作于 54MHz，支持符合 NTSC/PAL、S 端子和分量视频。 2.3.2 DaVinci 软件体系 达芬奇参考软件框架分为应用层(ARM)、信号处理层（DSP）和 I/O 层三部分，如图 2.3 所示，应用层供硬件平台 ARM 处理器运行，主要负 责全局的控制；信号处理层则于 DSP 处理器一侧运行，它主要负责处理 视频图像信号；I/O 层也就是驱动，主要负责运行 TMS320DM6446 处理器 外围模块的驱动程序，比如我们为图像传输系统设计的 EMIF 外设的驱 动。目前 TI 公司已经提供了一些常用的外设驱动程序，如果开发者自

41、 己的研究项目有特殊要求，则需要自己开发相应的驱动程序。应用层通 过 Codec Engine 的 VISA(视频，图像，语音，音频)API 来调用 DSP 处 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 12 理器的算法，实现图像、音频和视频的各种处理，如压缩、解压缩等， 比如要实现 H.264 算法标准，就必须调用 H.264 相关的编解码 API。 应用层 Linux等应用平台 EPSI API I/O层 针对操作系统的各种驱动 各种输入输出的硬件外设 信号处理层 DSP部分主要包括： Codecs Codec Engine DSP/BIOS 内部通信协议 V I S A A

42、 P I 图 2.3 达芬奇处理器软件结构 目前，这些 API 函数已经由 TI 公司开发完毕，开发者直接调用他 们即可，因此，对于它们的许多细节，开发者不需要了解。在此，我们 只给出 API 函数实现的步骤，如图 2.4 所示。 发布使用的Codec包 xDMNon-xDM 可执行应用程序 各种不同的Codec包 运行在DSP上的可执行程序 DSP/BIOS FC LINK XDC 各种引擎配置 Server名称Codec列表 算法工程师 Codec Server集成工程师 应用程序创建者 Codec Engine集成工程师 *.a64p *.x64p *.cfg 图 2.4 达芬奇编解码引

43、擎开发步骤 由图 2.4 可知，达芬奇 API 接口函数的软件开发有以下四个步骤： （1）在 DSP 端，利用 CCS3.3 开发相关标准的音/视频编/解码算法， 并且要编译生成一个编/解码算法的库文件（*.lib） 。另外算法实现必 须要符合 xDM 标准； （2）生成一个在 DSP 硬件平台上运行的可执行程序（.out）文件- -DSP Server； 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 13 （3）根据 DSP Server 的名字及其包含的音/视频编/解码算法创建 Codec Engine 的配置文件（*.cfg） 。由这个文件来决定 Engine 里的 codec

44、 运行在哪一侧（ARM 或 DSP） ，它还可以定义 Engine 的名字及其包 括的 codec，形成相关的 API 函数； （4）应用工程师收到不同的 codec 包、DSP Server 和 Engine 配置 文件（*.cfg） ，把自己的应用程序通过编译、连接，最终生成 ARM 侧可 执行文件。 在视频处理器中 ARM 是 HOST 负责操作系统的应用，而 DSP 主要运 行 codec 算法处理，ARM 则是通过 codec engine 机制调用 DSP 端的 codec 算法，codec engine 是介于应用程（ARM）和信号处理层(DSP)之 间的软件模块，扮演很重要的角

45、色。它是配置和运行 xDAIS 算法的 API，同时提供 VISA 接口。Codec 引擎的作用结构如图 2.5。 应用开发音视频上层应用程序 Codec Engine运行时库 Engine集成 核心Engine 运行时库 Server集成 核心Engine APIs VISA APIs 音视频编解码 stubs 音视频编解码 skeleton VISA SPIs 算法创建 编码 算法 解码 算法 Core Engine SPIs 图 2.5 Codec 引擎结构图 引入 codec engine 可以克服以下问题： （1）异构处理器环境下很复杂的调试； （2）相同的算法具有不同的实现，如果想

46、转换为更为有效的算法，将 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 14 会涉及到大量的再次编程； （3）市场上有多种多样的媒体格式，所以应用程序必须支持多个编解 码器； （4）习惯在 GPP 上编程的程序员要使用 DSP 编程，必须掌握复杂的 DSP 存储器管理和 DSP 实时问题。 2.4 算法 2.4.1 H.264 压缩算法 电视信号可以数字化是在 1948 年提出，到目前为止已经有六十多 年的历史，图像编码技术无论是在理论上还是实际应用方面都取得了很 大的成果。从最初的 H.261 视频编码到 H.262、H.263 以及 MPEG- 1、MPEG-2、MPEG-4（2

47、）等视频编码标准都有一个在尽量低的码率/存 储容量下得到最理想图像的共同目标。另外，随着 3G 无线网络的发展 市场对图像传输的需求逐渐增加，所以业界急需解决适应不同信道传输 特性的问题。为了克服这些难题，国际标准化组织 ISO/IEC 和 ITU 联手 制定了视频编解码新标准H.264。 H.264 它既是 ITU 的 H.264，又是 ISO/IEC 的 MPEG-4 的第 10 部分， 也是 DPCM 加变换编码的混合编码模式。但是它的简洁设计“回归基本” ， 不仅对信道的适应能力加强，而且还使其压缩性能比 H.263 好很多；为 了方便处理误码和丢包， “网络友好”的结构和语法为之所用

48、；而且它 能满足不同解析度、速率和传输（存储）方面的要求，所以拥有更广泛 的应用目标；另外，它还有一大优势是开放的基本系统，任何人都可以 使用没有版权。在技术方面，H.264 具有的高精度的位移估计、分层的 甘肃有色冶金职业技术学院 2014 届毕业设计（论文） 15 编码语法等许多闪光点使其编码效率相当高，在相同比特率情况下 H.264 标准重建图像的质量是 H.263 标准的 2 倍左右。在网络适应性方 面，H.264 标准增加了差错回复能力，其码流结构能够很好的适应 IP 和 无线网络的应用，也给设计的实现带来了方便。 H.264 标准定义了视频编码层（VCL）和网络抽象层（NAL）两个

49、层 次。视频编码层采用基于块的混合编码方法，通过帧间预测来减少运动 图像时域上的相关信息，通过对预测残差进行正交变换来减少运动图像 空间上的相关信息。其中视频编码层（VCL）尽可能的不依靠任何网络 特性进行视频压缩，编码后输出 VCL 数据，传输先映射到对数据输出进 行适配的网络抽象层（NAL） 。每个 NAL 单元包含原字节序列负载 （RBSP） ，接着一组数据对应的编码视频数据或 NAL 头信息。H.264 的框 图如图 2.6 所示。 控 制 数 据 视频编码层（VAL） 数据划分 网络抽象层（NAL） H.320MP4FFMPEG-2. 编码后的宏块 编码后的片/分区 图 2.6 H.264 的框架图 编码器的视频编码层（VAL）使用的是混合（变换和预测）编码方 法，帧内预测就是利用周围已经编码的像素进行预测从而减少空间上的 冗余，帧间预测则是利用上一时刻编码的像素进行预测从而减少信息时 间上的冗余。H.264 编码器的结构如图 2.7 所示，在进行压缩编码时， 首先将原始图像划分为 16*16 像素点的宏块（可以是 8*8） ，在宏块中进 甘肃有色冶金职业技术学院 2