摄像头智能车讲稿.ppt

《摄像头智能车讲稿.ppt》由会员分享，可在线阅读，更多相关《摄像头智能车讲稿.ppt（56页珍藏版）》请在三一文库上搜索。

1、摄像头寻迹智能车 图像采集与数据处理,智能车道路识别寻迹方案 摄像头寻迹智能车结构组成 摄像头寻迹智能车功能模块 图像采集传感器简介 模拟图像采集传感器 数字图像采集传感器OV7620,智能车系统总体结构组成,赛道信息的识别是车辆控制的基础，为了提高行驶稳定性和优化行车线路，很多设计都把重点放在了使传感器感知更远距离、获取更多信息上。现有赛道路径检测识别方案大体有三种：电磁寻迹方案,光电寻迹方案,摄像头寻迹方案。,电磁传感器循迹方案 电磁模型车采用电磁感应线圈来判别跑道上的电磁引导线(导线电流100mA，频率20KHz)。路径识别模块由若干个电感组成通过电磁传感器检测的磁场的大小来判断车的行进

2、角度进行赛道预测并输出电压给MC9S12XS128采集处理,控制小车各模块工作。 光电传感器循迹方案 光电模型车采用“线型检测阵列”寻线方法，将多个光电管成直线排列在智能车前端，采用巡回检测方式来寻找黑色导引线。利用单片机完成对光电管检测信号的分析处理并实现电机和舵机控制脉冲的产生。 图像传感器循迹方案 摄像头模型车采用图像传感器直接“观测” 赛道，进行信息识别寻迹，其“面型检测阵列”远多于“线型检测阵列”所能检测的信息，利用单片机进行视频信号采样处理，可有效识别出导引线的位置，区分各种道路类型并提供足够远的预判距离。,电磁寻迹模型小车,光电寻迹模型小车,摄像头寻迹模型小车,光电寻迹与图像寻迹

3、检测方案的比较,摄像头寻迹智能车系统结构组成,智能车作为一个完全自主系统，首先要完成对路径信息和速度信息的获取 然后通过对舵机和直流驱动电机的控制，实现小车的自动行驶。整个系统 以MC9S12XS128 单片机为核心，辅以电源管理模块、路径识别模块、车速 采集模块、转向舵机模块、电机驱动模块构成。,摄像头寻迹智能车硬件模块设计,MC9S12XS128 最小系统 电源管理模块 路径识别模块 车速采集模块 电机驱动模块 转向舵机模块,硬件模块设计最小系统,所谓单片机最小系统，是指在单片机外部增加尽可能少的元件电路，组成一个可以让单片机独立工作的系统。最小系统主要由以下几个部分组成： 供电电路：为单

4、片机提供+5V 的电源。 时钟电路：为单片机提供一个外接的16MHz 的石英晶振。 复位电路：通过一个复位芯片给单片机一个复位信号。 BDM 下载电路：允许用户向单片机下载和调试程序。,硬件模块设计电源管理,电源管理模块为系统其他各个模块提供所需的电源。可靠的电源设计是整个硬件电路稳定运行的基础，是智能车设计中的重要环节。设计中除了需要考虑电压范围和电流容量等基本参数之外，还要在电源转换效率、降低噪声、防止干扰和电路简单等方面进行优化。,5V稳压电路 （单片机、数字摄像头、编码器）,6V稳压电路 （舵机）,5V稳压电路 （单片机、编码器等）,12V斩波升压电路 （模拟摄像头等）,硬件模块设计车

5、速采集,常用的速度采集传感器： 1. 霍尔传感器配合稀土磁钢 2. 光电式脉冲编码器 3. 测速发电机,1霍尔式脉冲编码器 下图是三种不同结构的霍尔式转速传感器。转盘的输入轴与被测转轴相连，当被测转轴转动时，转盘随之转动，固定在转盘附近的霍尔传感器便可在每一个小磁铁通过时产生一个相应的脉冲，检测出单位时间的脉冲数，便可知被测转速。根据磁性转盘上小磁铁数目多少，就可以确定传感器测量转速的分辨率。,2光电式脉冲编码器 光电式脉冲编码器可将机械位移、转角或速度变化转换成电脉冲输出，是精密数控采用的检测传感器。光电编码器的最大特点是非接触式，此外还具有精度高、响应快、可靠性高等特点。 光电编码器采用光

6、电方法，将转角和位移转换为各种代码形式的数字脉冲，如下图所示。,3.测速发电机 此种方法检测速度准确，但测速电机体积过大且价格昂贵，其安装也不易，所以不常用这种方法。,大多数车模选择的是光电编码器。,硬件模块设计电机驱动,智能车优劣评定的重要标准就是，直道、弯道应采取不同 的速度控制策略。直接用电池电源无法实现速度控制，因此需要 用到电机驱动控制电路。 MC9S12单片机集成有PWM输出单元，可以用来控制大功率晶 体管、全桥或半桥电路，实现对电机的速度控制。,MC33886驱动电路,BTS7960驱动电路,H桥驱动电路,MC33886驱动电路,H桥驱动电路,BTS7960驱动电路,硬件模块设计

7、转向舵机,舵机内部结构 舵盘、齿轮组、位置反馈电位计、直流电机、控制电路板等。 工作原理 脉宽信号给定参考位置，舵机内部电路通过反馈控制调节舵盘角位。 舵盘角位由PWM控制信号的脉宽决定。,三线连接方式 红线： 电源线+6V 黑线： 地线 白线： PWM控制 信号,舵机标准驱动控制方法,舵机转角与PWM脉宽,实测波形（0度）,实测波形（15度）,实测波形（-15度）,实测波形（30度）,硬件模块设计路径识别,路径识别模块是智能车控制系统的输入采集单元，其优劣直接影响智能车 的快速性和稳定性。在摄像头寻迹方案中，其路径识别和道路信息是由摄像 头采集的。 摄像头又称作图像传感器，由镜头、图像传感芯

8、片和外围电路构成。 按图像传感芯片可分为CCD摄像头和CMOS摄像头；根据摄像头输出信号的 形式又可分为数字摄像头和模拟摄像头。,按感光器件类别来分，,现在市场上摄像头使,用的镜头大多为,CCD,和,CMOS,两种。其中,CCD,（,ChargeCoupledDevice,，电荷,耦合组件）,是应用在摄像、,图像扫描方面的高端技术组件，,CMOS,（,Complementary,Metal-Oxide,Semiconductor,，附加金属氧化物半导体组件）则大多应用在一些低,端视频产品中。,但是这样的定位并不表示在具体的摄像头使用时，,两者有很大区,别。,事实上经过技术改造，,目前,CCD,

9、和,CMOS,的实际效果的差距已经大大的减,小了。,而,CMOS,的制造成本和功耗都要低于,CCD,不少，,所以很多摄像头生产厂,商采用的都是,CMOS,镜头。,按感光器件类别来分，现在市场上摄像头使用的镜头大多为CCD和CMOS两种。其中 CCD（ChargeCoupledDevice，电荷耦合组件）是应用在摄像、图像扫描方面的高端技术组件，CMOS（Complementary Metal-OxideSemiconductor，附加金属氧化物半导体组件）则大多应用在一些低端视频产品中。但是这样的定位并不表示在具体的摄像头使用时，两者有很大区别。事实上经过技术改造，目前CCD和CMOS的实际效

10、果的差距已经大大的减小了。而CMOS的制造成本和功耗都要低于CCD不少，所以很多摄像头生产厂商采用的都是CMOS镜头。,摄像头分为数字摄像头和模拟摄像头两大类。模拟摄像头可以将视频采集设备产生的模拟视频信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的视频信号必须经过特定的视频捕捉卡将模拟信号转换成数字模式，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像，然后通过串、并口或者USB接口传到计算机里。 现在电脑市场上的摄像头基本以数字摄像头为主，而数字摄像头中又以使用新型数据传输接口的USB数字摄像头为主，目前市场上可见的大部分都是这种产品。,一、CCD 1简述 C

11、CD（ChargeCoupledDevice），即“电荷耦合器件”，以百万像素为单位。 数码相机规格中的多少百万像素，指的就是CCD的分辨率。 CCD是一种感光半导体芯片，用于捕捉图形，广泛运用于扫描仪、复印机以及无胶片相机等设备。与胶卷的原理相似，光线穿过一个镜头，将图形信息投射到CCD上。但与胶卷不同的是，CCD既没有能力记录图形数据，也没有能力永久保存下来，甚至不具备“曝光”能力。所有图形数据都会不停留地送入一个“模-数”转换器，一个信号处理器以及一个存储设备（比如内存芯片或内存卡）。 CCD有各式各样的尺寸和形状，最大的有22平方英寸。 2CCD的成像原理 CCD成像的过程是这样的：C

12、CD表面被覆的硅半导体光敏元件捕获光子后产生光生电子，这些电子先被积蓄在CCD下方的绝缘层中，然后由控制电路以串行的方式导出到模数电路中，再经过DSP等成像电路形成图像。fastscan和slow scan最大的区别就在于光生电子导出的速度和电路系统上不同。fastscan导出电子的频率非常快，以便能达到视频级的刷新率，但这将导致电子丢失、噪声增多、光生电子清空不彻底；而lowscan则相反，它的电路设计重在对光生电子积蓄的保护上，导出的频率不高，但保证传出过程中电子丢失和损耗降到极小，它的模数转换器动态范围和灵敏度极高，保证了信号转换过程不失真，同时为了减低热效应产生的噪声，一般使用Cool

13、ing系统降温。 看了上面的解释我们可以知道专业级的科研用摄像头为什么那么贵了，从CCD感光层的材料和面积开始、到光生电子的积蓄、到电子的导出电路、传输电路、模数转换电路、图像显示电路、Cooling电路，每一步专业级科研摄像头的工艺都和民用级的不同，成本都在几十倍到几百倍以上。目的只有一个，专业级摄像头能尽可能完整的采集到所有的光信号。一般来说，民用级摄像头或数码相机只能反映50%以下的光信号。,3评价 CCD的基本指标 主要包括信噪比、冷却温度、像素值等 3.1 信噪比（SNR） 信噪比真实体现摄像头的检测能力。所有的 CCD摄像头的厂家为提高摄像头的性能，都尽力使信号（可达到满井电子的数

14、目）最大同时尽可能减少噪音。 SNR= 满井电子 / 噪音电子 = 动态范围 = 最大灰阶 =2bit 数 3.2 冷却温度 在相同满井电子的 CCD ，降低 CCD 噪音，就能提高 CCD 的监测能力，热或者 暗电流对于 CCD 都是噪音，噪音在 Cool CCD 基本都可以被深度致冷的 Peltier 消除。在曝光超过 5-10 秒， CCD 芯片就会发热，没有致冷设备的芯片， “热” 或者白的像素点就会遮盖图像，图像到处可见雪花。 -20 C 的摄像头可以拍摄 高达 5 分钟的图像， -40 C 的摄像头拍摄时间可以超过 1 小时。 CCD 结构设计、数字化的方法等都会影响噪音的产生。通

15、过改善结构、优化方 法，同样能减少噪音的产生。,二、CMOS（ComplementaryMetalOxideSemiconductor），即“互补金属氧化物半导体”。 它是计算机系统内一种重要的芯片，保存了系统引导所需的大量资料。CMOS传感器便于大规模生产，且速度快，成本较低，是数码相机关键器件的发展方向之一。,四、比较CCD与CMOS 1970年是影像处理行业具有里程碑意义的一年，美国贝尔实验室发明了 CCD。二十年后，人们利用这一技术制造了数字相机，将影像处理行业推进到一个全新领域。数字相机无需胶卷和冲洗、可重复拍摄和即时调整；影像可无限次复制且不会降低质量，方便永久保存，并可用于电子传

16、送和处理。它的诞生给影像处理业带来了一场革命。,从技术的角度比较，CCD与CMOS有如下四个方面的不同： 1.信息读取方式 CCD电荷耦合器存储的电荷信息，需在同步信号控制下一位一位地实施转移后读取， 电荷信息转移和读取输出需要有时钟控制电路和三组不同的电源相配合，整个电路较为复杂。CMOS光电传感器经光电转换后直接产生电流（或电压）信号，信号读取十分简单。 2.速度 CCD电荷耦合器需在同步时钟的控制下，以行为单位一位一位地输出信息，速度较慢；而CMOS光电传感器采集光信号的同时就可以取出电信号，还能同时处理各单元的图像信息，速度比CCD电荷耦合器快很多。 3.电源及耗电量 CCD电荷耦合器

17、大多需要三组电源供电，耗电量较大；CMOS光电传感器只需使用一个电源，耗电量非常小，仅为CCD电荷耦合器的1/8到1/10，CMOS光电传感器在节能方面具有很大优势。 4.成像质量 CCD电荷耦合器制作技术起步早，技术成熟采用PN结或二氧化硅（SiO2）隔离层隔离噪声，成像质量相对CMOS光电传感器有一定优势。由于CMOS光电传感器集成度高，各光电传感元件、电路之间距离很近，相互之间的光、电、磁干扰较严重，噪声对图像质量影响很大，使CMOS光电传感器很长一段时间无法进入实用。近年，随着CMOS 电路消噪技术的不断发展，为生产高密度优质的CMOS图像传感器提供了良好的条件。 5.此外，CCD与C

18、MOS两种传感器在“内部结构”和“外部结构”上都是不同的:,5.1内部结构（传感器本身的结构） CCD的成像点为XY纵横矩阵排列，每个成像点由一个光电二极管和其控制的一个邻近电荷存储区组成。光电二极管将光线（光量子）转换为电荷（电子），聚集的电子数量与光线的强度成正比。在读取这些电荷时，各行数据被移动到垂直电荷传输方向的缓存器中。每行的电荷信息被连续读出，再通过电荷/电压转换器和放大器传感。这种构造产生的图像具有低噪音、高性能的特点。但是生产CCD需采用时钟信号、偏压技术，因此整个构造复杂，增大了耗电量，也增加了成本。 CMOS传感器周围的电子器件，如数字逻辑电路、时钟驱动器以及模/数转换器等

19、，可在同一加工程序中得以集成。CMOS传感器的构造如同一个存储器，每个成像点包含一个光电二极管、一个电荷/电压转换单元、一个重新设置和选择晶体管，以及一个放大器，覆盖在整个传感器上的是金属互连器（计时应用和读取信号）以及纵向排列的输出信号互连器，它可以通过简单的XY寻址技术读取信号。 5.2外部结构（传感器在产品上的应用结构） CCD电荷耦合器需在同步时钟的控制下，以行为单位一位一位地输出信息，速度较慢；而 CMOS光电传感器采集光信号的同时就可以取出电信号，还能同时处理各单元的图像信息，速度比CCD电荷耦合器快很多。 CMOS光电传感器的加工采用半导体厂家生产集成电路的流程，可以将数字相机的

20、所有部件集成到一块芯片上，如光敏元件、图像信号放大器、信号读取电路、模数转换器、图像信号处理器及控制器等，都可集成到一块芯片上，还具有附加DRAM的优点。只需要一个芯片就可以实现很多功能，因此采用 CMOS芯片的光电图像转换系统的整体成本很低。,五、什么是数字摄像头 所有CCD芯片都属于模拟元件，但当图像数据进入计算机时却是数字信号。 如果数据是在摄像头、采集卡两部分完成数字化的，这个摄像头就是模拟摄像头。 而数字摄像头则是在摄像头内部完成数字化的，这样可以减少图像的噪音。与模 拟摄像头相比，数字摄像头显著提高了摄像头的信噪比、增加了摄像头的动态范 围、最大化图像灰度范围。科学研究级的绝大多数

21、的CCD/CMOS芯片都是由Kodak 、Sony、SIT制造的。 六、CCD与COMS的分类 CCD与CMOS按成像过程可以分为2大类：动态（fastscan）和静态（slowscan） ；按应用场合不同可以分为专业级和民用级。常见的视频聊天摄像头（如罗技）与各种数字相机使用的分别是民用级动态和静态CCD/CMOS。,1、CCD模拟摄像头工作原理： 摄像头以隔行扫描方式采样图像，当扫描到某点时，就通过图像传感芯片将该点处图像的灰度转换成与灰度对应的电压值并将此电压值通过视频信号端输出。摄像头连续地扫描图像上的一行就输出一段连续的视频信号，电压信号的高低起伏正反映了该行图像的灰度变化情况。扫描

22、完一行，视频信号端就输出一个低于最低视频信号电压的电平(如0.3 V)并保持一段时间。即相当于紧接着每行图像对应的电压信号之后会有一个电压“凹槽”叫做行同步脉冲，它是扫描换行标志。然后扫描新一行，直到扫描完该场信号，接着会出现一段场消隐信号。这些消隐脉冲中有一个消隐脉冲远宽于其他的脉冲称为场同步脉冲，标志着新一场的到来。摄像头每秒扫描25帧图像，每帧分奇、偶两场，故每秒扫描50场图像。,要能有效地采样摄像头视频信号，首先要处理好的技术问题就是能提取出摄像头信号中的行同步脉冲、消隐脉冲和场同步脉冲。否则，单片机将无法识别所接收到的视频信号处在哪一场，也无法识别是在该场中的场消隐区还是视频信号区，

23、更无法识别是在视频信号区的第几行。,要处理好行同步脉冲和场同步脉冲提取的问题，有以下两种可供参考的方法。 方法一：直接采用A/D转换进行提取。当摄像头信号为行同步脉冲、消隐脉冲或场同步脉冲时，摄像头信号电平就会低于这些脉冲模式之外时的摄像头信号电平。据此，可设一个信号电平阈值来判断A/D转换采样到的摄像头信号是否为行同步脉冲、消隐脉冲或场同步脉冲。 方法二：就是给单片机配以合适的外围芯片，此芯片要能够自己提取出摄像头信号的行同步脉冲、消隐脉冲和场同步脉冲，以供单片机控制之用。,倘若采用第一种方法，则无需配以外部芯片，在硬件上就可以较为简便。然而，此方法在智能车控制系统的设计中存在两大局限性。

24、其一，S12的A/D转换时间还不够短，在不超频的情况下，该单片机的A/D转换时间最短为7 s，而行同步脉冲一般只有4.7 s左右的持续时间，大多数消隐脉冲更只有3.5 s的持续时间，持续时间都小于7 s，所以A/D转换很有可能漏检行同步脉冲或消隐脉冲。一旦漏检一两个脉冲，就会使摄像头视频采样的效果大打折扣。,其二，在智能车控制系统中，S12除负责摄像头视频采样方面的处理之外，还要负责黑色引导线的提取、方向速度控制等方面的处理，但毕竟MC9S12DG128 的处理能力还是有限的，若采用此方法，会使得在视频采样上花费较多的S12处理资源，这样摄像头视频采样本身的效率较低。此外，黑色引导线的提取、方

25、向速度控制等方面的设计也会局限于所剩余的单片机处理资源。,倘若采用第二种方法，则需要配以专门的外围芯片。虽然硬件上相对要繁琐一些，但在资源的合理配置上则大大提高。目前，LM1881视频同步信号分离芯片就是一款合适的芯片，它提取摄像头信号的行同步脉冲、消隐脉冲和场同步脉冲，并将它们转换成数字式电平直接输给单片机的I/O口作为控制信号。其硬件连接图如图7.3所示。,系统框图,摄像头视频信号端接LM1881的视频信号输入端，同时也接入S12的一个A/D转换器口（选用PAD1）。 LM1881的行同步信号端（引脚1）接入S12的一个外部中断IRQ口。 LM1881的奇-偶场同步信号输出端接S12的普通

26、I/O口即可（选用PORTM0）。,关于赛道检测方式,赛道路径几何特点 由直线和圆弧组成； 赛道路径检测内容 确定路径中心位置； 确定路径方向； 确定路径曲率； 需要在赛道垂直方向上 35点便可确定道路参数； 赛道路径检测方法,摄像头检测道路效果图:,摄像头获取的道路图,某行图片的灰度值扫描,摄像头接线,视频采样效果,基于面阵赛道参数检测方法,使用面阵检测路径参数的优点： 分辨率高： 识别路径参数多：中心位置、方向、曲率； 占用端口资源少： 转换； 一路中断输入； 一路口输入； 通过算法减少外部环境影响；,用摄像头的缺点,CCD相对昂贵； 占用RAM比较多； 道路检测速率受到限制； 50Hz

27、检测有一定的延时（1/50）秒； 附注电路较多：12V, LM1881等；,基于CCD路径检测方法难点及解决方法,12 of18,采集速率； 图像的分辨率 : 水平高，垂直低； 存储空间； DG128 8KRAM 处理速度； 图像采集，处理，控制等等； 电源电压； 12V工作电源,表2.1 常见1/3 OmniVision CMOS摄像头的时序参数,CCD摄像头视频信号,用S12采集图像,采集速率： S12 AD 转换速率10bit : 7us 视频信号一行时间：64us;(有效图像时间 300线/帧,矛盾,采集速率 路径检测需要图像特点： 水平分辨率: 高； 垂直分辨率：低；3-5点 矛盾：

28、如何解决？,解决,采集速率- 解决方法 摄像头水平旋转90度； 水平分辨率 垂直分辨率,附加手段,采集速率- 解决方法 采用CPU 内部总线超频； 48,规则没有限制 CPU超频,初步计算,采集速率- 解决方法 * 摄像头旋转90度； * CPU超频； 可以得到 300 48 分辨率图像；可以满足道路检测需要； 实际需要可以使用降低的图像分辨率： 72 24 即可；,资源需求,存储空间 必须存储正幅图像；这是由于将垂直分辨率转换为水平分辨率的原因； 存储空间： 每个像素存储1字节； 72 * 24 图像需要 1728字节； DG128 RAM空间为8K字节；可以满足存储需要。 同时还可以开辟双

29、图像存储区，采集、处理同时进行；,占用资源分析,处理速度： 采集时间： 图像采集采用终端采集的方式；节省CPU处理事件； 72 * 24 分辨率下：只对于其中的1/4行进行图像采集。CPU花费在图像采集上的时间少于 总时间1/4。其余的时间用于图像处理、控制等运算；,图像处理,处理速度 优化图像路径参数检测算法，算法时间小于 20ms。 图像：黑白色，检测中心算法简单； 可以适当增加些动态亮度补偿算法；满足路径参数检测速度要求；,工作电源,CCD工作电源 12V; 使用PWM 斩波升压电路得到12V电源； 这不违反比赛规则； 禁止使用DC-DC升压电路为驱动电机 以及舵机提供动力；,连接CPU

30、,CPU最小系统,连接CPU,实现方案和试验结果,CPU最小系统 PAD02 视频信号 IRQ 视频行同步信号 PM1 奇偶场信号 PWM2 12V 斩波升压开关信号； PWM0,1 电极控制PWM信号； PWM4 舵机控制信号； PAD0,1 电池电压，12V电压监测；,赛道检测小结,方法核心内容 摄像头旋转90度。水平分辨率垂直分辨率； 适当CPU 超频； 有效路径检测算法； 该方法也可以在一些粗分辨率视频监视中进行应用；,考虑到实际赛道只是在白色KT板上布置黑色引导线，路径识别只需大致提取出黑色引导线即可，不必每行采集。因此，我们可以采用隔行采集思想来压缩图像的数据。 实践证明，智能车控

31、制系统的图像传感系统在单一方向上只要有40像素的分辨能力就足够用了。故我们只需对这288 行视频信号中的某些行进行采样就可以了。,假设每场采样40行图像数据，为了方便软件程序的编写，可以均匀地采样288行视频信号中的40行，即每隔7个有效行采集一行。例如采样其中的第7行、第14行、第21行、第273行、第280行，即采样该场信号的第29行、第36行、第43行、第295行、第302行（每场开始的前22行视频为场消隐信号）。,此外，为了进一步解决图像数据大与HCS12单片机数据处理速度有限的矛盾，还可以通过适当地将S12的CPU超频运行，以及降低A/D转换器的转换精度，以提高A/D转换器的速度，具体实现流程图（以采集一幅16行40列的图像为例）如图7.5所示。,