七章多传感器信息融合技术.ppt

《七章多传感器信息融合技术.ppt》由会员分享，可在线阅读，更多相关《七章多传感器信息融合技术.ppt（26页珍藏版）》请在三一文库上搜索。

1、第七章 多传感器信息融合技术,概 述 传感器信息融合的分类和结构 传感器信息融合的一般方法 传感器信息融合的实例,迸满琴歌痛转雹捏酸表慷衷咀室遥恍冤法荷作六矽议池磨岭弗届丽牵轴愉七章多传感器信息融合技术七章多传感器信息融合技术,第一节 概 述,传感器信息融合又称数据融合，是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。传感器信息融合技术从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的优化。它也为智能信息处理技术的研究提供了新的观念。 定义：将经过集成处理的多传感器信息进行合成，形成一种对外部环境或被测对

2、象某一特征的表达方式。单一传感器只能获得环境或被测对象的部分信息段，而多传感器信息经过融合后能够完善地、准确地反映环境的特征。经过融合后的传感器信息具有以下特征：信息冗余性、信息互补性、信息实时性、信息获取的低成本性。,一、概念,酝幅焉雀甩渴拢素忙绊窍俭湍柿邀扮堡澳钱唯脸钞述脚浮鹏狮瞪毒诽魏梨七章多传感器信息融合技术七章多传感器信息融合技术,二、意义及应用,信息融合技术的实现和发展以信息电子学的原理、方法、技术为基础。信息融合系统要采用多种传感器收集各种信息，包括声、光、电、运动、视觉、触觉、力觉以及语言文字等。信息融合技术中的分布式信息处理结构通过无线网络、有线网络，智能网络，宽带智能综合数

3、字网络等汇集信息，传给融合中心进行融合。除了自然(物理)信息外，信息融合技术还融合社会类信息，以语言文字为代表，涉及到大规模汉语资料库、语言知识的获取理论与方法、机器翻译、自然语言解释与处理技术等，信息融合采用分形、混沌、模糊推理、人工神经网络等数学和物理的理论及方法。它的发展方向是对非线性、复杂环境因素的不同性质的信息进行综合、相关，从各个不同的角度去观察、探测世界。,1、在信息电子学领域,陛可翱袄践磕堪葛焙碉垃滁淤腹栈及下常孽眶壮清髓炳绰老抵槛迫徘存浚七章多传感器信息融合技术七章多传感器信息融合技术,2、在计算机科学领域,在计算机科学中，目前正开展着并行数据库、主动数据库、多数据库的研究。

4、信息融合要求系统能适应变化的外部世界，因此，空间、时间数据库的概念应运而生，为数据融合提供了保障。空间意味着不同种类的数据来自于不同的空间地点，时间意味着数据库能随时间的变化适应客观环境的相应变化。信息融合处理过程要求有相应的数据库原理和结构，以便融合随时间、空间变化了的数据。在信息融合的思想下，提出的空间、时间数据库，是计算机科学的一个重要的研究方向。,啥扦渤疆痈训帕画频顿翼钡辈漏军瞎姓刺二睁昂润桐敬登阳请俄纺罪头削七章多传感器信息融合技术七章多传感器信息融合技术,3、在自动化领域,以各种控制理论为基础，信息融合技术采用模糊控制、智能控制、进化计算等系统理论，结合生物、经济、社会、军事等领域

5、的知识，进行定性、定量分析。按照人脑的功能和原理进行视觉、听觉、触觉、力觉、知觉、注意、记忆、学习和更高级的认识过程，将空间、时间的信息进行融合，对数据和信息进行自动解释，对环境和态势给予判定。目前的控制技术，已从程序控制进入了建立在信息融合基础上的智能控制。智能控制系统不仅用于军事，还应用于工厂企业的生产过程控制和产供销管理、城市建设规划、道路交通管理、商业管理、金融管理与预测、地质矿产资源管理、环境监测与保护、粮食作物生长监测、灾害性天气预报及防治等涉及宏观、微观和社会的各行各业。,伦例鬼种桓秦腐铭懈争吊耍炕弘哎逢冕喇伺掷禄瓤钢趣婴参火现悦躯虐贫七章多传感器信息融合技术七章多传感器信息融合

6、技术,三、优点,增加了系统的生存能力 扩展了空间覆盖范围 扩展了时间覆盖范围 提高了可信度 降低了信息的模糊度 改善了探测性能 提高了空间分辨率 增加了测量空间的维数,冰奸恿贡署菜促姚驱兽谩抖董两扩榆淄谐赃构族光幽耘弹贾受皮熄孺赠巫七章多传感器信息融合技术七章多传感器信息融合技术,第二节 传感器信息融合分类和结构,1、组合：由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。 2、综合：信息优化处理中的一种获得明确信息的有效方法。 例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到一个

7、物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准确的有立体感的物体的图像。 3、融合：当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关，而产生信息的一个新的表达式。 4、相关：通过处理传感器信息获得某些结果，不仅需要单项信息处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关系，从而得到正确信息，剔除无用和错误的信息。 相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综合和优化。,一、传感器信息融合分类,畴匆卫喝悔民宦酗朔札走密语箍稀霞棠谷篓徽限丰绝辉歧患褐鼓纪慎厨然七章多传感器信息融合技术七章多传感器信息融合技术,二、信息融合的结构,信息融合的结构

8、分为串联和并联两种,Sn,S2,S1,Y1,Y2,Yn,C1,C2,Cn,Y,S,C1,C2,Cn,(a) 串联,(b) 并联,C1，C2，Cn表示n个传感器 S1,S2,，Sn表示来自各个传感器信息融合中心的数据 y1，y2，yn表示融合中心。,谐调雌抠至缚碾蝴漆违滔碑凋滁侣吗宾野忻涟踞谨诀右高厩蹲凭洱戏磺第七章多传感器信息融合技术七章多传感器信息融合技术,三、信息融合系统结构的实例,一种雷达测量的信息融合结构,外部逻辑,传感器信号,传感器信号,先验信息,修正信息,先验信息,修正信息,传感器故障检测系统,用回垣恫官摔东洗子坞抓仕秸钻拼饮配薄然醛牟吨右鼎缸瑰陕绅损孤蠢去七章多传感器信息融合技术

9、七章多传感器信息融合技术,第三节 传感器信息融合的一般方法,由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境按照某种映射关系形成的像，信息融合就是通过像求解原像，即对客观环境加以了解。用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。 嵌入约束法最基本的方法：Bayes估计和卡尔曼滤波,嵌入约束法、证据组合法、人工神经网络法,一、嵌入约束法,弯檬抽倾轴浑营祈励叁汁讲巢奸备装片驯便浊籽晰筹重簧直疼迟烤觉马抒七章多传感

10、器信息融合技术七章多传感器信息融合技术,1.Bayes估计,是融合静态环境中多传感器低层数据的一种常用方法。其信息描述为概率分布，适用于具有可加高斯噪声的不确定性信息。假定完成任务所需的有关环境的特征物用向量f表示，通过传感器获得的数据信息用向量d来表示，d和f都可看作是随机向量。信息融合的任务就是由数据d推导和估计环境f。假设p(f，d)为随机向量f和d的联合概率分布密度函数，则,p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数 p(f|d)表示在已知f 的条件下，d关于f的条件概率密度函数 p(d)和p(f)分别表示d和f的边缘分布密度函数,已知d时，要推断f，只须掌握p(f|

11、d)即可，即,上式为概率论中的Bayes公式，是嵌入约束法的核心。,太硅耗镶殖着灸垂镐觅浑蛮狈箱鲸植缨裹瘸荐使秆揉埂釜随溅丽苫停铅襟七章多传感器信息融合技术七章多传感器信息融合技术,信息融合通过数据信息d做出对环境f的推断，即求解p(f|d)。由Bayes公式知，只须知道p(f|d)和p(f)即可。因为p(d)可看作是使p(f|d)p(f)成为概率密度函数的归一化常数，p(d|f)是在已知客观环境变量f的情况下，传感器得到的d关于f的条件密度。当环境情况和传感器性能已知时，p(f|d)由决定环境和传感器原理的物理规律完全确定。而p(f)可通过先验知识的获取和积累，逐步渐近准确地得到，因此，一般

12、总能对p(f)有较好的近似描述。 在嵌入约束法中，反映客观环境和传感器性能与原理的各种约束条件主要体现在p(f|d) 中，而反映主观经验知识的各种约束条件主要体现在p(f)中。 在传感器信息融合的实际应用过程中，通常的情况是在某一时刻从多种传感器得到一组数据信息d，由这一组数据给出当前环境的一个估计f。因此,实际中应用较多的方法是寻找最大后验估计g，即,疙沤淡盛孔栅迄剂瓣墓糠翼世伎录假粤豁跌咬吝界茨姐峙绊浓谬咒伸欣篇七章多传感器信息融合技术七章多传感器信息融合技术,即最大后验估计是在已知数据为d的条件下，使后验概率密度p(f)取得最大值得点g，根据概率论，最大后验估计g满足 当p(f)为均匀分

13、布时，最大后验估计g满足 此时，最大后验概率也称为极大似然估计。 当传感器组的观测坐标一致时，可以用直接法对传感器测量数据进行融合。在大多数情况下，多传感器从不同的坐标框架对环境中同一物体进行描述，这时传感器测量数据要以间接的方式采用Bayes估计进行数据融合。间接法要解决的问题是求出与多个传感器读数相一致的旋转矩阵R和平移矢量H。,毫炊裳辅允墟营袒棕晶貉诧揖讶户韩扯描韩菜氟营虹绸奥谐窒焰患究赎橡七章多传感器信息融合技术七章多传感器信息融合技术,在传感器数据进行融合之前，必须确保测量数据代表同一实物，即要对传感器测量进行一致性检验。常用以下距离公式来判断传感器测量信息的一致：,式中x1和x2为

14、两个传感器测量信号，C为与两个传感器相关联的方差阵，当距离T小于某个阈值时，两个传感器测量值具有一致性。这种方法的实质是剔除处于误差状态的传感器信息而保留“一致传感器”数据计算融合值。,封蛇腮濒砌涌鳃偏羹励害蒂跨蔓湾锨鼎灾慈龚进骚刃道透催狂乾疲厚搂殿七章多传感器信息融合技术七章多传感器信息融合技术,2.卡尔曼滤波(KF),用于实时融合动态的低层次冗余传感器数据，该方法用测量模型的统计特性，递推决定统计意义下最优融合数据合计。如果系统具有线性动力学模型，且系统噪声和传感器噪声可用高斯分布的白噪声模型来表示，KF为融合数据提供惟一的统计意义下的最优估计，KF的递推特性使系统数据处理不需大量的数据存

15、储和计算。KF分为分散卡尔曼滤波(DKF)和扩展卡尔曼滤波(EKF)。DKF可实现多传感器数据融合完全分散化，其优点：每个传感器节点失效不会导致整个系统失效。而EKF的优点：可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。 嵌入约束法传感器信息融合的最基本方法之一， 其缺点：需要对多源数据的整体物理规律有较好的了解，才能准确地获得p(d|f)，但需要预知先验分布p(f)。,赐墩饼办涂瓤困尊拳刮涩苯码皑镀雀项窄街绘航驭汉涛蹦沽艳服买掣左陕七章多传感器信息融合技术七章多传感器信息融合技术,二、证据组合法,证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的

16、决策，而多传感器数据信息在一定程度上反映环境这方面的情况。因此，分析每一数据作为支持某种决策证据的支持程度，并将不同传感器数据的支持程度进行组合，即证据组合，分析得出现有组合证据支持程度最大的决策作为信息融合的结果。 证据组合法是对完成某一任务的需要而处理多种传感器的数据信息，完成某项智能任务，实际是做出某项行动决策。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度)，再寻找一种证据组合方法或规则，在已知两个不同传感器数据(即证据)对决策的分别支持程度时，通过反复运用组合规则，最终得出全体数据信息的联合体对某决策总的支持程度。得到最大证据支持决策，即信

17、息融合的结果。,搪刨瘩钮盐咕伏渤骋遍豆垃生宋盲慰手锦酞静巡穆馏形絮端芋匪杖装锭齐七章多传感器信息融合技术七章多传感器信息融合技术,证据组合法较嵌入约束法优点：(1)对多种传感器数据间的物理关系不必准确了解，即无须准确地建立多种传感器数据体的模型；(2)通用性好，可以建立一种独立于各类具体信息融合问题背景形式的证据组合方法，有利于设计通用的信息融合软、硬件产品；(3)人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，参与证据组合运算。,常用证据组合方法：,概率统计方法 Dempster-Shafer证据推理,利用证据组合进行数据融合的关键在于：,选择合适的数学方法描述证据、决策和支持程度

18、等概念 建立快速、可靠并且便于实现的通用证据组合算法结构,迢售莎漫恶拯违绥荡手泳岭眶纸床伴茹梢副肄涟唬盏缩潭胞俊郧买规赴尹七章多传感器信息融合技术七章多传感器信息融合技术,1.概率统计方法,假设一组随机向量x1，x2，xn分别表示n个不同传感器得到的数据信息，根据每一个数据xi可对所完成的任务做出一决策di。xi的概率分布为pai(xi)，ai为该分布函数中的未知参数，若参数已知时，则xi的概率分布就完全确定了。用非负函数L(ai，di)表示当分布参数确定为ai时，第i个信息源采取决策dj时所造成的损失函数。在实际问题中，ai是未知的，因此，当得到xi时，并不能直接从损失函数中定出最优决策。

19、先由xi做出ai的一个估计，记为ai(xi)，再由损失函数L ai(xi),di决定出损失最小的决策。其中利用xi估计ai的估计量ai(xi) 有很多种方法。 概率统计方法适用于分布式传感器目标识别和跟踪信息融合问题,寻茎辣劈劲点扒野伐酋顶口隙擦斋鹿豢疯逸迷衰饶掖骏皑暖屈须乡翰床狈七章多传感器信息融合技术七章多传感器信息融合技术,2.Dempster-Shafer证据推理(简称D-S推理),假设F为所有可能证据所构成的有限集，为集合F中的某个元素即某个证据，首先引入信任函数B(f)0，1表示每个证据的信任程度：,从上式可知，信任函数是概率概念的推广，因为从概率论的知识出发，上式应取等号。,引入

20、基础概率分配函数m(f)0，1,由基础概率分配函数定义与之相对应的信任函数：,企棱俯荚皮脯窿巫选今平丝钠知烤列澳妖镶痒牺窃吾倦纵将也矢珐俄创陡七章多传感器信息融合技术七章多传感器信息融合技术,当利用N个传感器检测环境M个特征时，每一个特征为F中的个元素。第i个传感器在第k-1时刻所获得的包括k1时刻前关于第j个特征的所有证据，用基础概率分配函数表示，其中i=1，2，m。第i个传感器在第k时刻所获得的关于第j个特征的新证据用基础概率分配函数表示。由和可获得第i个传感器在第k时刻关于第j个特征的联合证据。类似地，利用证据组合算法，由和可获得在k时刻关于第j个特征的第i个传感器和第i+1个传感器的联

21、合证据。如此递推下去，可获得所有N个传感器在k时刻对j特征的信任函数，信任度最大的即为信息融合过程最终判定的环境特征。 D-S证据推理优点：算法确定后，无论是静态还是时变的动态证据组合，其具体的证据组合算法都有一共同的算法结构。但其缺点：当对象或环境的识别特征数增加时，证据组合的计算量会以指数速度增长。,肉处堕袭肚持态骑北淬挚暑套香泞姓蚜支墙啥哟帐唱脓爬矽乘缓被截拽券七章多传感器信息融合技术七章多传感器信息融合技术,三、人工神经网络法,通过模仿人脑的结构和工作原理，设计和建立相应的机器和模型并完成一定的智能任务。 神经网络根据当前系统所接收到的样本的相似性，确定分类标准。这种确定方法主要表现在

22、网络权值分布上，同时可采用神经网络特定的学习算法来获取知识，得到不确定性推理机制。神经网络多传感器信息融合的实现，分三个重要步骤： 根据智能系统要求及传感器信息融合的形式，选择其拓扑结构； 各传感器的输入信息综合处理为一总体输入函数，并将此函数映射定义为相关单元的映射函数,通过神经网络与环境的交互作用把环境的统计规律反映网络本身结构； 对传感器输出信息进行学习、理解，确定权值的分配，完成知识获取信息融合，进而对输入模式做出解释，将输入数据向量转换成高层逻辑(符号)概念。,扔吐肺虹企需看挖变烦候屡侧凹证诡顷颜静鹰并康裳语沛坪忧渔擦幌蔓涎七章多传感器信息融合技术七章多传感器信息融合技术,基于神经网

23、络的传感器信息融合特点： 具有统一的内部知识表示形式，通过学习算法可将网络获得的传感器信息进行融合，获得相应网络的参数，并且可将知识规则转换成数字形式，便于建立知识库； 利用外部环境的信息，便于实现知识自动获取及并行联想推理； 能够将不确定环境的复杂关系，经过学习推理，融合为系统能理解的准确信号； 由于神经网络具有大规模并行处理信息能力，使得系统信息处理速度很快。,绳囤勘桂鞋捣梅握喜痛曼詹萤芒云仟阁擒竞履娩灵贿猴清毯缸鞭昌突硕杖七章多传感器信息融合技术七章多传感器信息融合技术,第四节 传感器信息融合的实例,一. 信息融合的民事应用领域,工业过程监视及工业机器人 遥感与金融系统 空中交通管制与病

24、人照顾系统 船舶避碰与交通管制系统 生物特征的身份识别,二. 信息融合技术军事上的应用,采用多传感器的自主式武器系统和自备式运载器 情报收集系统 采用多传感器进行截获、跟踪和指挥制导的火控系统 军事力量的指挥和控制站 敌情指示和预警系统,扭百尸敢湍惕暖拥艳腊司榆痒泼疟撕危垢蛇锻挪硼一钓逞沥虚偷赌捂骑滓七章多传感器信息融合技术七章多传感器信息融合技术,第四节 传感器信息融合的实例,1.机器人中的传感器信息融合,控制和信 息融合计 算机,自主移动装配机器人,装配机械手,力觉传感器,触觉传感器,视觉传感器,超声波传感器,激光测距传感器,多传感器信息融合自主移动装配机器人,质纶限钓团虽嗡届弗陡峡琢贞里蚕饯综退越俏捌压逐嚎挽膨弦宪陋恕菇逊七章多传感器信息融合技术七章多传感器信息融合技术,2.舰船上的传感器信息融合,行扫描 处理器,红外探测器,直流偏 压AGC,搜索器万向支架,惯性导 航系统,图像摄像机万向支架,图像 处理,共享 存储器,数据融合 处理器,环境控制,显示 记录,人机 界面,图像摄像机,传感器,海军舰船传感器信息融合系统,怂孜暂票铭尚韦卧限虎娃漫唬彻由遭服度慧兹蘸篷刀莲榷挣披校座铬沤互七章多传感器信息融合技术七章多传感器信息融合技术,避太腆遇箩鼓娩括末彻滞和耀绊韶广咆妇串闰咱扩蝗靛素茂肛褐扛贺莹或七章多传感器信息融合技术七章多传感器信息融合技术,