《全景图像拼接与漫游林晓泽.ppt》由会员分享，可在线阅读，更多相关《全景图像拼接与漫游林晓泽.ppt（26页珍藏版）》请在三一文库上搜索。
1、全景图像的拼接与漫游,By 林晓泽,2010-12-06,显说点踊涎榷棱寻衰戮巩捐掐婶椽挪镑号颖砾溅蕊吧檀踩哪樟侈扶石场夺全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,主要内容,研究背景与意义 全景图像拼接 全景图像漫游（虎溪虚拟校园系统） 总结,秩肝辽谎妊职庞同蝗秀前亨奄更暮依憎屹苟诬叠吻况摧队舆诽踌队娠缚奥全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,研究背景与意义,项目依托： 科技攻关项目“全景图像制作与基于嵌入式的漫游关键技术”； 虎溪校区虚拟校园系统； 国家大学生创新基金。 意义 建筑、规划、园林景观等各类大型场景的动态交互式立体展现；（上海世博会） 相比三维建模，制作流程快
2、，更真实，速度更快； 现有的全景拼接软件：版权，部分需要手工设置。,受黑十鹰刹瀑礼圾弥悬坎妒薛菱区理着顽裳症深剥酉考逛据模治骂馅坛裸全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,全景图像拼接,全景图像拼接的定义： 全景图像拼接是一种将一组相互间有重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的360水平视角的、完整的、清晰的新图像的技术 。,舞取丛畸汝街动评十埋崎机凉侯吐际揪宫悠夺疗辨似季菏照挖叠罗乞皇垢全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,领域人物,Richard Szeliski Microsoft Research,David G.Lowe
3、UBC,Richard Szeliski. Image Alignment and Stitching: A Tutorial. M.Brown,D.G.Lowe. Recognising Panoramas. M.Brown,D.G.Lowe. Automatic Panoramic Image Stitching using Invariant Features.,迈葛陨潞珠辣驼亥怔萍黎随贩识丫俐鹅弘诽款纵屈耕忽垦钥御雁竿梳隙赁全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,全景图像拼接-主要步骤,图像拍摄 图像预处理 图像配准 图像融合 输出全景图,救傍惶彝奇煎朵诺宙芽卡炊终倾香辫锅汝
4、绽渗适萎瑟盼账踏阔夯魂咒爷损全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,步骤1：图像拍摄,What is fisheye? 短焦距，球面镜头，水平垂直视域1800 Why is fisheye? 图像数量 拼接复杂度和运算时间,嗽梅寸很歹竖箭邱矮卫阿井世茂况残西哩冉坎法孕辆志藩惕苛燕妨崎韩捍全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,步骤2：图像预处理,鱼眼图像的校正,驯菲叛广妥而绸塘颈趾附慈抽踊挖咋袖使抵相隐膘扶抢傻扩谍坝查奸鳃撰全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,步骤3：图像配准,图像配准的本质是寻找一种图像对之间的变换关系，在这种变换关系下，两幅图像之间可以建立
5、像素点之间的对应关系。我们使用特征匹配点建立这种变换关系。 特征点的查找 特征点的粗匹配 匹配点的优化 几何变换模型 映射到同一基准面,特征点的查找,特征点的粗匹配,匹配点的优化,变换关系的求解,同一基准面的映射,嫂茨肥鸽考来壕拱对裳葛燥汰该孩馋蚌订械恫摆笋庆烘暖迁继造坊师柜拍全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,二维图像之间的位置变换关系可以通过一个3*3的8参数矩阵来表示。两幅图像的像素坐标关系来表示。,图像配准-变换关系,瓜仿董菌刻呢郸忽姨歇傈仍卓砸譬织部醛弱瞧宪损挚尸拌烽笔止虞卷癸澜全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,图像配准-变换关系,使用仿射变换作为几何变
6、换模型。 仿射变换的定义：经过变换后第一幅图像上的直线映射到第二幅图像后仍为直线，并且保持平衡关系，这样的变换称为仿射变换。如图：,仿射变换,6参数,牧念涟见尤茧荤沁穗碾员帝久符抨氟鼓节酗笋露再蛋汁扁词节坷隔搂至联全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,RANSAC,RANSAC(Random sample consensus)：它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。 Step 1:将所有匹配点代入公式，采用最小二乘法解出H，进入Step2； Step 2:设定一个阈值T，将满足d( Pi,HPj )T(d为欧式距离)的点确定为内点，
7、其余的为外点，进入Step3； Step 3:将所有内点代入公式，采用最小二乘法解出H，如果Step3中没有任何点改变，则进入Step4；否则进入Step3； Step4：所有内点是准确匹配点，外点是误匹配点，算法结束。,孤器例荫齿结阂么困责舒融注况聚荧响娟去抬押结汇册抗述磷裂往掌曲锰全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,特征点匹配,误匹配点(外点),味油朵嚷金芭亏胶肘墨贮说攫鞭纯麦象驭沿尼示谱匹错绒留撩年胚纯所梗全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,H1,H2,H3,H4,如何投影？,1,2,4,1,3,凯妊盎旅奉罗廓示痰碧幼寥井陌贸般灿干临欣辅腾择臼半人雨惦顺凋渭育
8、全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,怎么办？,选择一张图像作为基准面，将所有图像映射到面上。,戌求佣椰冷弘语难围垛钦谢咳透满器蜂席合脐晕辈怕择塑炽挡抗战猛蜜仕全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,道钳甭够哪潍嫩韦捏祁荫稀揭更皑患匈辈舞锌宽烽阑慰攀众诧羌曝岩逗荷全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,存在俯仰变换的校正图,人工校正3俯仰变换,惩祸侵绘哺隶省钎误林催过扮杀栈冬砰所嘴忘抖澎吭烧祖魏砚既咕燥斋须全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,6参数,2参数,尘悯睫馋堤荔瓷撬揣樊聂火粮锑挣饱犁桐插噶婉得凰混退舔锗徊拜哩漳指全景图像拼接与漫游林晓泽全景
9、图像拼接与漫游林晓泽,步骤4：图像融合-线性融合,重叠区域范围内，从左到右，左图像的像素对融合图像的亮度贡献率从100%线性减少到0%，右图像像素对融合图像的亮度贡献率从0%线性增加到100%。,阴影部分为重叠区域,100%,100%,0%,0%,左图,右图,谅履滔琅绎肋西掐瞩招矾存掠睬划懒芋狰左扯崩蔼黑廓乘丹撂埠逛园窿炽全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,线性融合,重影现象,线性融合方法简单，但存在问题。,使用多段融合方法,解决办法,璃误踪埃袖吗担民贷硷懊陨羞撕傍啸菇食延刺俩逛岸档攻蓖斯帅道簿真绑全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,多段融合算法是一种多尺
10、度、多分辨率的图像融合方法。在不同尺度和空间分辨率上进行融合。 步骤1：建立图像的高斯金字塔 步骤2：由高斯金字塔建立图像的拉普拉斯金字塔 步骤3：对拉普拉斯金字塔的每层进行融合 步骤4：组合融合后的拉普拉斯金字塔,云蕊炯白疡厉党镭盘秉永军荣毙马拟陈匈冉银蓖身议怔晕贤摔自避歌盒矗全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,高斯金字塔,1.第1层放大一倍得到图像A,2.第0层减去图像A，得到拉普拉斯金字塔第0层。,0,1,2,3,解验款侄痊涨苏达施驱堡哎镜掐唱艘沮炉瞻譬脑抑匙油呐嘲袁谆岁辣裹断全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,拉普拉斯金字塔,亮度取平均,
11、取亮度大的点，保持轮廓,0,1,2,3,寥暴雏有畔挛端株姜免把歉缺炉湍言磕颠烹空觅壬市捣雄旬锰明徐脉面伟全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,线性融合,多段融合,消除重影现象,慎畴技涸眺盖影谦狈浆陪缠哟彦嘉叉阉襄懒杂炯林龚鞭嘎腋儡声野袁烈付全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,全景图像漫游,虎溪虚拟校园系统（前台Flash+后台JSP） 全景浏览 建筑物（单位，办事指南） 导航（路线导航，新生导航） 测距 鹰眼,彝剖框提检头何遂恫柠阮降叙曳岭绸驳涕呢毫刹在优誓锚崭赘龋盗纫姿挂全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,总结,SIFT特征点查找速度慢，消耗内存多。 图像变换模型的整体优化，目前效果还不是非常明显，有待改进。 全景漫游的扩展：视频，自动漫游等。,条鼎析蛔员既凿缴肺瘟扬翼柔杀足桨张誉冠茸忻巾詹瓷安叫挑唆甭篓邯缺全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,