基于HMM_WNN混合模型在线手写签名认证.pdf

《基于HMM_WNN混合模型在线手写签名认证.pdf》由会员分享，可在线阅读，更多相关《基于HMM_WNN混合模型在线手写签名认证.pdf（68页珍藏版）》请在三一文库上搜索。

1、摘要 摘要 在现今网络化与信息化高度发达社会中，信息的安全显得极其重要，个人身份识 别技术拥有显著的应用价值。在各种身份识别技术中，手写签名认证技术具有方便性、 唯一性与稳定性的特点，所以它的应用越来也广泛。 本文主要对手写签名识别进行研究，结合隐马尔科夫模型( h i d d e nM a r k o vm o d e l ， H M M ) 和小波神经网络( w a v e l e tn e u r a ln e t w o r k s ，W l 、N ) 的优点提出了一种新的签名 识别方法。主要内容有： 首先，本文介绍了在线手写签名识别的一般过程。重点研究了签名识别的特征提 取部分，提取

2、最优特征来优化签名的特征序列。并通过实验验证最优特征的识别效果 ( 详见第二章) 。 其次，对H M M 算法进行研究，在其基础上构建签名识别系统。实验表明高斯混 合密度数和状态数是影响签名识别效果的两个主要因素，通过选择合适的高斯混合密 度数、状态数和最优特征能进一步提高了识别效果( 详见第三章) 。 再次，在基于H M M 在线手写签名识别系统的基础上，引入了小波神经网络。把 小波神经网络与隐马尔科夫模型结合，形成一个新的签名识别系统，即基于H M M W N N 签名识别系统。隐马尔科夫模型能很好的描述时间序列，小波神经网络有很强的分类 能力，二者的优势结合提高了签名识别效果( 详见4

3、2 和4 3 ) 。 最后，为了验证本文提出的方法的可行性与普遍适用性，本文用两组来自不同数 据库的数据对签名识别系统进行验证，通过仿真得出两组签名识别结果的等错率 ( E E R ) 。结果表明：本文的H M M W N N 签名识别系统优于标准H M M 模型的识别系统， 取得了很好的识别效果( 详见4 4 ) 。 关键词：签名识别；隐马尔科夫模型；小波神经网络；H M M 懈仆N ；特征提取 广东工业大学硕士学位论文 A b s t r a c t W i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e

4、c h n o l o g ya n dn e t w o r k i n g ，i n f o r m a t i o n s e c u r i t yi sv e r yi m p o r t a n t ，a n dt h et e c h n o l o g yo fp e r s o n a li d e n t i f i c a t i o ni s p r a c t i c a l l y s i g n i f i c a n t A m o n gt h ev a r i o u st e c h n i q u e so fp e r s o n a li d e n

5、 t i f i c a t i o n ，h a n d w r i t i n gs i g n a t u r e v e r i f i c a t i o nh a st h ec h a r a c t e r i s t i c so fc o n v e n i e n c e ，u n i q u e n e s sa n ds t a b i l i t y , a n dt h e r e f o r ei s a d o p t e dm o r ea n dm o r eb r o a d l y F o c u s i n go nh a n d w r i t i

6、 n gs i g n a t u r er e c o g n i t i o n ，t h i st h e s i sp r o p o s e san o v e lm e t h o d c o m b i n i n gb o t ha d v a n t a g e so fh i d d e nM a r k o vm o d e l ( H M M ) a n dw a v e l e tn e u r a ln e t w o r k s ( W N N ) T h em a i nc o n t r i b u t i o n sa r ea st h ef o l l

7、o w i n g ： F i r s t l y , t h eg e n e r a lp r o c e d u r eo fo n - l i n eh a n d w r i t t e ns i g n a t u r er e c o g n i t i o ni si n t r o d u c e d F o c u s i n go nt h es t e po ff e a t u r ee x t r a c t i o n ，t h ea p p r o a c h e so f e x t r a c t i n go p t i m a lf e a t u r

8、e sf r o m t h es i g n a t u r e sa r ed i s c u s s e da n dt h e ne v a l u a t e dt h r o u g ht h e e x p e r i m e n t s ( C h a p t e r2 ) S e c o n d l 5a na l g o r i t h mo fH M Mf o ro n l i n eh a n d w r i t i n gr e c o g n i t i o ni si n t r o d u c e da n da s i g n a t u r er e c o

9、 g n i t i o ns y s t e mi sb u i l t T h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h en u m b e r so ft h e G a u s s i a nk e m e l sa n dt h es t a t e sa r et h et w ok e yf a c t o r sf o ra c c u r a t er e c o g n i t i o n Ah i g h e r r e c o g n i t i o na c c u r a c yC a nb eo

10、 b t a i n e db ys e l e c t i n gt h ea p p r o p r i a t et w ok e yn u m b e r sa n dt h e o p t i m a lf e a t u r e s ( C h a p t e r3 ) T h i r d l y , i n t e g r a t i n gW N Ni n t ot h ea b o v eH M Mb a s e do n l i n eh a n d w r i t i n gr e c o g n i t i o n s y s t e m ，an e wr e c o

11、g n i t i o nm e t h o di sp r o p o s e d H M Mi sg o o da ta n a l y z i n gt i m es e r i e sw h i l e t h ee x p e r t i s eo fW N Ni sc l a s s i f i c a t i o n C o m b i n i n gt h ea d v a n t a g e so fW N N a n dH M M ，t h e p r o p o s e dm e t h o dc a ni n c r e a s et h er e c o g n i

12、t i o na c c u r a c y ( C h a p t e r4 2a n d4 3 ) F i n a l l y , t ov e r i f yt h ef e a s i b i l i t ya n dt h ea p p l i c a b i l i t yo ft h ep r o p o s e dm e t h o d ，t h e e v a l u a t i o ne x p e r i m e n t sa r e p e r f o r m e do nt w od i f f e r e n th a n d w r i t i n gd a t

13、a b a s e s T h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h er e c o g n i t i o na c c u r a c yo ft h ep r o p o s e dm e t h o do u t p e r f o r m s t h a to f t h eH M M a l g o r i t h m ( C h a p t e r4 4 ) K e yW o r d s ：S i g n a t u r eV e r i f i c a t i o n ；H i d d e nM a r

14、 k o vM o d e l ；W a v e l e tN e u r a lN e t w o r k ； H M M W N N ；F e a t u r eE x t r a c t i o n I I 目录 目录 摘要I A b s t r a c t I I 目录I I I C o n t e n t s V 第一章绪论1 1 1 选题的背景及意义1 1 2 国内外研究现状2 1 3 研究内容5 1 4 论文结构6 第二章在线手写签名认证过程8 2 1 签名数据采集9 2 2 签名数据预处理9 2 2 1 归一化9 2 2 2 去噪平滑1 1 2 3 特殊点提取1 2 2 。4

15、特征提取1 3 2 5 匹配与决策1 8 2 6 签名认证系统的性能评价1 9 2 7 本章小结2 2 第三章H M M 的在线签名认证2 3 3 1H M M 模型2 3 3 1 1M a r k o v 链。2 3 3 1 2H M M 概念2 4 3 1 3H M M 算法2 5 3 2 基于H M M 签名认证3 0 3 2 1 选择H M M 签名识别模型3 0 3 2 2 初始化H M M 签名识别模型3 0 I I I 广东工业大学硕士学位论文 3 2 3 训练H M M 签名识别模型3 l 3 2 4 基于H M M 手写签名识别31 3 3 实验结果和分析3 2 3 4 本章

16、小结3 8 第四章基于H M M 和小波神经网络的签名识别系统4 0 4 1 小波神经网络4 0 4 1 1 小波神经网络概念4 0 4 1 2 小波神经网络参数调整算法4 2 4 2H M M W N N 混合模型4 5 4 2 1W 卜小i 用作概率估计器4 5 4 2 2D i s c r i m i n a n tH M M ( 判别式H M M ) 4 7 4 3 基于H M M 和W N N 的签名认证4 8 4 3 1 选择模型4 8 4 3 2H M M W N N 模型的初始化与训练4 9 4 4 实验结果分析4 9 4 5 本章小结5 1 总结与展望5 3 参考文献5 5

17、攻读学位期间发表的论文5 9 独创性声明6 0 学位论文版权使用授权声明6 0 致谢6l I V C o n t e n t s C o n t e n t s A b s t r a c t ( C h i n e s e ) I A b s t r a c t ( E n g l i s h ) I I C o n t e n t s ( C h i n e s e ) I I I C o n t e n t s ( E n g l i s h ) V C h a p t e r1I n t r o d u c t i o n 1 1 1B a c k g r o u n da n dS

18、i g n i f i c a n c e 1 1 2R e l a t e dW o r k 2 1 3S u m m a r yo fC o n t r i b u t i o n s 5 1 4T h e s i sS t r u c t u r e 6 C h a p t e r 2T h eP r o c e s so fO n l i n eH a n d w r i t i n gS i g n a t u r eV e r i f i c a t i o n 8 2 1S i g n a t u r eD a t aA c q u i s i t i o n 9 2 2D a

19、t aP r e p r o c e s s i n g 9 2 2 1N o r m a l i z a t i o n 9 2 2 2S m o o t h i n g 11 2 3S p e c i a lP o i n t sE x t r a c t i o n 12 2 4F e a t u r eE x t r a c t i o n 13 2 5M a t c h i n ga n dD e c i s i o n 18 2 6T h eP e r f o r m a n c eo fS i g n a t u r eV e r i f i c a t i o nS y s t

20、 e m sE v a l u a t i o n 19 2 7S u m m a r y 2 2 C h a p t e r3O n - l i n eS i g n a t u r e V e r i f i c a t i o nw i t hH i d d e nM a r k o vM o d e l s 2 3 3 1H i d d e nM a r k o vM o d e l s 2 3 3 1 1M a r k o vC h a i n s 2 3 3 1 2H M M C o n c e p t 2 4 3 1 3H M M A l g o r i t h m 2 5 3

21、2S i g n a t u r eV e r i f i c a t i o nB a s e do nH M M 3 0 3 2 1S e l e c t i n gt h eH M MS i g n a t u r eR e c o g n i t i o nM o d e l 3 0 3 2 2I n i t i a l i z a t i o nt h eH M M S i g n a t u r eR e c o g n i t i o nM o d e l 3 0 V 3 2 3T r a i n i n gt h eH M MS i g n a t u r eR e c o g

22、 n i t i o nM o d e l 3 1 3 2 4S i g n a t u r eR e c o g n i t i o nB a s e do nH M M ”3 1 3 3E x p e r i m e n t a lR e s u l t sa n dA n a l y s i s 3 2 3 4S u m m a r y “3 8 C h a p t e r4S i g n a t u r eR e c o g n i t i o nS y s t e m sB a s e d o nH M M W N N 4 0 4 1W a v e l e tN e u r a lN

23、 e t w o r k 4 0 4 1 1W N N C o n c e p t 4 0 4 1 2W N NP a r a m e t e rA d j u s t m e n tA l g o r i t h m 4 2 4 2H M M W N NH y b r i dM o d e l 4 5 4 2 1P r o b a b i l i t yE s t i m a t o rW N N 4 5 4 2 2D i s c r i m i n a n tH M M 4 7 4 3S i g n a t u r eR e c o g n i t i o nB a s e do nH M

24、 M W N N “4 8 4 3 1S e l e c t i n gm o d e l 4 8 4 3 2I n i t i a l i z a t i o na n dT r a i n i n gH M M W N N M o d e l ”4 9 4 4E x p e r i m e n t a lR e s u l t sa n dA n a l y s i s 4 9 4 5S u m m a r y ”5 1 C o n c l u s i o na n dF u t u r eW o r k “5 3 R e f e r e n c e s 5 5 P u b l i s h

25、 e dP a p e r sD u r i n gS t u d i n gF o rM a s t e r sD e g r e e 5 9 S t a t e m e n to fO r i g i n a l i t y 6 0 S t a t e m e n to fC o p y r i g h tA u t h o r i z e d 6 0 A c k n o w l e d g e m e n t s 6 1 V I 新新闻；通过身边的网络，当我们彼此位于世界两极时，也可以方便的相互沟通、交 流与合作，也可以通过网络来完成商业的交易；通过身边的网络，我们能轻松的遥控 远方的各

26、种电子设备。但是我们身边的网络给我们带来快捷、方便、舒适的服务同时， 也带来了信息安全隐患：计算机病毒、敏感的数据被盗、非法闯入与破坏、网络欺骗 等。由于计算机网络影响着当今社会生活，并对其的影响范围不断扩大，所以计算机 网络安全问题对社会生活带来的损失也越来越大。据M a s t e r C a r d 公司的估计，在美国， 仅每年因为信用卡犯罪部分而造成的资金损失就能高达四亿五千万美元，信用卡犯罪 包括了大量利用被盗或丢失的信用卡进行的犯罪。如果我们能够做到对持卡人的身份 进行准确识别，这种损失会大大减少。在通信领域中，由于类似的问题所造成的损失 更大，损失的金额高达十亿美元。 为保障计算

27、机网络的安全，提出了不同的措施和技术，在与各种计算机网络攻击 行为较量的过程中不断的去完善和发展自己，采取的措施和技术包括数字签名、网关、 身份认证、防火墙技术等。在这些措施中，身份认证作为一种古老而又非常有效的识 别手段，它可以分为3 大类：第一类，利用密码( 或口令) 判别用户的身份；第二类， 利用用户所持有的信物进行身份识别，如身份证、I C 卡、钥匙等；第三类，利用生物 的特征进行身份识别。通过比较很容易看出，第一种虽然最容易实现，但是它的可靠 性能最差，一旦密码( 或口令) 外泄，系统基本没有抵御外界攻击的能力。第二种利用 信物进行身份识别的方式虽然有稍高的可靠性，但是实现过程会很复

28、杂，需要昂贵的 设备来支持。利用这种方式，如果信物被偷或丢失，系统也基本没有抵御外界入侵的 能力，由于设备价格昂贵，不能做到立即更换。而第三种生物特征识别，是根据对象( 人) 天生的生理特征或生活中长期养成的一些习惯来进行身份识别，不会给对象带来的负 担，如信物保管、记忆密码等，不存在因为外泄或遗失所带来的安全问题，并且攻击 者很难仿造，因此是生物特征识别一种最自然、最可靠甚至能认为它是最本原的身份 广东工业大学硕士学位论文 识别方式。乜。8 1 生物的特征识别基本可分为两大类口1 ：基于生物行为特征和基于生物生理特征。一 般来说，后者比前者更加稳定，而人们更容易接受前者。例如，D N A 序

29、列的分析认证在 所有的身份认证方法中最可靠的，并且精度最高，精确到小于百万分之一的出错率， 但是D N A 的分析过程必须提取活体的组织，并且还要进行大量实验，过程比价复杂。 虹膜识别是通过扫描人的眼球，获取视网膜中的纹理与神经结构进行身份识别，识别 的精确度与D N A 分析水平相当。总的来说，这一类方法的精度都相当的高，但是需要 比较昂贵的输入设备支持。一般来说，用户并不乐意提供这些特征，这涉及到个人隐 私，所以人们总是对此心存疑虑。指纹的识别也是如此，用户会担忧被提取指纹的安 全性。 手写签名认证( H a n d w r i t t e nS i g n a t u r eV e r

30、i f i c a t i o n ) 是通过书写过程中的人的行为特 征和书写笔迹来进行身份认证，是生物特征识别研究的重要内容之一，具有很重要的 意义。手写签名认证研究涉及到神经生理学、模式识别、信号处理、计算机等学科的 知识，是一种对多学科进行交叉研究的领域。和别的生物特征比较，手写签名识别有 下面一些优点：像人脸、视网膜、虹膜、手形、指纹等必须有特定的检测装置与复杂 的处理软件，而且受环境的影响很大，因此使用的环境也有限制。而手写签名仅仅需 要简单的常规输入设备，如手写笔( 在线) 、扫描仪( 离线) 、手写板；手写签名包括本 人固有生理行为特征和后天养成的书写习惯特征，并且是一个动态过程

31、，所以很难对 其模仿和伪造，对本人来说也不会遗忘。在商务活动中，手写签名是一种常用认证手 段。从古到今，人们已经习惯了用手写签名赋予各种合同、票据法律效力。这就使得 手写签名识别方式比其它识别方式更容易为大家所接受n 引。目前，签名识别技术已经 成为一种便捷高效的身份识别技术，应用前景非常广阔。 1 2 国内外研究现状 上世纪六十年代人们开始对手写签名认证进行研究，在1 9 6 5 年出现了最早的手写 签名识别方面的文章，上世纪九十年代开始手写签名认证才得到人们的重视，使其迅 速发展。1 9 8 9 年L o r e r t e 、P l a m o n d o n 在发表的论文中n 门准确详

32、细的介绍和归纳了当时 签名认证存在的问题、方法的分类以及使用的技术，为后面的研究提供了参考依据。 随后不同国家的研究者运用不同方法进行签名认证试验，取得了很多宝贵的成果，他 2 第一章绪论 们的研究在学术上有很重要的意义，使在线手写签名识别技术进入了一个更高的阶段。 不同国家的研究人员会在签名识别技术的研究方面各有不同，但是他们选择模板 匹配作为系统的分类器时，大家几乎有相同的系统设计思路。都是先对签名曲线进行 分段，然后运用对应段与段之间的关系匹配签名的分段，匹配中常用的算法有D T W 算 法和动态匹配算法。P l a m o n d o n 和B r a u l t 在n 幻中给出了一种

33、提取签名时间序列中的拐 点和转折点的方法，拐点和转折点附近的一些点包含着签名的重要信息，很难模仿， 所以他们认为拐点和转折点在签名时间序列中有非常重要的意义。这种运用拐点转折 点对签名时间序列进行分段的方法也常在签名识别中使用。在论文n 3 t1 4 蚓中，运用小波 变换过零的方法对签名时间序列的拐点进行提取，然后运用提取的拐点对签名进行分 段，取得了很好的认证效果，等错率为5 一6 。张葵等人运用模糊逻辑对签名的拐点 进行提取，然后匹配特殊点的J 下确率可以达到9 9 1 6 o 李胜春等在一个在线手写签名 识别系统中，运用动态匹配的方法进行签名认证，准确率为9 2 1 7 o 与模板匹配分

34、类器运用到签名认证的系统相比，把隐马尔科夫模型运用到签名认 证系统较为晚点。最早是由Y a n g 等人在1 9 9 5 年提出n 引，他们把签名时间序列分成相 等的长度段，编码签名时间序列运用的是量化的3 2 级方向角，采用的离散H 删模型， 获得了4 4 的错误接受率和1 7 5 的错误拒绝率。随着签名识别技术的发展，越来 越多的研究者将H M M 应用到在线手写签名识别系统中。1 9 9 7 年，K a s b i 等人把部分 广东工业大学硕士学位论文 于签名认证，有一些先天性的不足。首先，签名识别是一个分类问题，而H M M 本身 不适合分类乜钔。其次，H M M 描述随机过程是以一系

35、列的假设为前提，例如，通常情况 下，用一个多元混合高斯模型来描述观察值序列的概率密度。虽然在理论上只要高斯 元足够多，这个模型能逼近任何概率分布乜5 1 ，但是在实际中，由于参数个数与训练样 本的关系，或者建模者的主观认识，导致模型逼近观察值概率分布不太理想。根据以 上两个缺点以及它们之间的内在联系，将H M M 和小波神经网络( W N N ) 结合，构成 混合模型，对时间序列信号进行处理。H M M 与W N N 构成的混合模型，正好构成互补： H M M 分类能力弱，W N N 分类能力强；W N N 对时间序列信号的描述能力弱，H M M 对 对时间序列信号的描述能力强啪1 。我们把这

36、种混合模型运用到签名识别中去，并提出 了一种新的签名识别算法，改进模型的结构，使这种模型更加适合手写签名时间序列 的识别。 H M M 与W N N 的结合多应用在语音识别瞳7 1 与心音识别心6 1 ，取得了很好的效果。在 线手写签名识别技术和语音识别技术有相似之处，都是分析那些特点明显但稳定性差 的时间序列信号。在语音识别领域中的很多技术，可以通用到在线手写签名识别领域 中嘲瑚，3 仉3 。和语音识别系统相比，在线签名认证系统可利用的除了时间序列信号的波 形外，还有别的时间序列，同时可以从签名的时间序列中提取形念几何特征，因此签 名识别有更丰富的认证手段和特征量。 与国外相比，国内在手写签

37、名认证方面的研究起步较晚，相关方面的研究也不多。 华中科技大学的邱德红、金涌( 1 9 9 9 ，2 0 0 2 a ，2 0 0 2 b ) 等分别运用动态匹配、神经网络、 概率等方法对签名进行认证b 2 t3 3 3 4 1 ；南京大学的袁余良等( 2 0 0 4 ) 对特征点提取，利用 H M M 对签名进行认证耵；山东工业大学的柯晶等( 1 9 9 8 ) 则是利用区域相关的算法进行 中文签名认证m 1 。中科院的全中华( 2 0 0 6 ) 。奸1 提出了基于H M M 与D T W 算法的改进。中 科院人的张丽平、方平、孟明等人( 张丽平2 0 0 7 ) H ( 方平2 0 0

38、6 ) 油1 ( 孟明2 0 0 6 ) 3 s J 分别针对小波变换、D T W 以及H M M 的方法做了深入研究。这些研究在中文签名认证 方面做了积极的工作，尽管在方法和理论上没有很大的突破，但其学术意义非常重要。 目前，在身份识别研究中生物特征识别技术是一个热点，在线手写签名的认证也 受到了很多研究人员的重视，在模式识别方面的一些国际学术会议以及一些核心期刊 中出现了大量有价值的签名识别论文。长期以来，在签名认证研究还没有一个公认的 签名评价标准和数据库，这样不同研究人员的工作不能进行相互比较，成为大家学术 交流的障碍。2 0 0 4 年香港举办的第一届国际签名识别比赛，在这方面做了积

39、极的尝试 4 第一章绪论 ( D Y Y e u n g 2 0 0 4 ) H 。另外，O r t e g a - G a r c i a 等建立了一个生物特征数据库，包括签名、 指纹等生物特征n 刳，并对签名数据库中的一个子数据库进行公开。 手写签名认证通过4 0 多年的发展和完善，取得的成果很丰富，虽然有相关的产品 问世，但目前它还不够成熟，尤其是在系统的性能方面还不能让人满意，还要进一步 去研究、探索。由于手写签名认证历史方面的原因，和其他基于生物特征方面的身份 识别方法比较，它很容易被大家接受，它的输入方式能使其很方便与在线文件服务系 统、金融领域等整合在一起，因此应用前景非常广阔。

40、另外随着模式识别方法与理论 的不断发展与完善，新方法的使用能使手写签名认证系统的性能( 可靠性) 得到进一 步的提高。反过来手写签名认证的研究使模式识别的研究内容得到了扩展，在一定程 度上可以使模式识别方法得到更新与发展。 1 3 研究内容 签名认证系统的研究有很大的前景和现实意义，本文主要对签名识别的算法进行 研究。根据签名的时间序列，本文研究了H M M 算法和W N N 算法，并在两者的基础 上提出了基于H M M W N N 算法的签名识别系统。然后用两组签名数据库证明提出的方 法的有效性。研究的主要内容如下： 1 、针对签名的特点，研究了签名的认证全过程。签名认证的过程包括数据采集、 预处理、特征提取、特征匹配和判决决策等。对特征提取做了详细的研究，提出一些 简单易行的提取特征的方法。