《语音识别中一种快速新词增强方法.doc》由会员分享，可在线阅读，更多相关《语音识别中一种快速新词增强方法.doc（6页珍藏版）》请在三一文库上搜索。
1、语音识别中一种快速新词增强方法1背景介绍语音识别技术是信息技术领域十大重要的科技发展技术之一。它是一门交叉学科，正逐步成为信息技术中人机接口的关键技术。语音识别技术使人们能够甩 掉键盘，通过语音命令进行操作。语音技术的应用已经成为一个具有竞争性的高 技术产业。近二十年来，语音识别技术取得显著进步，开始从实验室走向市场， 并且已经进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等 各个领域。简单地说，语音识别技术是将声音转变成文本的技术。一个语音识别系统基 于一个语音模型和一个语言模型来表达识别语音所需要的知识，其中语音模型（通常用深度神经网络）用来描述语音在信号层的分布特性，而语言
2、模型用来表 征语言信息，用以限制系统能识别的句子范围。 语言模型基于一个系统词表，只 有在词表中出现的词才有可能被识别出来。 图1给出了一个语音识别系统的基本 框架。语音识别系统你好.语言模型系统词表图1:语音识别框架2问题描述信息社会的快速发展给语音识别系统带来了巨大挑战， 特别是随着人们接收的信 息越来越多，新词不断涌现，如“颜值”、“吐槽”等。这些新词因为不在语音 识别系统词表中，因此很难被识别出来。传统解决新词的方法是收集每个新词的 训练语料，让其与原语料合并，重新训练语言模型。这一方法需要大量的计算资 源，无法适应大规模在线系统的需求。3发明要点3.1基于FST附加边的新词增强方法本
3、发明提出一种基于有限状态转移机（FST）的新词增强的方法，该方法将原始 语言模型表示为FST,通过在FST图上加入附加边来代表新词，从而使更新后 的FST具有识别新词的能力。由于现代语音识别系统多使用FST作为识别过程的数据结构（解码图），因此我们的方法相当于在构造该数据结构的过程中加入 一个新词增强步骤，从而提高系统对新词的识别能力。如图2所示。N-gram语言模型图2:基于FST的新词增强示意图具体而言，对一个待加入的新词 A，我们选择它的一个近义词A寻找在语言 模型FST中表示A的所有边，并为每条边加入一个“附加边”，这一附加边的 进入和离开状态和A的边一致，但其标注符号为新词 A，其权
4、值表示为A赋予 的出现概率。如图3所示，其中红色曲线和标注表示新加入的附加边。由于附加边的加入，新词A会出现在解码图中，可以在解码过程中被识别。特别重要的 是，因为附加边是加在新词的近义词所对应边上， 这意味着新词增强事实上利用 了近义词在词义和句法上的相似性，具有很强的针对性和精确性。A:0.23.2基于词向量的新词增强方法上述附加边新词增强方法需要定义近义词， 即需要人为定义，这对大规模新词加 入很不方便。本发明进一步提出基于词向量的自动发现近义词的方法。该方法将所有词（系统词典中的词和新词）都映射到一个向量空间中，表示为词向量，并 利用在这一向量空间的中的余弦距离计算词间的相似度。对任何
5、一个新词，可以通过该方法得到一个或若干个相似对，而不必人为定义。4.发明内容和系统实现4.1系统架构图4为基于近义词附加边的新词增强模型的系统结构，该系统有两种方式， 一种是手动定义近义词，一种是基于词向量的自动计算近义词。 首先输入n-gram 语言模型，构建FST。基于FST,基于近义词表加入附加边表示新词，生成可识 别新词的解码图。近义词表由两种方式生成，一种由手工定义近义词，比较精确， 但繁琐，不适合大量新词加入；另一种是基于词向量的自动加入，方法快捷，但 需要包含新词的数据对词向量进行训练。N-gram语言模图4.基于近义词附加边的新词增强模型4.2基于FST附加边的新词增强设有一个
6、新词集X=Xi,X2,，xm需要增强，对于每一个x- X都有一个近义词集& =力$2,，Yn o对任意一个 出 S ,在FST中寻找所为标注为Yj 的边，加入附加边并标注为Xj 为量化近义词间的相似性，我们定义f(Xi,yj) 为Xi与Yj的相似度，并以该相似度作为新加入边的权重。在基线系统中，近义 词集和相似度都由人为确定。图5给出一个在FST中加入新词c的过程，其中词表内词a为新词c的近义词, 且相似性定义为0.3。其中(a)表示在加入新词前的FST，( b)表示加入新词c后的FSTo图5:基于近义词的新词增强模型4.3基于词向量的自动增加新词方法在4.2节中，我们手动定义近义词来增强新词
7、。当面对大量新词时，手动定义的 时间成本较高，且定义近义词容易发生错误。本发明提出利用词向量自动发现近 义词的方法来代替人工定义，节省了大量的时间和精力。词向量将词表达为连续向量空间中的点，如图 6所示。可以看到，由于吃饭 和进食这两个词在词义上比较接近，都表示吃饭这个动作，因此在词向量空 间距离较近；睡觉和吃饭词义相差稍远，但同是休闲类动作，因此在词 向量空间相差不大。而苹果和梨则都表示食物，它们两个之间距离很近, 但和吃饭、进食、睡觉距离都较远。，O吃饭进食麻宀O睡觉 苹果八。梨0图6:词向量示意图图7是利用词向量增强新词的一个例子。我们通过词向量，确定词c的近义词是a,并通过词向量计算出
8、其距离为1.045。在词a的边上加入表示c的附加边，并 将其权重赋为1.045。图7中，(a)是在增强之前的FST,( b)是增强之后的 FST。相比于4.2中提到手工定义近义词的方法，这种基于词向量的方法更为方 便，可用于大规模新词处理。图7:基于词向量的自动新词增强模型5.发明优势本发明利用FST模型，可以在不用改变解码器的前提下对新词进行增强，弥补了传统n-gram模型中无法动态加入新词问题，简单方便。通过手动定义近义词的新词增强方法，语音识别系统可以灵活加入新词。手 动定义近义词可以充分利用人为知识，精度高，适用于小规模新词加入。基于词向量的自动增加新词方法解决了手动加入新词中的低效问题，适用于大规模新词加入。