连续语音识别中半连续HMM的研究及实现硕士学位论文.doc

《连续语音识别中半连续HMM的研究及实现硕士学位论文.doc》由会员分享，可在线阅读，更多相关《连续语音识别中半连续HMM的研究及实现硕士学位论文.doc（69页珍藏版）》请在三一文库上搜索。

1、连续语音识别中半连续连续语音识别中半连续 HMMHMM 的研究及实现的研究及实现 Research and Implement of SCHMM in CSR (申请清华大学工学硕士学位论文) 密级：内部 独 创 性 声 明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得清华大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 签 名：日 期： 关于论文使用授权的说明 本人完全了解清

2、华大学有关保留、使用学位论文的规定，即：学校有权保 留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 签 名： 导师签名： 日 期： I 摘 要 SCHMM 作为一种有效的语音识别技术，它充分地吸收了离散 HMM 和连续 HMM 的优点，具有识别精度高搜索速度快等特点。特别是它的码本绑定策略，由于 从全局的角度来共享和调整码本，所生成的码本性能更好，能够有效地反映语 音空间的特征，因此只要少量的码本就能使系统达到较好的性能，大大减轻了 码本计算的复杂性，提高了系统识别的速度。 研究内容包括如下几个方面： 1. 在初始码本生

3、成中引入了随机松弛算法，SCHMM 的初始码本生成是一 个矢量量化的问题，量化的困难是量化结果通常会陷入局部最优，采 用随机松弛算法能够比较好地克服这个缺点。 2. 在连续语音训练中，通过减去句子单元信息，克服了Baum-Welch算法 训练不同类型句子时发生数据奇异的缺陷。 3. 改进了 SCHMM 的搜索算法，通过对码本进行剪枝，Beam 剪枝等措施， 在保证一定识别率的前提下，大大减少了搜索在时间和空间上的消耗， 加快了搜索的速度。 4. 实现了一个基于 SCHMM 的连续语音训练和识别系统。 关关键键词词：语音识别，半连续 HMM，码本，随机松弛，搜索 II Abstract As a

4、n efficient technology of speech recognition, Semi Continuous HMM (SCHMM) integrates the advantages of discrete HMM and continuous HMM, and provides a high recognition accuracy and satisfactory speed. In particular, since the sharing and modification of codebooks in global scope, the code- binding s

5、trategy makes it possible to generate much better codebooks that could describe the feature of acoustic space more accurately. In such a case, small codebooks can provide satisfactory performance so that the computational complexity is reduced and the recognition speed is increased. The key research

6、 contains the follows 1. The algorithm of stochastic relaxation is introduced into codebook initialization. Codebook initialization of SCHMM is a problem of vector quantification, whose trouble is that the quantification result often reaches the local minimal point. The introduction of stochastic re

7、laxation overcomes this problem in our experiments. 2. In continuous speech training, the disadvantage that Baum-Welch algorithm could be thrown into data oddity because of different sentences gives various weights to the estimation is resolved by subtracting sentence information. 3. Through codeboo

8、k selection, beam pruning, the search algorithm of SCHMM is modified so that the cost of search is reduced in terms of both time and space, in case of no accuracy lost evidently. 4. A continuous speech recognition system based on SCHMM in real world is implemented. 目录 III 目目 录录 第一章第一章 概述概述 1 1 1.1 语

9、音识别1 1.1.1 语音识别的应用价值 2 1.1.2 语音识别的理论意义 4 1.2 国内外发展状况4 1.3 本文主要工作7 1.4 本文内容安排8 第二章第二章 语音识语音识别别的基本模型的基本模型 9 9 2.1 语音识别的基本结构及方法9 2.2 HMM 的基本结构 .10 2.3 HMM 的三个基本问题 .12 2.4 HMM 的分类 .16 2.4.1 DHMM(离散 HMM) .17 2.4.2 CHMM(连续 HMM) .17 2.4.3 SCHMM(半连续 HMM) 18 第三章第三章 SCHMMSCHMM 的训练方法的训练方法 1919 3.1 SCHMM 初始码本生成

10、 .19 3.1.1 聚类的基本原理及方法 .19 3.1.2 译码器扰动简化随机松弛聚类算法(SR-D) .21 3.1.3 小结 .23 3.2 SCHMM 的训练 .23 3.2.1 基于 Baum-Welch 的前后项训练方法 24 3.2.2 溢出的分析及解决 .27 3.2.3 句子单元信息 .31 第四章第四章 SCHMMSCHMM 的连续语音搜索方法的连续语音搜索方法 3333 4.1 连续语音的 VITERBI解码算法 .34 4.2 N-BEST搜索算法 .35 目录 IV 4.3 静音处理方法.36 4.3.1 基于时域的端点检测方法 .37 4.3.2 基于 HMM 的

11、音节间检测方法 .38 4.4.提高搜索速度的几种方法.38 4.4.1 码本剪枝策略 .38 4.4.2 Beam 剪枝策略 40 4.4.3 降低精度策略 .42 第五章第五章 系统与实验系统与实验 4444 5.1 数据库的建立.44 5.2 系统的实现.45 5.2.1 训练程序 .46 5.2.2 识别程序 .49 5.3 实验和分析.52 5.3.1 码本数对识别结果的影响 .53 5.3.2 状态数对识别结果的影响 .53 5.3.3 帧长对识别结果的影响 .54 5.3.4 系统的性能和评价 .54 第六章第六章 总结总结 5757 参考文献参考文献 6060 个人简历个人简历

12、 6464 致谢致谢 6565 第一章 概述 1 第第一一章章 概概述述 1 1. .1 1 语语音音识识别别 现代语音识别是用电子计算机从人的语音信号中提取信息，确定其语言含 义的过程。 它是一门交叉学科，多个领域的研究工作者参与其中，因此又可被归于多 个大学科。在计算机大学科中，它是智能计算机的智能接口科学；在信息处理 大学科中，它是信息识别的一个重要分支；在通信及电子系统、电路、信号及 系统等大学科中，它属于信息或通信系统的信息处理学科；在自动化学科中， 它是模式识别的一个重要研究对象。同时语言学家和生理学家也对这种用机器 识别人类语言的技术不断作出自己的贡献。于是，语音识别成为一门与人

13、工智 能、数字信号处理理论、模式识别理论、统计信息理论、最优化理论、计算机 科学以及声学、语言学、语义学、脑科学、生理学等众多学科紧密相连的综合 学科。 目前，语音识别系统有多种工作方式，人们常常从不同的角度对识别系统 进行分类： 1. 按说话方式及语言规则： 孤立词(Isolated Word)识别：被识别的基本单位的语音之间有明 显的停顿间隔。这种系统的识别正确率最高，但输入语音速度较慢，而且使 用者常常感到语音输入方式不自然； 连接词(Connected Word)识别：被识别的基本单位的语音可连续输 入而不必停顿，同时对输入的基本单位的顺序没有限制。如：象电话号码这 样的数字串就可用连

14、接词识别法。它的缺点是应用范围不广，而且识别正确 率较低。 连续语音 (Continuous Speech)识别：被识别的基本单位的语音可 连续输入而不必停顿，同时对输入的基本单位的顺序有语法语义上的限制。 连续语音的输入方式比较接近自然，输入语音速度较快，但识别正确率远远 低于对孤立词和连接词的识别。 第一章 概述 2 自然口语 (Natural Speaking)识别：可以看作一种更高级的连续语 音输入方式。说话者完全用自己习惯的自然方式输入语音。语音完全口语化 语音可以随意地连续、停顿和快慢变化，可以有无关的内容（如：咂嘴 的声音、 “嗯”等） ，可以有重复、错误和修改（如： “他住在四

15、一三， 噢，四一四房间 ” ） ，语法上没有书面语那样较严格的限制。自然口语识别 是语音识别的最高阶段，也是现在的一个研究热点。 尽管这四种语音输入方式有或多或少的区别，但实际系统常常包含了许多 相同或相似的模块和算法。如：语音信号预处理部分有时可以通用于这四种系 统，这四种系统可以使用相同的声学模型，连续语音系统和自然口语系统也可 以共享一些语言后处理的算法，等等。 2. 按词汇量大小： 小词汇量 (small vocabulary)识别：可识别词数少于 500 个； 中词汇量 (medium vocabulary)识别：可识别词数大于 500 但小于 2000 个； 大词汇量 (large

16、 vocabulary)识别：可识别词数大于 2000 个。 随着词汇量的增加，在特征空间中相邻词的距离减小了，而词与词交叉 重叠的机会增大，所以识别也越困难。 3. 按被识别人范围： 特定人(speaker dependent)识别：语音识别系统专门为特定人定 制，当对这个人进行语音识别时，系统可达到一定令人满意的识别正确率； 非特定人 (speaker independent) 识别：系统可以对所有人的语音 产生较好的识别结果。实际上，许多非特定人的识别系统都具有自适应功能， 可以用一个使用者的输入对系统参数继续进行训练，以对这个人达到更好的 识别效果，这样非特定人似乎就变成了特定人识别系

17、统。所以非特定人系统 和特定人系统往往没有一个绝对的界限。 1 1. .1 1. .1 1 语语音音识识别别的的应应用用价价值值 语音识别有极其巨大的应用价值，这主要表现在以下几方面： 1. 一种非常自然的文字输入方法 第一章 概述 3 人类希望将自己的语言记录下来，传统上可以通过书写等物理手段进行具 体的保留。现在，更准确、可靠和容易加工的手段是输入计算机以抽象数据编 码的形式进行记录。最常用的方式是用键盘输入，这要求使用者必须经过专门 的训练，而对普通用户又不太现实。尤其对于使用汉语的中国人的来说，困难 就更大，因为汉字是象形文字，不象英语等拼音文字那样每个字母都有键盘按 键直接对应。虽然

18、现在汉语已有五笔字型等高效输入编码方式，但对于一般人 来说很难熟练掌握。 另一方面，口语是人类生存的一个重要手段，虽然它不是与生俱来的，但 一个健康人在他的早年即已习得，可以认为口语是绝大部分人最自然的交流方 式。有时，书写也可以作为人们的交流方式，不幸的是书写速度还是比普通的 说话速度慢，所以口语应该成为最自然、快速的文字输入方式。 2. 语音控制 在很多场合下，人们希望有手动控制以外的控制方式。有时是为了安全， 比如在驾驶车辆时，司机为了使用移动电话，分散精力用手拨号就是很危险的； 有时是为了方便，比如现在的掌上电脑体积很小，用普通电脑的按键方式使用 很困难；还有时是特殊环境的要求，比如我

19、们在黑暗的场所操纵诸多开关、按 钮时，会发现并不容易。而语音在这些方面却不受限制，我们可以用语音识别 进行拨号，进行掌上机的输入，进行开关的控制。语音控制可以解放我们的双 手，帮助我们克服各种操作的困难，还可以使我们的生活、工作更方便和舒适。 比如：在联网的智能家电中装上语音识别模块，我们就可以从办公室打电话了 解家里的情况，并控制家电的工作。另外，对残疾人来说，语音控制可能会使 他们能像健康人一样地自理生活。总之，语音控制的应用前景非常广阔。 3. 对话系统（订票系统，天气查询等） 将语音识别、自然语言理解、对话控制、语言生成、语音合成、数据库等 技术综合起来可以构成对话系统。对话系统现在已

20、开始用于订票系统，普通用 户可以通过电话进行语音订票或预定旅馆房间；另外还出现了带有对话系统的 天气查询系统1，用户同样可以通过普通电话进行语音查询。对话系统可以在 任何时候被大负荷的访问，不象人一样会疲劳，总能给用户亲切、快捷的服务。 预计语音识别在这一方面的应用还要进一步扩大。 4. 口语翻译系统 随着人们的交流日益频繁，对口语翻译的需求越来越大。为此很多机构在 第一章 概述 4 研究自动口语翻译系统。口语翻译的第一步就是要听清用户在说什么，这部分 的工作离不开语音识别系统。 5. 计算机辅助教学 在常规的课堂教学中，老师和学生之间经常要进行交流，以提高教学的质 量，解决学生的疑问。在计算

21、机辅助教学领域，人们也希望人机之间有相似的 交流和反馈。目前，语音识别已开始进入这一领域，比如：有一些英语学习软 件就通过语音识别来判断学生发音的准确性。由于交流的重要性，可以断言， 未来大部分计算机辅助教学系统都离不开语音识别。 6. 身份确认 现在进行自动身份确认的方式很多，比如：键盘输入密码、指纹、掌纹、 人脸、虹膜、视网膜图像等等，而语音常常是一个非常好的方式。人们可以口 述密码、回答特殊的问题，还可以与目前的说话人确认技术（Speaker Verification）结合，形成一种自然、方便和可靠的确认系统。它可以广泛地 用于楼宇安全系统，以及电子商务等领域。 以上只是目前可以预见到的

22、一些应用，尽管这样，已经让我们对未来充满 了憧憬。语音识别将与其它各种技术熔合在一起，渗透到社会的各个角落，相 信有一天，人们会发现自己的生存已离不开语音识别。 1 1. .1 1. .2 2 语语音音识识别别的的理理论论意意义义 语音识别也有很强的理论价值。人类语音信息与其它的自然界或人工信息 有相当程度的相似性。因此其它领域的研究也可以得益于语音识别。首先，语 音识别中有些技术手段直接或稍加修改便可应用于其它声音或振动波形的识别 中。比如：地震波性质识别、利用机械声波识别来判断机械故障、利用脑电波 的识别作病理诊断等。其次，语音识别中的一些思想和方法与更广泛的模式识 别(如手写体识别、指纹

23、识别等)有一定的共性。因此，也可能推广到更广泛的 领域。另外，在语音识别中遇到的一些问题，同样可以成为数学、信号处理、 人工智能等领域研究的新课题，从而对这些学科的发展起到一定的推动作用。 1 1. .2 2 国国内内外外发发展展状状况况 语音识别技术从五十年代初期起步，到今天已发展了四十年，在此期间经 历了若干个重要阶段。下面给出了一些代表性的技术和系统的发展情况。 第一章 概述 5 五十年代电子信号频谱分析仪器开始被用于从语音信号中识别简单、少量 的音节和音素。其中有代表性的是 1952 年美国 Bell Laboratories 的实验装 置，它通过提取元音中的共振峰来识别简单的音节。稍

24、晚还有 1956 年 RCA Laboratories 的单音节词识别装置2，该装置的基本原理是用模拟滤波器组对 元音进行谱分析。五十年代可以认为是现代语音识别技术的启蒙阶段。 六十年代人们进行了一些重要的基础研究工作。一、对语音产生的研究， Fant3, 4 和 Flanagan5的工作使人们对语音产生的机理有了一个较系统的了 解。二、对人类听觉的生理和心理进行了研究，其中一个重要的成果就是发现 了人耳对声音中的不同频率成分有不同的分辨力的反应力，这对后来的听觉模 型6研究很有指导意义。三、模板匹配的研究：其中较著名的是美国人 Martin 提出的用提取语音端点的途径来解决语速变化的问题；而

25、日本学者 Itakura 将 动态规划(DP)的概念用于解决孤立词识别时说话速度不均匀的难题，提出了著 名的动态时间伸缩算法(DTW)。四、自然语言理解的基础研究，这导致了七十 年代初 CMU 的 Hearsay I 简单的口语理解系统。 值得一提的是日本在六十年代早期开始了这方面的大量研究，有若干个研 究机构参与。他们的重要成果是实现了一些语音分析、识别的专用硬件。它们 中有 NEC 的数字识别器、东京大学的音节识别器和 RRL 的元音识别器7。 到了六十年代，电子计算机已发展了二十年，人们逐渐将计算机用于语音 识别中，这也为七十年代研究的蓬勃发展奠定了基础。 七十年代，有关语音识别的各方面

26、理论大量出现。在信号处理方面， Itacura8发现基于线性预测编码 LPC 的谱系数是识别器很好的特征，不但识 别效果比以前大有提高，计算复杂度也比较小。人们已知道基于 LPC 又可提取 出 PARCOR 参数、声道截面积比等重要的可用于识别的特征参数9。在模板匹 配方面，日本人 Sakoe10证明 DTW 在语音识别中可以有效地解决两个不同长度 的语音段对齐的问题。在语言模型方面，Jelinek 研究了 N-gram 算法11。在 自然语言理解的研究与应用方面，句法和语义信息开始被加入识别过程中，这 样可以大大减小混淆度，同时有助于得到正确的结果。七十年代还有一个重大 的里程碑，就是 CM

27、U 的 Baker12和 IBM 的 Jelinek13意识到可以将马尔可夫模 型应用于语音识别，不平稳的语音流中可以有相对平稳的状态的概念在人们的 思想中真正地确立，现在常用的声学模型就是基于这个思想。此外，还出现了 网络表示、beam 搜索14、前后向算法等理论。 第一章 概述 6 七十年代出现的主要是孤立词识别系统，比较著名的是：CMU 的 Hearsay- II15、IBM 的大词汇量自动语音听写系统11、Bell Labs 用于通迅的与话者无 关的语音识别系统16。它们中有很多是得益于美国国防部的 ARPA 语音理解计 划。 到了八十年代，语音研究的主流由以前的确定性的模板匹配方法转

28、移到了 概率模型方法，主要是采用了隐马尔可夫模型(Hidden Markov Models 缩写为 HMM) 17,18。隐马尔可夫模型虽然有不少缺陷19-21，但它在建模的精确性和灵 活性方面还是比较好的，因此至今人们还仍然大量使用隐马尔可夫模型或者它 的改进模型。CMU 的 SPHINX22,23就应用了这种概率模型，并进一步与矢量量化 结合在一起。八十年代基于动态规划的解码算法24被人们大量地使用，使这个 时期的系统普遍具有连接词识别的能力。 另外，八十年代人工神经网络的研究热潮也波及语音领域。人工神经网络 的特点是有通用的网络结构和参数训练方法，而不必过分考虑语音的实际概率 分布。它的

29、缺点是难于直接处理象语音这样时间长短会变化的信号序列。因为 马尔可夫模型适于处理时间序列，于是有人将隐马尔可夫模型与人工神经网络 结合起来，构成嵌套模型25，并一度成为研究的热点。 进入九十年代，随着信号处理、声学模型26、语言模型、解码搜索27,28 算法等理论日益成熟，计算机软硬件系统性能不断提高，出现了一些大词汇量 连续语音识别系统，如 IBM 的 ViaVoice29，Microsoft 的 Whisper30，CMU 的 SPHINX-II31等等。这些系统大体上采用了相似的技术，不仅有基于隐马尔可 夫模型的声学模型，而且包含了较复杂的语言模型以及先进的解码算法。它们 采用各种算法3

30、2-34以提高对说话人、环境、通道的鲁棒性。有的系统还加入了 自然语言理解部分，使系统性能进一步提高。为了推动现代语音识别技术的发 展，Cambridge 开发了 HTK35语音识别开发软件包，使研究开发工作者能够在 一个良好的平台上专注于某一个具体问题的研究。最近，CMU 也开始在网上公 开部分 Sphinx 的源代码，相信这将为全球各地的研究人员提供良好的研究交 流机会。当前已有不少语音识别系统进入实用化阶段，走上了市场，表 1-1 列 出最近个人电脑杂志报道的世界主要语音识别软件的评比结果36。这个评 比结果表明现在实用的语音识别系统已经发展到了非特定人、超大规模词汇量 和连续语音识别阶

31、段，并具有大约 93%的初始识别正确率。 我国对语音识别的研究开始于七十年代后期，起步较晚。但由于汉语语音 第一章 概述 7 识别的重要性日益突出，最近发展速度很快。七十年代末，中国科学院声学研 究所基于滤波器组设计成功了实时语音识别系统 RTSES(01) 37。八十年代中期， 清华大学和哈尔滨工业大学分别研制成功基于线性预测编码系数 LPC 的特定人 大词汇表孤立词识别系统。八十年代后期，清华大学推出了基于音节的汉语识 别系统。其后不久，北方交通大学、北京理工大学等研究机构也实现了相似的 全音节汉语语音识别系统。进入九十年代，我国在连续语音识别方面也取得了 重大进展。1995 年清华大学推

32、出了非特定人大词汇量连续语音识别系统38。 1996 年，中国科学院自动化研究所也推出了相似级别的系统39。在 1998 年的 863 语音连续语音识别测评40中，清华大学系统的句子识别平均正确率达到了 93，音节首选正确率最高达到了 82%，这代表了目前国内的研究水平。 表 1-1 Dragon NaturallySpeaking、FreeSpeech 2000、L()( 其中 (2-30)1 1 M m lm g 这是用M个混合高斯密度对第 l 个状态的特征空间进行估计。理论上可以 证明，当M足够大时，MGD 可以比较准确地描述特征向量的概率密度。 第二章 语音识别的基本模型 18 估计方

33、法很多，如最大似 然估计 50，期望最大化估计51，和最 )(xbl 大后验概率估计 52等。 2 2. .4 4. .3 3 S SC CH HM MM M( (半半连连续续 H HM MM M) ) 虽然 MGD 描述方法中所要存储的参数不多 (每个混合的中心向量、 lm 协方差矩阵和权重系数)，但当 M 很大时由于每个都需要存储M 组 lm lm g 这样的参数，因此空间和时间消耗都比较大。SCHMM45结合 VQ 技术和连 续密度描述的特点比较好地解决了这个问题。 (2-31) J j j D sjt J j j D stjt J j tjtjtttts VbVof VbsVof sV

34、PsVofsofob t t t 1 )( 1 )( 1 , ,)( 其中是表征特征空间的码本，是输出离散码字的权重系数，JjVj1 j D s Vb t )( 为以码字为中心的子空间中的特征向量概率密度的高斯逼近。 jtV of 这种描述方法改变一下形式成为 (2-32) J j jtljtl Vofgob 1 )( 这就是捆绑式 MGD(TMGD，Tied Mixture Gaussian Density)。 在这样的描述中，所有模型都公用J 个类似码字的密度函数，记录一 个模型中不同状态的概率密度函数只需要一组系数即)(xblLlgG lj 1 可。虽然 SCHMM 和 TMGD 对特征

35、空间的描述都信赖于这J 个分布，但其描 述不如 MGD 来得精确，尤其在码本选得不合适时更是如此。 第三章 SCHMM 的训练方法 19 第第三三章章 S SC CH HM MM M 的的训训练练方方法法 SCHMM 作为一种有效的语音识别技术，是离散隐马尔科夫模型（DHMM）和 连续隐马尔科夫模型（CHMM）的一种折衷方案45。它既克服了 DHMM 识别精度 较低的缺点,又降低了 CHMM 计算的复杂性，因而是一种相当好的语音识别技术。 SCHMM 之所以能做到这一点，主要是因为 SCHMM 使用了一组特殊的码本。这组 码本由所有模型和所有状态共享。它相当于连接 DHMM 和 CHMM 的桥

36、，是决定整 个 SCHMM 系统性能的关键因素之一。 3 3. .1 1 S SC CH HM MM M 初初始始码码本本生生成成 在采用 SCHMM 对语音数据进行训练之前，首先要为 SCHMM 的一些参数赋初 值，这些参数主要有：初始码本（包括均值 m 、协方差矩阵 m ）,初始状态矩 阵 a，状态转移矩阵 A，权重b。在无跨越由左向右模型中，a 可忽略，A、b 可 通过赋予均值得到，而初始码本主要通过对训练样本的聚类获得。初始码本的 选择相当重要，因为初始码本通常是基于最小平均失真准则产生的,在训练中还 要对初始码本进行调整，使得码本能够在基于最大似然准则条件下和 SCHMM 其 它参数

37、达到较好的一致45。而在训练中用于迭代的价值函数是一个非凸函数， 初值的好坏决定了迭代运算是否能收敛到全局最佳点。 3 3. .1 1. .1 1 聚聚类类的的基基本本原原理理及及方方法法 聚类的目的是把相似的对象分为同一类，从而能够对类内对象用同一种 方式表示。从模式识别的角度看，聚类属于非监督学习的范畴，即是在未知 类别标签的样本集上，通过对样本间相似性的度量将样本集划分为若干个子 集。 SCHMM 的码本属于高维矢量，因此聚类算法要采用矢量量化的一些原理。 在矢量量化器的最佳设计中，重要的问题是如何划分量化区间和确定量化矢 量，Lloyd 提出的两个条件回答了这两个问题。 1、最佳划分，

38、即找出给定 码字矢量的最佳区域边界。这可以根据 “最近邻原则 ”求出。2、最佳码 字，即找出与最佳区域边界内所有矢量之间畸变平均值最小的码字，这可以 通过求最佳区域边界内所有矢量的质心解决。 依据 Lloyd 准则，Linde 等人提出了 LBG 算法53，这是矢量量化中常 用的方法之一，整个算法实际上就是上述两个条件的反复迭代过程，既由初 始码字寻找最佳码字的迭代过程，它由对初始码字进行迭代优化开始，一直 到系统性能满足要求或不再有明显改进为止。LBG 算法的流程图如下 : 第三章 SCHMM 的训练方法 20 1. 将形成 VQ 码本所需全部 输入矢量 X 存储于计算机 内存中。 全部 X

39、 的集合用 S 表示。 2. 设置迭代算法的最大迭代次数L 3. 设置畸变改进阈值。 4. 设置 M 个码字的初值。 00 2 0 1 ,., M YYY 5. 设置畸变初值。 0 D 6. 设置迭代初值 m=1 7. 根据最近邻准则将 S 分成 M 个子集。即当 m M mm SSS,., 21 时，下式应成立： m l SX liiYXdYXd m i m l , 11 8. 计算总畸变 : m D M l SX m l m m l YXdD 1 1 , 9. 计算畸变改进量的相对值： m D m m mm m m m D DD D D 1 10. 计算新码字 :,., 21 m M mm

40、 YYY m i SXi m i X N Y 1 11. ? m 若回答为是，转入 13 执行。 若回答为否，转入 12 执行。 12. m=0.9。第二需要根据的大小设计一组合适的扰动矢量，要求这组 n T i Y 矢量是互相独立的随机高斯矢量，每个矢量的各个分量也相互统计独立，其 均值为 0，均方差值等于，而且在每次迭代后要根据的值重新生成。 n T n T 扰动公式可以表示为： (3-1) MiYYY n i n i n i 1, 1 在 SR-D 算法中，初始退火温度的选择对算法的效率有较大的影响。 0 T 主要是根据经验给出的，对不同的应用可能有不同的选择。通常建 0 T 0 T 议

41、给一个较大的值，但过大显然会增大迭代的次数，为了有效地初始化 0 T 参数，我们对初始退火温度进行了定义。作为一个初始扰动值，对某一 0 T 第三章 SCHMM 的训练方法 22 区域而言，第一次扰动的范围在每 一维上达到所划分区域的最大半径 就足 够了，这样，从总体上看，扰 动可以达到整个矢量空间的边界， 而理想码 字必定在这个范围内，也就是说，扰动可以到达这些码字。根据扰动矢量设 计规则，对 i 区域， 可以表示为：=,表示第一次最佳 0 T 0 T ii YYd 11 2 ， i Y1 划分的第 i 个区域的码字，为 i 区域内与畸变最大的矢量， i Y1 i Y1 代表两矢量间欧氏距离

42、的平方。对每一个区域做同样的计算，选择yxd, 2 其中的最大者 作为值，这样能够较好地保证有效的扰动范围，有利于下 0 T 次区域划分向理 想码字靠近。由于以后的新区域都是经过最佳划分的，比 前一次划分的区域 更加靠近理想码字，需要扰动的范围也会比前一次小， 因此按上式所给的初 始退火温度是够用的。熄火温度可根据精度要求给出。 SR-D 算法见图 1。 所求出的 M 个码字可作为码本的均值，然后再利用已求出的M 个码 字对训练集进行 M 个区域划分，在每个区域计算均方差。从而可求得M 个码字的均方差。这样 M 个码字的初始码本就形成了。 我们对采用 LBG 算法和 SR-D 算法进行了对比实

43、验，实验是在同一个语 料库上采用 LBG 算法和 SR-D 算法进行相同的聚类，并分别给了五个不同的 初值，以总方差大小作为评价聚类算法优劣的标准。结果如表3-1： 从表中可以看出，在五次不同初值的聚类实验中，采用SR-D 算法得 F 图图 1 SR-D 算法流程图算法流程图 Nn TT T 以,为初始码字，进行最佳 1n i Y 划分并求出 M 个新码字 1n i Y 生成扰动，计算新 n i Y 码字 n i n i n i YYY 1 输出 i=1M 1n i Y 随机设置 M 个码字,n=1,赋初值 i Y ,进行最佳划分并计算 N T 0 T 令退火温度 n n KTT 0 n=n+

44、1 第三章 SCHMM 的训练方法 23 到的总方差都要比 LBG 方法得到 的总方差小，这说明 SR-D 聚类比 LBG 有 更好的性能。 表 3-1 LBG 和 SR-D 聚类总方差的比较 初值序号12345 LBG7187171745721767252072461 SR-D7127571226712147133771111 另外，我们也比较了不同初值对识别结果的影响。这些初值是一次聚类 的若干中间结果，以总方差的大小作为评价初值优劣的标准。在其它条件完 全相同的情况下，利用这些初值训练的系统识别率见表3-2： 表 3-2 不同初值对系统识别率的影响 初值序号12345 总方差100810

45、95594947049295192890 正确率%87.7888.0688.3388.6190.56 从表 3-2 可以看出，随着总方差的变小，初始码本聚类的畸变减小， 即我们认为较好的初始码本，那么对应的识别率也有所提高，这说明初始码 本对系统的识别率是有影响的，好的初始码本对系统是有益的。 3 3. .1 1. .3 3 小小结结 通过以上的介绍可以看出，在SCHMM 中，初始码本是比较重要的，好 的初始码本能够总体上接近各模型的质心，因而在调整码本过程中收敛较快 并且容易达到或接近全局最优，相反，如果某个模型附近没有码本，它在调 整码本过程中对整个码本调整趋势的影响力降低以至于码本更加远

46、离它，自 然地，码本对这个模型的刻画精度就低；如果某个码本附近没有模型，那么 所有模型对该码本的权重都较小以至于区别不大，这种情况造成的结果是该 码本的方差迅速减小，均值变化不大，它对整个模型的刻画能力大大降低， 从而成为垃圾码本。因此，码本初值的好坏对半连续模型相当重要。和 LBG 算法相比，采用随机松弛的方法产生初始码本，算法具有随机性，这样 就有可能脱离局部最小点，增加了到达全局最小点的概率。 3 3. .2 2 S SC CH HM MM M 的的训训练练 在第二章我们简单介绍了两种HMM 的训练方法，即 Baum-Welch 算法 第三章 SCHMM 的训练方法 24 和分段K-平均

47、聚类方法，由于 SCHMM 要在全局优化和调整码本， 采用分 段K-平均聚类方法是不行 的，因此这里主要介绍基于 Baum-Welch 的 SCHMM 的训练方法。 3 3. .2 2. .1 1 基基于于 B Ba au um m- -W We el lc ch h 的的前前后后项项训训练练方方法法 前后项训练是一种在数学上严格的最大似然估值算法 55，利用 Baum-Welch 算法56，可以极大提高这一方法的计算效率，因此前后项训练 方法得到广泛应用。 我们首先从分析一个简单的单模型单样本入手。导出SCHMM 参数的训 练公式。然后把它推广到多模型多样本的情况。 设模型有 L 个状态 S

48、1-SL, 训练样本帧数为 N，码本数为 J，输入语音 的状态序列用下式表示： (3-2) ,.,),.,( 2121LtT SSSxxxxX 定义初始状态概率矢量表示为： (3-3),.,( 21L aaaa 其中： (3-4) 1ll Sxpa 定义状态转移概率矩阵 A 为： (3-5)/ 1unvnuv SxSxpA 最后再定义状态输出概率函数为： (3-6) ypypypB L ,., 21 其中为状态 的概率输出函数。它是 J 个多维高斯分布函数的线性 ypll 组合。表示为： (3-7) J j lj J j nljljnl ypyp 11 1, 其中为多维高斯分布函数，为多维高斯分布函数的权重系数： nlj yp lj (3-8) jnj T jn j nlj MyMyyp 1 2/1 2 1 exp 2 1 当这些 HMM 参数确定后，对任一输出语音串的