句法统计机器翻译的一些问题分析.doc

《句法统计机器翻译的一些问题分析.doc》由会员分享，可在线阅读，更多相关《句法统计机器翻译的一些问题分析.doc（79页珍藏版）》请在三一文库上搜索。

1、句法统计机器翻译的一些问题分析 /.paper.edu - 1 - 中国科技论文在线 句法统计机器翻译的一些问题分析# 朱靖波，肖桐* 基金项目：高等学校博士学科点专项科研基金资助课题（20100042110031） 作者简介：朱靖波(1973)，男，教授，博导，自然语言处理 （东北大学信息学院，沈阳 110819） 5 摘要：本文针对目前句法统计翻译的一些基本问题进行分析，并重点讨论了句法对齐、句法树重构、基于 tree-parsing 的解码和基于句法的语言模型等问题。在此基础上，文本提出了若干解决方案，并给出了初步的实验结果。最后，文本还对句法统计机器翻译中若干潜在的研究方向进行了展望。

2、 关键词：自然语言处理；机器翻译；句法对齐；翻译规则抽取；解码 10 中图分类号：TP3-05 Some Issues of Syntax-based Statistical Machine Translation Zhu Jingbo1, Xiao Tong2 (1. College of Information Science and Engineering, Northeastern University, Shenyang, 110819; 15 2. College of Information Science and Engineering, Northeastern Univer

3、sity, Shenyang 110819) Abstract: In this paper we focus on analyzing issues in syntax-based statistical machine translation. In particular, we give an in-depth discussion on several interesting topics, including: syntactic alignment, tree restructuring, tree-parsing-based decoding and syntactic lang

4、uage modeling. Moreover, we present our solutions to these issues as well as some preliminary results. 20 Finally, we conclude the paper with an outlook of future directions. Key words: Natural Language Processing; Machine Translation; Syntactic Alignment; Translation Rule Extraction; Decoding 0 引言

5、25 机器翻译研究的开始与计算机诞生几乎在同一时期，是计算机的最早实际应用之一，目的是充分利用计算机软件系统实现将一种语言（如英文）的文本/语音转换成为另外一种语言（如中文）。实现不同语言的自动翻译是人工智能的梦想之一，至今具有六十多年的研究历史。在 90 年代之前，机器翻译领域主要是采用传统基于规则的方法，包括后来产生一些基于实例、基于记忆、基于模板等机器翻译技术。但是基于规则的方法存在一些局限性，如30 规则“跷跷板”问题、规则人工构建代价很高等问题。随着计算机的软硬件快速发展，基于统计的机器翻译理论和技术逐渐成为了该领域的研究热点。统计机器翻译（Statistical Machine T

6、ranslation，SMT）指基于统计模型的机器翻译方法。由于它具有开发周期短和系统健壮性强等特点，已经被广泛地应用于在线翻译和受限领域的机器辅助翻译中，也逐渐受到越来越多学术界和工业界的关注。 35 与传统基于规则的机器翻译不同，统计机器翻译的基本思想是给每个潜在的翻译结果都赋予一定的概率，并选择概率最大的翻译作为最终的翻译结果。统计机器翻译模型基本框架1如图 1 所示： /.paper.edu - 2 - 中国科技论文在线 图 1 统计机器翻译的基本模型框架 40 Figure 1. Basic model framework of statistical machine transla

7、tion 给定源句子 f，传统生成模型的目的在于找到具有最大概率 p(e|f)的目标译文 e*。其中包括两个子模型：1）语言模型 p(e)用于评价目标译文 e 的流畅度；2）翻译模型 p(f|e)用于评价目标译文与源文的含义一致性程度。图 1 中显示的全局搜索（Global Search）也被称之为45 解码过程（Decoding）。由于全局搜索过程计算复杂度是 NP 难问题2，因此在实际实现过程中，统计机器翻译系统通常会利用剪枝技术（Pruning），如束剪枝（Beam Pruning）技术。在解码阶段，为了估计某一候选译文 e 的条件概率 p(e|f)，通常称之为模型分数（model sc

8、ore），目前大多数统计机器翻译系统都采用对数线性模型（log-linear model）3，定义如下： ? ? 11),(exp(),(exp()|Pr(eMmmmMmmmfehfehfe? (1) 50 其中 hm(e,f)表示特征函数，如语言模型、词汇翻译概率等。m表示 hm(e,f)的权重系数，可以采用最小错误率的训练方法（MERT）4获得。 目前统计机器翻译模型可被分为三类：基于词的翻译模型、基于短语的翻译模型和基于句法的翻译模型。基于词和短语的统计机器翻译通常也被称作基于词串的翻译模型5。两者不需要对源语言或目标语进行深入的句法/语义分析，而是直接利用表层串的对应关系来进55 行翻

9、译。在基于词/短语的翻译模型中16-8，基本翻译单元是词或者短语。不过这里的短语并没有传统的语言学意义，只是表示一个连续的词串。这两种翻译模型可以在一定程度上利用局部的上下文信息，并在一定程度上解决翻译的局部调序问题。相比基于词/短语的翻译模型，基于句法的翻译模型利用句法分析的结果来指导翻译过程9-15。由于句法树可以更加全面深入地表示句子的结构信息，它可以提供更多的语言学依据来辅助结构翻译和调序，并60 提供语言的形态学分析基础。从理论上来说，基于句法的翻译模型要比基于词/短语的翻译模型更有能力处理长距离依赖等翻译的核心问题。 本文主要针对目前句法统计翻译模型的一些问题进行分析讨论，并尝试给

10、出一些初步解决思路。在开展深入讨论之前，让我们重新审视机器翻译的基本过程，本质上可以分为三步：1）将源语句子分解成为基本翻译单元的序列；2）完成对每个基本单元的翻译；3）将所有65 基本单元的译文组合起来生成最终译文。 由此，统计机器翻译需要回答如下三个问题： Q1：如何定义有效的翻译基本单元？不同类型的基本单元对应不同的统计翻译模型，如基于词、基于短语和基于句法的模型。 Q2：如何获取每个基本单元的转换（翻译）规则？这涉及到规则抽取和模型训练技术。 70 Q3：如何以最优的方式组装每个翻译单元的译文获得最终译文？这将涉及到解码技术。 不管是基于短语还是基于句法的统计机器翻译系统，实现过程可以

11、分为三个阶段：1） /.paper.edu - 3 - 中国科技论文在线 翻译规则抽取（Phrase/Rule Extraction）完成从预先收集好的大规模双语句中自动抽取翻译规则，通常会利用自动词对齐的信息。2）模型训练（Training）主要包括翻译规则概率估计和对数线性模型中权重学习。3）解码阶段（Decoding）主要完成对新句子的自动翻译。 75 1 词对齐 vs 句法对齐 传统统计机器翻译模型采用的翻译文法构建都是基于自动词对齐的结果，如采用 Giza+工具获取。但自动词对齐结果是不完美的，可能存在一些词对齐错误。从实际数据中我们发现，某个词对齐错误可能造成我们无法抽取到一些所期

12、望的翻译规则。从图 2 就可以看出，利用当前的词对齐信息，规则 r1-r5 可以被成功抽取出来。在当前词对齐结果中，由于中文单词80 “了”被错误对到了英文单词“the”，导致一些我们所期望的有用规则如 r6-r9 无法被成功抽取。这个现象在句法统计机器翻译中非常普遍，对机器翻译性能也造成了不利影响。 SVPADVPNNSimportsVBZhaveDTVBNRBfallendrasticallythe减少大幅度进口 了NNVV ASAD VPVPSNPFrontier nodeWord alignment r1 : AS(了) DT (the)r2 : NN(进口) NNS (imports

13、)r3 : AD(大幅度) RB (drastically)r4 : VV(减少) VBN (fallen)r5 : S(NN1 VP(AD2 VP(VV3 AS4) S(NP(DT4 NNS1) VP(VBZ(have) ADVP(RB2 VBN3)(Minimal) transformation rules extracted r9 : S(NN1 VP2) S(NP1 VP2)r8 : VP(AD1 VP(VV2 AS3) VP(VBZ3 ADVP(RB1 VBN2)r6 : AS(了) VBZ (have)r7 : NN(进口) NP (DT(the) NNS (imports)Rul

14、es that are blocked 图 2 基于词对齐的翻译规则抽取 Figure 2. Translation rule extraction based on word alignment 85 为了解决这个问题，我们可以引入句法对齐（Syntactic Alignment）技术，本文称之为节点对齐（Node Alignment）技术，如图 3b 显示。 SVPADVPNNSimportsVBZhaveDTVBNRBfallendrasticallythe减少大幅度进口 了NNVV ASAD VPVPSNPFrontier node SVPADVPNNSimportsVBZhaveDT

15、VBNRBfallendrasticallythe减少大幅度进口 了NNVV ASAD VPVPSNPWord alignmentFrontier nodeWord alignmentNode alignmentr1 : AS(了) DT (the)(Minimal) transformation rules extracted New rules extracted: r6-r9r2 : NN(进口) NNS (imports)r3 : AD(大幅度) RB (drastically)r4 : VV(减少) VBN (fallen)r9 : S(NN1 VP2) S(NP1 VP2)r8 :

16、 VP(AD1 VP(VV2 AS3) VP(VBZ3 ADVP(RB1 VBN2)r6 : AS(了) VBZ (have)r5 : S(NN1 VP(AD2 VP(VV3 AS4) S(NP(DT4 NNS1) VP(VBZ(have) ADVP(RB2 VBN3)r7 : NN(进口) NP (DT(the) NNS (imports)r3 : AD(大幅度) RB (drastically)r4 : VV(减少) VBN (fallen) 图 3a：基于词对齐的规则抽取 图 3b：基于节点对齐的规则抽取 Figure 3a. Rule extraction based word ali

17、gnment Figure 3b. Rule extraction based on node alignment 90 与传统词对齐技术的不同之处在于，节点对齐目的是建立不同双语树节点之间的对应关 /.paper.edu - 4 - 中国科技论文在线 系。从图 3b 可以看出，基于节点对齐技术，原先无法抽取的有用翻译规则 r6-r9 可以被成功抽取出来。针对节点对齐技术的有效性，目前有一些研究人员提出了一些方法1617，在充分利用传统词对齐信息的基础上，采用启发性算法或有指导分类技术来实现节点对齐。我们95 也曾提出一种无指导的节点对齐模型，取得了较好的结果。 理论上来说，给定一个句法树对(

18、S, T)，实现节点对齐本质上就是寻找最佳的推导 d*，形式化定义如下： )|,(maxarg),(* SdTPdTSDd? (2) 其中 D(S,T)表示整个推导空间。 100 换句话说，节点对齐模型的目标就是在整个推导空间内寻找到某一推导 d，具有最大条件概率 P(T,d|S)。在实际情况中，直接计算该条件概率是不可行的。我们对此进行了严格的、系统的模型推导，由于篇幅有限，无法详细给出推导过程。基本思想就是引入一些条件独立性假设，最终将原始条件概率分解成为四个因素的条件概率的乘积，定义如下： P( | ) P ( ( ) | ( ) P ( ( ) | ( ) P ( ( ) | ( )

19、P ( | ( ), ( )nt r r pcfg r rlex r r reorder r r rr S root t root s tree t root tlex t lex s vnt t vnt s? ? ? (3) 105 其中该四个因素概率分别为非终结符映射概率、子树生成概率、词汇化映射概率和调序概率。这些概率和模型参数可以同 EM 算法从训练数据中学习获得。我们在 NIST 汉英机器翻译任务中对上述方法进行性能评价，主要考虑两个任务：节点对齐（利用对齐的 F1 值评价）和机器翻译（利用翻译结果的 BLEU 值评价）。从表 1 中可以看出，我们提出的节点对齐模型显著地提高了对齐的

20、 F1 值，同时有效的改善了翻译性能。 110 表 1：不同对齐方法的性能的比较分析 Table 1. Effectiveness analysis of various word alignment methods Methods F1(%) BLEU(%) GIZA+ 62.0 32.45 Tinsley et al., 2007 59.8 31.83 Our work 65.8 32.96 传统句法机器翻译系统都采用 1-best 对齐来实现翻译规则的抽取。但是在实际应用中，由于 1-best 对齐存在很多错误，这将导致基于 1-best 对齐的规则抽取结果存在覆盖度不足的115 问题。

21、为了解决这个问题，一个简单明显的解决方法就是采用 k-best 词对齐结果。在实际情况中，自动对齐工具输出的 k-best 对齐结果存在一个严重的冗余问题，不同的对齐结果相似度非常高，差异性非常小，这就可能导致解决规则抽取覆盖度问题的能力非常有限。为了解决基于 k-best 节点对齐存在冗余的问题，可以考虑采用节点对齐矩阵，来实现句法翻译规则的抽取。我们的初步实验结果显示利用节点对齐矩阵来实现规则抽取能够有效地解决 1-best120 对齐造成的错误，同时提高规则集的覆盖度。 2 句法树重构 基于句法的统计翻译模型需要对源语或目标语句子进行句法分析，通常采用开源句法分析工具来实现。句法分析结果

22、通常采用 PTB/CTB 标注风格 18。很多研究人员曾指出PTB/CTB 风格的句法分析树不能很好地满足句法统计翻译模型的需要1920。 125 /.paper.edu - 5 - 中国科技论文在线 NPU.S.NNP美国NN NN NNpresident Bill Clinton总统 克林顿 NPU.S.NNP美国NNNN NNpresident Bill Clinton总统 克林顿NP-BARNP-BAR 图 4：一个 PTB/CTB 风格的句法子树的二叉化处理 Figure 4. Binarization of a PTB/CTB-style syntactic sub-tree 从图

23、 4 可以看出，PTB/CTB 风格的句法树很多时候结构太平，造成一些有用规则无法得到。如例子中“NP克林顿”翻译规则就无法从左边句法结构中抽取出来。为了解决这130 个问题，一个有效的方法就是对 PTB/CTB 风格的句法分析树进行重构。一个典型的相关研究工作是对句法树进行二叉化处理20。基本思想就是将过于平坦的句法结构变成具有一定深度的二叉树，中间引入一些中间非终结符号，如 NP-BAR。通过基于二叉化的句法树重构过程，例如“NP-BAR 克林顿”翻译规则就可以被自动抽取出来，规则抽取算法没有进行任何修改。这是一种非常简单有效的句法树重构技术。 135 图 5：句法树的二叉化处理 Figu

24、re 5. Syntactic tree binarization 但是，句法树的二叉化处理并不能解决所有问题。图 5 显示了另一个非常典型的例子，140 源语与目标语存在严重结构差异性。在这种情况下，二叉化的重构技术难以解决所面临的规则抽取问题。一些有用的翻译模板无法得到有效抽取，例如“已抵达北京”的翻译规则。为了解决这个结构差异性问题，可以采用所谓“预调序”技术，调序结果如图 6 所示，我们可以得到一个新的句法结构。在这个新的句法结构上再进行二叉化重构，就可以非常容易抽取出原来无法得到的“已抵达北京”翻译规则。 145 S已 于 抵达他 今天VV北京NNNPVPNTADVP-BARPNNP

25、has already in BeijingHe arrived todayVPPPPNPADVPVP-BARS已 于 抵达他 今天VV北京NNNPVPNTPPPADVPPNNPhas already in BeijingHe arrived todayNPADVP /.paper.edu - 6 - 中国科技论文在线 图 6：图 5 例子的预调序及二叉化处理 Figure 6. Pre-ordering and binarization of the example tree in Figure 5. 由于理论上机器翻译解码计算复杂度是 NP 问题，实际统计机器翻译系统通常会采用150 be

26、am search 技术来解决解码计算复杂度的问题。在这种情况下，即使对原始训练数据中源语句子进行解码，从实验结果我们发现，超过 60%的训练句子根本没有机会得到正确解码。也就是说，由于采用 beam search 的解码技术，导致包含正确译文的候选译文很早就被放弃掉。由此我们很自然想到一个研究思路，是否可以学习一个更好的转换路径，至少能够保证大部分或者全部见过的训练句子能够有机会得到正确的解码。在此我们很容易想到一个简单155 的解决方案。首先利用强制解码（force decoding）技术来对训练句子进行解码，力求得到正确的推导。然后采用 1-best 或者 k-best 推导重新训练翻译

27、模型，包括规则抽取和概率估计。也可以经过多次迭代，不断改善翻译模型。但是实际情况没有想象中的乐观。从实验结果我们发现还有很大比例的训练句子，即使采用强制解码技术，还是无法事先成功解码，得到可达的推导。简单来说，正确的译文还是无法被正确解码生成。一个可行的解决方案就是自动160 构造一个新翻译规则来构造一个具有可达性的代理转换路径，从而保证正确译文能够被正确解码生成。这一点非常值得进一步研究。 3 基于 Tree-Parsing 的解码技术 目前句法统计翻译模型中主要存在两种解码技术，基于 tree parsing 和基于 parsing 的解码技术10。所谓 tree parsing 技术是指

28、解码过程中需要严格遵循给定的源语句法树结构。实165 际上因为源语句法树对搜索空间进行大量剪枝，解码效率非常高。相比之下,基于 parsing 的解码技术的翻译性能较好，主要原因在于搜索空间比较大，但是它的解码速度相对较慢。因此两种方法各有优缺点。下面主要讨论如何改善 tree parsing 的解码技术。在实际应用中，tree parsing 的解码技术通常利用 1-best 源语句法树来指导解码过程。解码过程中所有可能的推导都必须遵循源语句法树的约束。 170 源语句子的句法分析是利用开源分析系统如 Berkeley parser 完成的。自动句法分析结果中的错误也将影响机器翻译性能。一个

29、有效的解决方法是采用 k-best 句法树作为解码输入，而不是采用传统的 1-best 句法树。例如，Xiao 等21提出采用多个不同分析系统来构建不同句法树，有效改善传统 k-best 句法树集合中冗余问题。还有一些研究人员提出基于森林的翻译模型（Forest-based Model）22，采用森林数据结构来有效表示多棵源句法树, 同时提高175 tree-based 的统计翻译性能，但这种方法的计算代价仍然比较高。 我们提出的解决方案是采用句法树结构重建技术，在解码阶段动态构建与源 1-best 句法树相似的句法树用于解码，效率会比较高。形式化定义如下： S已 于抵达他 今天VV北京NNN

30、PVPNTPPPADVPPNNPhas already in BeijingHe arrived todayNPADVPS已 于抵达他 今天VV北京NNNPVPNTPPPADVPPNNPhas already in BeijingHe arrived todayNPADVPVP-BARVP-BAR /.paper.edu - 7 - 中国科技论文在线 ),|Pr(maxarg),|Pr(maxarg11*simbestebesteTTceTcee? (4) 其中<Tsim>表示在解码阶段动态生成的相似源句法树集合。关键问题在于如何动态在解决阶180 段自动构建相似句法树。一个简单可

31、行的方法就是采用基于相似的规则匹配技术。 高度 评价 了gaodu pingjia lex1:NPASVVVPADADVPVPhighly appreciated x1x1:NPASVVVPADADVPVPhighly appraised x1VP(a) (b)高度 评价 了gaodu pingjia le 图 7：两个相似规则 Figure 7. Tow similar rules 185 首先介绍一下相似规则的判定条件：如果两条规则源语部分具有相同的根节点和叶子节点，称之为相似规则，否则判定为不相似。在我们的解决方案中，并没有明确的事先构建好一个相似句法树来指导解码过程。这个相似句法树的动

32、态构建过程是隐性的体现在解码过程中，但本质上是一样的。图 8 中的例子体现了一种高效的相似匹配约束机制的实现技术。图8(a)是解码过程中的一个原始推导，其中采用了句法翻译规则 t，规则 t 存在一个相似规则 t*。190 在解码的时候，一旦规则 t 被使用的话，就可以让解码器同时利用它的相似规则 t*自动构建一个新的推导（图 8(b)），这种实现技术效率非常高。很明显，新的推导可以有效增大了解码搜索空间，从而改进翻译性能。 NPASVVVPADADVPVPNPASVVVPADADVPVPVPmatched rule tAB CSw1 wi wj wn. .similar rule t*AB C

33、Sw1 wi wj wn. .(a) (b) 图 8：解码过程中相似匹配技术 195 Figure 8. Similarity-based marching constraints used by a decoder 在 NIST 汉英机器翻译任务中进行对所提出的相似匹配方法进行性能评价，如表 2 显示。在包括开发集在内的多个数据集上，该技术都取得了明显的性能提高。在长句子上的提升幅度比在短句子上大，这也合理的，因为长句子的句法分析错误可能性会更高。实验结果也显200 示，与基准系统相比，该技术的解码速度几乎没有太大区别。这一点也是非常重要的。另外相似匹配方法是独立于规则抽取和剪枝技术，这样就

34、可以适用于不同的句法统计翻译模型，如树到串和树到树模型。 205 /.paper.edu - 8 - 中国科技论文在线 表 2：基于相似规则的解码技术性能分析 Table 2. Performance analysis of similar rule based decoding technique DEV MT03 MT04 MT05 <=20 ALL <=20 ALL Baseline 32.99 36.54 32.70 34.61 30.60 Our work 34.67 (+1.68) 36.99 (+0.45) 35.03 (+2.33) 35.16 (+0.55) 33

35、.12 (+2.52) 前面提到，基于句法的翻译模型具有很多优点，例如全局调序能力。但由于源语句法约束将对解码空间进行大量剪枝，可能会伤害翻译系统性能。实验结果显示，采用源语句法结构进210 行解码的模型经常面临这样的问题：在解码过程中，好的翻译结果很早就被剪枝掉，影响了机器翻译的性能。为了解决这个问题，我们提出一个解决思路，基本思想就是采用粗颗粒度的翻译文法来指导解码搜索，但采用细颗粒度的翻译文法来评价候选翻译结果。这样就可以有效防止好的解被过早剪枝，并且能够被有效评价打分。我们的初步实验结果显示取得了较好的性能。 215 4 句法语言模型 传统句法翻译模型虽然有效利用了源语的句法结构信息，

36、但从翻译性能评价角度来说，只是关心目标语字符串的 BLEU 值大小。实际上，句法统计翻译模型在输出译文的同时，是可以同时输入相应的译文句法树的。本质上来说，该句法树隐含了对应的推导，隐含了该译文的生成过程。但传统句法翻译模型将该译文的句法树仅仅看做是一个隐含变量，不进行220 任何评价。从实验结果看出，通常该译文对应的句法树结构是非常糟糕。基于这个观察，早期有些研究人员提出一个设想，如果对句法翻译模型构建的译文句法树进行评价，选择较好的句法树作为输出，是否可以改善译文的生成。比较典型的工作是 Charniak 等23的工作，其中采用句法语言模型对目标译文的句法树进行评价，但实验结果显示简单的使

37、用句法分析器评价机器翻译结果的合理性，并不能带来 BLEU 值的提高。 225 首先需要分析一下之前的句法语言模型为啥不好使。主要有两个原因：1）之前采用的用于与评价目标译文句法树的语言模型是基于 CFG 上下文无关文法的，产生式的概率是从PTB/CTB 树库中训练出来的。但由于句法翻译模型构造的目标译文的句法树是通过一些翻译规则组装出来的，每个翻译规则可能对应一个句法子树，本质上属于面向数据的句法分析（data-oriented parsing, DOP）。在这种情况下，利用基于 CFG 的语言模型来评价 DOP 的分230 析句法树是不太合适的。2）在传统句法分析中，评价哪个句法树比较好，

38、都是基于一个前提，所有被评价的句法树都是属于同一个被分析的句子，这样保证评价结果具有可比性。但在句法翻译模型的两个不同目标译文的句法树进行比较的时候，两个不同句法树对应的译文可能是不一样的，这样的传统句法树评价模型的计算结果可能不具有可比性。 为了改进句法语言模型的性能，我们初步提出了一个基于树替换文法（tree substitution 235 grammar, TSG）的句法语言模型来评价句法翻译模型的目标语句法结构，而不是采用传统基于 CFG 的语言模型。图 9 清楚显示不同语言模型之间的区别和性能分析。Baseline 系统是采用基于译文的 n-gram 语言模型。中间系统采用基于 C

39、FG 的语言模型，右边系统采用基于基于 TSG 的语言模型。很明显，基于 TSG 的语言模型有效改善了系统的翻译性能。 /.paper.edu - 9 - 中国科技论文在线 他 是 一名 司机 He is a driverNNNPVPSPRP VBZ DT NNNPVPSN-gram LMEnglish stringsScoringtraining(a)NPVP 他 是 一名 司机 He is a driverNNNPVPSPRP VBZ DT NNSyntax-based LM (using Context-Free Grammar)English TreebanksScoringtrain

40、ing(b)NPVPSNPVPCFG-basedScoring他 是 一名 司机 He is a driverNNNPVPSPRP VBZ DT NNSyntax-based LM (using Tree Substitution Grammar)Parsed target-side of bilingual dataScoringtraining(c)NPVPSNPVPTSG-basedScoring 240 39.69% 39.27% 40.34% 图 9 三种语言模型在 NIST 汉英机器翻译评价中 BLEU 性能 Figure 9. BLEU scores of three different language models in NIST Chinese-English machine translation tasks 5 值得关注的一些问题 ? 在实际应用中，目前基于短语的统计