《中文短文本语法语义相似度算法.doc》由会员分享，可在线阅读，更多相关《中文短文本语法语义相似度算法.doc（1页珍藏版）》请在三一文库上搜索。
1、龙源期刊网 中文短文本语法语义相似度算法作者：廖志芳 周国恩李俊锋刘飞蔡飞来源：湖南大学学报 自然科学版2016年第02期摘要：通过分析中文短文本的特征，提出了一种基于语法语义的短文本相似度算法.该算法结合中文语句语义的相似性以及语句语法的相似性，即计算具有相同句法结构的短文本的相 似度以及考虑语句词组顺序对相似度的贡献，对中文短文本相似度进行计算.实验表明，本文提出的算法在中文短文本相似度计算结果上更加接近人们的主观判断并且拥有比较好的精确率 与召回率.关键词：语法语义相似度；语句相似性计算；HowNet ;语料库；语法分析；语义分析；相似度计算中图分类号：TP391.1文献标识码：A文章编
2、号：1674-2974（ 2016）02-0135-06短文本相似度计算在文章查重、信息检索、图像检索、智能机器问答、词义消歧和搜索引 擎等多个领域有着非常广泛的应用1，并在英文处理方面取得了许多实质性的成果，如机器人语音对话系统等.但是在中文信息处理中存在一些困难，例如未登录词识别问题、语法结构 复杂和一词多义等2.为此本文主要研究中文短文本（语句）相似度计算方法，并提高计算结 果的精确度.短文本相似度表示的是多个短文本（语句）之间的相似程度，属于一种度量参数，相似度 值越高，则表明文本间越相似，反之越不相似3.文本相似度包括语义和语法等方面，但是在实际中主要考虑语义层次的相似性，往往忽略了
3、文本的语法结构对文本相似度的重要影响.大量的研究证明短文本的语法结构对相似性的影响是非常重要的4，但是当前基于HowNet5的中文短文本相似度计算大都是分析文本的语义层次的相似性，这样就会导致计算 结果的精确度和召回率都不高，为了提高相似度计算的精确度和召回率，本文以HowNet为语料库和Stanford6为语法解析工具，在中文短文本的语义信息基础上加入了文本的语法结构信 息来研究短文本相似度计算.1语句相似度计算HowNet主要揭示了概念间关系及概念的属性间的关系，有关HowNet详细介绍可见参考文献2，在此不赘述.义原距离定义为两个义原间最短路径上边的数目7.义原距离反映的是两个义原的相对关系，距离越大，则表明两者相似性越低，反之则越高.义原深度定义为两个义原的最近公共父