《全国搜索引擎与网上信息学术研讨会SEWM中文Web.ppt》由会员分享，可在线阅读，更多相关《全国搜索引擎与网上信息学术研讨会SEWM中文Web.ppt（23页珍藏版）》请在三一文库上搜索。
1、全国搜索引擎与网上信息学术研讨会 SEWM 2006-中文Web检索,华南木棉信息检索,木棉检索队:张元丰,陈晓志,陈晓锋 http:/,2,目录,木棉搜索引擎现状 数据格式转换 关键技术介绍 结果提交 分析与展望,3,木棉搜索引擎现状,基于Nutch的实现； 对URL、Title、Anchor、Content进行索引； PageRank算法的应用； 中文分词； 基于集群系统的并行化搜索引擎。,4,木棉搜索引擎现状,网 页 预 处 理,中 文 分 词,链 接 分 析,文档库,索引库,噪音模板库,链接库,综合采用多种去噪算法，噪音的去除，可以减少索引量，可以避免噪音对检索结果的影响,对站内站外链
2、接赋予不同的权重，保留锚点文本信息,链入锚点文本 网页url 网页标题 网页主题内容 链出锚点文本,基于词频的中文分词,Google pagerank算法 简单pagerank算法,5,木棉搜索引擎现状,用户输入查询词,索引库,二次排序,结果,6,目录,木棉搜索引擎现状 数据格式转换 关键技术介绍 结果提交 分析与展望,7,数据格式转换,8,数据格式转换,将3700万网页分成70个part进行处理 对每个part建立Web DB 合并所有的Web DB 用完整的Web DB更新每一个part的数据 对每个part分别建立索引 合并索引,9,目录,木棉搜索引擎现状 数据格式转换 关键技术介绍 结
3、果提交 分析与展望,10,关键技术介绍,TD 搜索相关主题的文章，主要查找入口页面。 NPHP 查找首页或者指定页面 。,11,关键技术介绍,TD 扩展查询 利用Description对查询词进行扩展，比如： Number:TD146 股票分析 Description:股票分析的网站，专家评论，论坛和软件 扩展后为：股票分析、股票论坛、股票评论、股票软件； 用扩展后的查询词搜索，每个查询词均返回300条结果； 合并扩展查询结果。,12,关键技术介绍,TD 二次查询优化 截取每个查询结果的前200条结果； 对这200条结果进行站内聚合，并将每个网站内的ROOT、SUBROOT、url深度小于3的
4、PATH的url提前； 对所有被提前的网页按照得分排序，并尽量保证前十条出现不同网站的url，将这些网页放在结果集的前面； 对其他网页按照得分进行排序，顺序排列在得到的结果之后。,13,关键技术介绍,NPHP 对于所给的查询集，我们根据查询词很容易就可以分辨出该查询的意图：HP or NP。我们手工对查询词进行判断（RANK4 和 RANK5没有这一步骤），添加H（homepage）或N（namepage）标记。这一步骤主要是查询优化时使用； 在索引库中查询，并返回200条搜索结果； 对搜索结果进行二次排序。算法主要是基于华南理工大学胡俊刚等的基于URL类型优先级入口页面查询算法。同时判断查询
5、词的H标记或者N标记，把结果中的主页提取到前面（H）或放到后面（N）。,14,关键技术介绍,Page Rank Google Page Rank 在要求不高的情况下，迭代计算5次即可。 简单 Page Rank 可以反映网页的重要程度。,15,目录,木棉搜索引擎现状 数据格式转换 关键技术介绍 结果提交 分析与展望,16,结果提交,CWT200gTD,17,结果提交,CWT200gNPHP,18,结果提交,CWT20gTD,19,结果提交,CWT20gNPHP,20,目录,木棉搜索引擎现状 数据格式转换 关键技术介绍 结果提交 分析与展望,21,分析与展望,对网页各组成部分进行索引并赋予不同的权重可以提高检索精度； NPHP查询结果好；TD查询在一些情况下不能很好的将用户引导到最有价值的页面； 人工标记和二次排序对提高检索准确率有很大的帮助； 查询响应时间相对较长（平均23s）。,22,分析与展望,TD查询时，采用合理的辅助机制，比如扩展查询，分类目录等，将用户引导到较好的结果页面； 自动判断TD，NP，HP查询词，根据不同性质的查询词返回相应的结果； 提高检索速度。,谢谢大家！ http:/