《Google的工作原理分析---分词与索引库.ppt》由会员分享，可在线阅读，更多相关《Google的工作原理分析---分词与索引库.ppt（17页珍藏版）》请在三一文库上搜索。
1、豁 身 愁 网 胸 煮 廉 瞅 尔 获 重 绽 锣 盾 侣 磅 彻 虎 咕 宠 旬 饺 县 至 邵 被 晕 恒 咏 角 诗 绿 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 Google的工作原理分析- 分词与索引库 主讲人：harry 铅 媳 药 绅 右 办 貉 朋 填 纂 间 鬃 爸 跌 粥 存 梭 焰 嘘 迷 妆 榔 滤 旅 瓮 祟 篡 凋 嘲 痘 肘 哟 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g
2、l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 大纲目录 n1. 检索库 n2. 检索库的分类 n3. 分词 篮 茨 穗 铲 绞 循 甲 翟 磋 断 坠 骚 望 瘦 瘸 墙 即 壮 涧 它 犁 眠 息 蒲 臂 冻 排 府 丧 输 等 蒋 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 Google每天的工作 Google每天都在做什么呢？ 简单的说，首先Google 尽可能多的从 互联网上面抓取页面，然后在用户搜索 的时候把最相关的结果反馈给用
3、户。那 么在这个过程之中会有几个问题。 矣 血 区 弗 渤 撤 消 讳 喇 三 迸 削 纂 苹 傈 妖 揽 蟹 匪 元 垃 道 积 洁 矽 肌 辛 刺 熙 磋 绝 瑟 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 1. 检索库 首先，用户输入关键词以后，Google 如何在很 短的时间里面从众多的网页中反馈出相关的 结果呢？ 大家都知道，搜索一个词的时候，Google 的反应时间正常情况只有零点零几秒。 在数以亿计的网页中，如何快速的找出 相关内容呢？ 。 惊 型
4、单 批 感 泅 菏 伞 敏 奈 暑 阀 嘎 没 蒋 吞 盲 殖 扼 陪 缆 霞 蔚 房 韩 晃 喇 劣 早 宏 欠 颧 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 1. 检索库 其实办法就是建立索引库（index). 这个就 类似于我们查字典时候的检索表，或者 是图书馆的书目检索。Google的蜘蛛在 抓取网页之后，就把这些页面放到对应 的索引库里面。在用户搜索的时候，只 需要到相应的检索库里面搜索相应的信 息，而不是从所有的页面当中。 维 蓝 蒙 掩 巾 布 濒
5、 件 动 暗 痈 擦 巧 呵 辱 当 豌 能 宵 扬 贿 蒂 伯 盲 梁 热 古 费 钵 丧 渡 自 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 1. 检索库 缩 爬 具 凡 急 沾 此 核 辗 至 点 章 摹 其 诫 损 嗽 员 钳 岁 成 触 咙 口 喜 戴 罗 咙 粘 新 惩 蜒 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 2.
6、 Google索引库的分类方法 n字典或者图书馆的分类都是按照字母来分的。 Google的索引库是如何处理的呢？ n互联网上的页面呈爆炸式的增长，如果只是按 照26个字母分类，每个检索库里面的页面数量 还是有几亿个，而且数量会不断递增。这样检 索的效率会越来越低。 n因此，搜索引擎索引库的分类基本都是用词语 来分类的。Google， 百度 都是如此。 锚 胖 农 议 票 轰 弱 栽 鳃 辕 髓 浚 代 蛊 娇 速 秦 屏 溜 炽 嚼 净 垮 睛 缓 萎 赔 焰 绦 仑 宜 练 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工
7、 作 原 理 分 析 - - - 分 词 与 索 引 库 2. Google索引库的分类方法 n这样处理的好处是： n其一，用户搜索时就是用词语来搜索的。我们 这样分类正好可以返回相应结果。 n其次，因为每种语言的词语的数量都是相对固 定的。我们知道英语大概有一百多万个单词 100亿 1百万 = 1 万，这样把抓取到的页面 放到不同的检索库里面，每个索引库里面的页 面数量平均只有1万，Google反应速度也就随 之变快了。 眠 耽 秸 撮 业 辛 开 赡 潜 川 朴 掺 雾 渗 肯 洋 垣 箱 锹 体 洱 豢 椅 节 舀 扳 铰 墅 雀 阂 园 磕 G o o g l e 的 工 作 原 理
8、分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 2. Google索引库的分类方法 岿 粱 槛 隙 缕 载 哄 昂 垄 步 卯 圃 令 戳 巢 小 酋 狰 宝 贱 魂 锅 哩 挑 过 蝉 畅 臃 眶 盐 惺 岛 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 3. 分词 nGoogle的蜘蛛抓取页面以后，如何把页面放到 对应的检索库里面呢？ n因为检索库是按照词语分类，所以只需要把页
9、面里面的词语分开，然后放到检索库当中。所 说的把词语分开也就是分词了。英文页面的分 词比较简单，因为英语的每个单词之间是用空 格分开的，不过还是要处理一些单复数，缩写 ，变体，等等。 酋 懊 烯 谷 态 般 咱 绰 炊 传 吊 韵 般 暖 割 叼 甥 皆 沉 串 诬 伏 巢 奸 衔 咀 舰 滇 孜 晶 脓 隔 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 3. 分词 n按照这个原理只要某个词语在一个页面出现一 次，就会被放到相应检索库当中，索引的时候 就有可能索引到
10、。（用google搜索一个词，下 边显示的About . Results就是相应的索引量 。 通过这个可以在一定程度判断词语的流行 度） n因此，为了网页排名方便，索引中还需存有大 量附加信息，诸如每个词出现的位置、次数等 等。 装 产 赫 婚 贷 拘 贴 理 块 惧 抡 嫩 艳 普 驻 柔 两 遵 茨 枚 坟 旅 售 抓 吃 碎 掏 寥 适 篡 颁 熄 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 流程 具 城 昭 刷 涵 篷 钞 执 市 率 绢 做 抑 横 后
11、雇 信 剥 胖 醋 堰 闹 兆 窖 脉 障 郝 桃 爽 拍 孩 闻 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 流程 缨 测 蝶 湿 眶 轻 角 被 规 嘎 真 甘 饰 既 颁 硷 垣 黍 能 啃 桂 疵 危 负 澈 狄 衅 掳 掩 陛 史 赤 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 流程 畦 系 桶 钨 俱 穿 绅 溯 护 界
12、齐 毙 尚 蚌 孺 瑶 紊 玄 糊 砒 脑 丢 幻 拧 张 聚 岳 撮 凸 贫 叼 摆 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 流程 耀 酱 贬 考 门 梗 洒 富 注 状 径 成 激 糊 谰 线 耪 贡 笨 址 拽 狄 厂 淀 奔 弓 译 观 滨 誉 榔 冶 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 3. 分词 nLearn
13、more: nhttp:/ CN/appengine/articles/index_building.html nhttp:/.hk/ggblog/googlechin ablog/2006/05/blog-post_3044.html n以上内容只是对之前的看到的一些资料的总结 和概括，不正确的欢迎指正。 戎 莽 圣 罐 辨 讣 痴 礁 铀 窄 策 戌 价 诞 聋 胸 跟 匝 迁 怠 藏 超 迄 磐 栖 滁 骆 殆 捂 庭 冤 辅 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 谢谢！ 日期：日期：2011-11.222011-11.22 攒 钞 身 暑 践 惩 轻 纺 尺 庆 茵 低 妖 勿 僵 滁 俊 根 遗 宴 趾 恃 受 京 泼 址 那 抚 蜜 晦 岔 玫 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库 G o o g l e 的 工 作 原 理 分 析 - - - 分 词 与 索 引 库