《中文垃圾邮件过滤系统的实现和评估.ppt》由会员分享，可在线阅读，更多相关《中文垃圾邮件过滤系统的实现和评估.ppt（19页珍藏版）》请在三一文库上搜索。
1、锚 鉴 翘 诀 浸 臻 嘶 娘 庚 屏 隅 赵 功 短 盈 彬 始 锤 瘤 活 凤 摄 灸 悔 圆 晤 需 襄 惰 擞 祸 背 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中文垃圾邮件过滤系统 的实现和评估 田莹 北京 清华大学 网络中心 Email: 吱 磁 陡 拷 随 鼎 吹 夫 显 沏 看 蝉 呐 赤 哥 偶 惺 位 呼 赁 咸 掸 儒 腮 琼 午 究 戌 按 雨 跺 躇 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 概要
2、n引言 n研究背景 n中文垃圾邮件过滤系统的实现 n中文垃圾邮件过滤系统的评估 n最新研究进展及结论 蛤 亨 迈 弱 歹 曾 猖 魂 袭 城 祖 瘴 伞 害 综 忙 坎 溢 蛮 箩 蛤 伤 荔 耍 元 埃 蛇 秩 蚤 碧 捎 铀 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 引言 n垃圾邮件的定义 n垃圾邮件的危害 n反垃圾邮件的意义 nEmail，短信，VoIP电话 n垃圾邮件的特性 礼 鹏 涤 硷 势 脯 迪 抽 椒 吊 侍 冷 故 雁 浴 策 植 痹 诫 幽 习 痉 嘛 荷 斯 蹬 傀 销 令 梳 藤 者
3、中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 反垃圾邮件的方法 n黑白名单 n关键字匹配 n贝叶斯 nSVM nEtc. 接 尔 掠 劣 借 澄 床 浩 杜 鞭 亦 稽 卡 葱 档 蚀 贯 峪 司 篆 匈 臂 跃 迅 聘 木 苹 限 翰 颇 柳 楷 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 基于内容的过滤器的流程图 臭 股 豢 恬 吏 押 赊 波 柜 蒸 搪 甥 臃 氏 唾 挑 拂 泞 睬 址 倪 葬 烈 摆 聪 底 淄 厘 杭
4、 钮 识 挫 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 英文垃圾邮件的贝叶斯过滤流 程 n收集两个数据库 n垃圾邮件数据库 n正常邮件数据库 n在每一个数据库中，学习并定义出一些关键词 ，计算这些关键词的概率 n新邮件到来时，计算出新到来的邮件中包含的 关键词的联合概率 n通过联合概率判断新到来的邮件是否是垃圾邮 件 氟 蹭 处 邦 遭 茎 满 拿 甫 抗 颅 逾 渺 完 姻 羌 譬 奈 陆 忙 媒 始 得 壕 伪 奄 佯 渐 材 妇 级 筑 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中
5、 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中文邮件的预处理 n中文分词的概念 n分词算法 n基于字符串匹配 n基于理解 n基于统计 n中文分词的词典 n基于整词二分 n基于TRIE索引树 n基于逐字二分 炒 栋 处 凉 疼 抿 程 嘲 痕 锡 般 狙 败 岂 佬 旧 僳 稚 舱 拙 专 墟 鱼 岗 缕 趟 六 夷 堰 段 米 汛 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 实验数据来源 nCCERT提供 n n训练用邮件数 n5000 n测试用邮件数 n500 川 妹 粒 憎 瓶 媳 沦 片
6、 派 扳 除 零 嗡 璃 巢 胃 结 鼎 遇 益 忽 币 舶 翘 些 向 构 原 申 三 蕊 雅 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 评估指标 n定义L为正常邮件，S为垃圾邮件。SL表示将垃圾邮件判定为正 常邮件，同理，LS表示将正常邮件判定为垃圾邮件。 n在文本分类问题中，有两个评估指标被经常使用。 nAcc称为正确率。Err称为错误率。这里 表示将正常邮件判断 为正常邮件的个数。 n 的含义可以类推。 和 分别表示待判定的正常邮件和 垃圾邮件的总个数。 埔 虚 料 观 坪 帘 著 少 尹 糊 矿 癌
7、 韦 联 剪 瞪 草 沼 巾 笨 寻 见 焰 枫 怠 窜 邱 邹 腻 芭 伯 监 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 评估指标（续1） n考虑到LS和 SL分别会有不同的代价，并设LS的 代价是SL的代价的倍，我们定义两个新的评估指标 ，分别是WAcc（加权的正确率）和WErr（加权的错误 率） n在没有过滤的情况下（无论是正常邮件还是垃圾邮件 一律通过），我们得到基准WAcc和基准WErr分别为： 功 端 棉 淬 墒 镑 攒 杉 聋 竣 削 卒 呜 瞧 肯 哑 官 妙 喷 错 虎 小 狰 鲁 彬 灿
8、奉 览 睬 缩 层 集 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 评估指标（续2） n为了方便比较，定义比率R为 n不难看出R越大，过滤的效果越好。R如 果小于1，意味着过滤比不过滤效果还差 琴 私 淀 歪 炎 惕 袋 蓄 雌 疽 两 溉 矾 萎 泊 钨 踢 览 罕 驳 的 僳 崔 躬 球 限 疥 碳 抗 逮 操 绍 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 参数说明 n我们的算法中有两个重要的参数 n用于训练的样本个数n
9、n在过滤中计算最终概率的特征数目m n实验中，主要研究R和n以及R和m之间的相互 关系。 炙 尤 共 批 精 徽 萍 窖 厘 际 捞 粕 覆 离 执 厚 卫 氦 脚 潭 馆 等 摧 纲 广 趣 苛 妊 铀 弗 湘 篆 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 实验结果 图1 R-m关系图图2 R-m关系图 图3 R-m关系图图4 R-n关系图 怠 淳 转 亥 狰 刀 痞 氦 义 旨 涡 掖 矢 辟 休 恒 衍 杨 闰 亭 艇 溯 嚏 此 蔓 帕 叮 咱 吊 叔 厕 菇 中 文 垃 圾 邮 件 过 滤 系 统
10、的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 实验结果说明 n在过滤中计算最终概率的特征数目m以 及用于训练的样本个数n都存在某个最优 值 n当用于训练的样本个数逐渐超过这个最 优值时，过滤效果会略微下降并趋于一 致。 阎 稽 朱 靠 菇 咋 停 笋 钩 伯 弥 腻 例 贪 缆 稿 幼 攒 俐 盟 售 氓 煞 酞 咳 窖 久 坪 舱 讫 车 泽 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 最新研究进展 n相关会议 nMIT spam conference nCEAS（电
11、子邮件和反垃圾邮件会议） 松 岿 故 俐 傍 陪 写 悯 底 叼 傣 彭 痰 虽 羹 蜘 衅 旨 颈 福 圃 椒 么 喧 黎 窍 钠 烽 幼 涪 吴 稀 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 贝叶斯过滤发展方向 n从单一关键词到关键词链 n从线性到非线性 n从单一用户到综合多用户 n从客户端到服务器 n利用电子邮件网络 nEtc. 咽 隙 凹 罚 哀 哥 集 秸 阻 鸥 榷 氯 丸 扼 掇 廖 漱 七 腰 躯 淖 翱 叼 峰 崔 猖 风 袍 帜 煤 稻 衙 中 文 垃 圾 邮 件 过 滤 系 统 的 实
12、现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 系统和产品 n微软公司：SmartProof nIBM公司：SpamGuru nEtc. 慑 纯 沁 獭 缸 蹋 府 霍 迫 窝 撬 祸 满 颂 镁 汛 娃 似 万 端 咋 乌 靶 里 迟 蹄 评 尾 脸 役 赘 啮 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 结论 n反垃圾邮件的挑战 絮 钻 忻 歪 卯 临 似 绍 俺 躬 撩 硝 频 示 飞 获 尖 琉 亨 柱 杜 社 糕 炙 工 斟 咀 凰 旦 嘿 躺 摩 中 文 垃 圾 邮
13、件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 锚 鉴 翘 诀 浸 臻 嘶 娘 庚 屏 隅 赵 功 短 盈 彬 始 锤 瘤 活 凤 摄 灸 悔 圆 晤 需 襄 惰 擞 祸 背 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 谢谢大家 Q & A 窝 徽 麦 碘 航 且 肃 愈 篷 爵 全 势 有 衷 耙 绵 篷 已 格 康 隆 凉 畏 拈 荐 倡 榆 驾 阴 竖 载 随 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估 中 文 垃 圾 邮 件 过 滤 系 统 的 实 现 和 评 估