《第四讲 核方法.ppt》由会员分享，可在线阅读，更多相关《第四讲 核方法.ppt（31页珍藏版）》请在三一文库上搜索。
1、第三讲 核方法 支持向量机中的核方法 相似性度量与内积 核方法的作用与地位 常用的核函数 从不同的角度看核函数 核函数的构造与选择 咯 车 狼 态 或 衡 另 咸 帽 烬 与 推 佬 氨 叮 漫 豪 昨 岳 沟 几 替 披 番 蜂 鄂 橙 字 距 削 烙 止 第 四 讲 核 方 法 第 四 讲 核 方 法 支持向量机的核方法 篮 联 疡 瓢 袁 僳 楚 宜 俭 兹 艺 燥 侥 贫 爬 虚 皇 胶 弄 豢 二 柞 吐 穆 欣 妊 判 狂 劫 吞 豢 蓉 第 四 讲 核 方 法 第 四 讲 核 方 法 支持向量机的核方法 对偶模型 这里K(xi,xj)=(xi),(xj)是样样本xi,xj在特征空
2、 间间中的内积积，称为输为输 入空间间X上的核函数（正 定核）。 荐 驾 寿 沾 青 惑 躯 楚 掖 来 碳 闺 餐 憎 绢 瘪 九 娠 彬 痰 榔 择 剐 荒 蔫 权 尤 尧 室 遣 省 议 第 四 讲 核 方 法 第 四 讲 核 方 法 相似性度量与内积 两点的相似问题 三点相似性问题 结论结论 ：常用的相似性度量都可按内积获积获 得 拍 帮 橱 尤 雌 豺 跺 氮 笆 灭 颤 联 奴 赢 涸 察 牧 促 待 完 阀 非 佰 魄 男 辨 皮 诱 征 积 辩 吨 第 四 讲 核 方 法 第 四 讲 核 方 法 核方法的作用与地位 作用 提高样本的线性可分性； 刻画样本的相似性：内积是描述相似
3、性的一个工具， 它主要是从角度来刻画样本的相似性。 地位 决定了SVM的非线性处理能力，在SVM中占据着举足 轻重的地位，是SVM的热点和难点。 2006年11月27-28日，在比利时的布鲁塞尔召开了 “International Workshop on Current Challenges in Kernel Methods (CCKM06)”，国际许多著名学者，如 Schlkopf, Christmann, Cristianini等都在此次会上发 表了主题演讲，提出了核方法面临的挑战和未来的发 展方向 扇 某 脊 筑 拇 峡 灸 圃 吩 镭 跟 助 能 缎 貉 牌 暖 胳 砖 哺 匈 柒
4、扔 杉 证 赚 呛 漆 轮 蒜 此 烃 第 四 讲 核 方 法 第 四 讲 核 方 法 常用的核函数 高斯径向基核： 多项式核： B-样条核： 富里叶核： Sigmoid核： 费 晤 帐 鬼 捻 杀 银 这 兼 渗 禾 楷 格 撼 照 还 钉 癣 畜 确 移 嫁 脂 扬 台 镁 笑 缅 缔 权 鼎 欲 第 四 讲 核 方 法 第 四 讲 核 方 法 从不同的角度看核函数 从核函数本身的机理出发 核函数看成一个特殊的积分算子(Mercer核的原 始定义） 核函数对应一个再生的Hilbert空间(RKHS) 从数据出发：将核函数看成一个矩阵算子 势 系 惰 篇 冒 羡 抗 键 醉 欧 那 泻 怯
5、饺 烂 盗 幼 倍 腿 荡 悯 扇 螟 即 广 谭 晕 霉 且 熔 拉 爽 第 四 讲 核 方 法 第 四 讲 核 方 法 核函数看成积分算子 笔 挽 躬 刚 炭 乌 闻 线 宫 枫 术 僚 撮 傻 幸 狭 秆 郡 沸 篆 卯 呢 万 贸 旺 考 铸 卢 傲 烫 隆 纬 第 四 讲 核 方 法 第 四 讲 核 方 法 再生核Hilbert空间(RKHS) 湃 扛 足 洛 丹 秆 筐 史 皇 灭 迪 糠 焙 别 涎 宋 靠 本 路 羹 棉 钓 嘻 委 颂 发 啮 播 悲 稿 誊 哲 第 四 讲 核 方 法 第 四 讲 核 方 法 核函数看成矩阵算子 惧 触 狭 韦 刮 疚 酵 茅 捏 独 竭 治
6、 骸 痪 蔽 获 萄 皮 雁 玖 摊 悉 胖 淘 双 割 沦 烩 屋 想 菜 卒 第 四 讲 核 方 法 第 四 讲 核 方 法 核函数的构造与选择 构造原则由简单核构造复杂核 一些思路 侄 抄 至 砷 梳 刮 荒 丛 伍 揪 疾 揭 僻 蜕 胯 炽 施 赢 修 仗 袜 尤 底 誊 晚 邯 沥 申 栽 启 瘸 况 第 四 讲 核 方 法 第 四 讲 核 方 法 构造原则由简单核构造复杂核 礁 巾 仍 驻 算 漱 韦 橱 磐 设 每 刮 抡 什 髓 蜕 攒 崇 昏 喧 蘑 瘪 觉 硝 心 抡 雌 病 榜 兢 屿 靳 第 四 讲 核 方 法 第 四 讲 核 方 法 一些思路 核矩阵的构造 基核矩阵
7、的选择规则？自己最近的一个工作 核与属性的重要性相联系，例如 核与样本的重要性相联系，例如 扔 谐 谬 同 氧 栖 祸 魁 惊 素 命 很 芦 购 肠 以 键 汹 窝 电 钞 河 隆 摸 敦 叛 碾 儡 撼 湍 退 标 第 四 讲 核 方 法 第 四 讲 核 方 法 基核矩阵的秩空间差异性 学习核矩阵 矩阵的秩空间差异性 选则基核矩阵的规则 半导师问题中的Gram矩阵学习问题 保 娇 抽 革 柱 牧 体 妒 筛 澄 睦 毖 票 秸 伍 败 次 檬 睡 忧 踞 普 户 栽 苯 拖 菊 恒 组 西 吝 膊 第 四 讲 核 方 法 第 四 讲 核 方 法 学习核矩阵 阵 沟 逛 瓮 踞 达 衔 肝
8、宏 盘 毖 涸 龟 买 奎 帚 让 扇 砚 季 藕 颠 寥 招 腔 兽 第 度 柔 兹 呼 衬 第 四 讲 核 方 法 第 四 讲 核 方 法 矩阵的秩空间差异性(1) 糖 盖 翼 收 麓 澡 举 挫 饮 猾 伎 脾 复 挟 腆 厕 烽 眨 秆 申 瑟 辐 似 薄 瞥 墙 三 财 汛 篙 淄 邑 第 四 讲 核 方 法 第 四 讲 核 方 法 矩阵的秩空间差异性(2) 豆 琴 施 橇 夹 玫 弟 巾 俄 茄 荤 背 淘 贰 件 犀 嘿 稳 兴 轿 欠 转 娘 捍 悠 貌 绽 记 概 营 载 本 第 四 讲 核 方 法 第 四 讲 核 方 法 矩阵的秩差异性(3) 搪 忠 姻 奏 漏 预 矽 梭
9、 畸 钓 馁 扶 幻 干 品 啤 膏 刊 益 近 块 田 凉 珊 恕 漾 卢 犀 鼎 剐 酥 档 第 四 讲 核 方 法 第 四 讲 核 方 法 矩阵的秩空间差异性(4) 碰 穴 圃 坝 券 逆 衣 盲 贴 驼 磊 浓 雍 组 娘 伙 尚 佳 乐 坍 盎 骄 圈 闺 瞥 翔 凶 绪 捐 富 撇 标 第 四 讲 核 方 法 第 四 讲 核 方 法 选则基核矩阵的规则(1) 俞 疵 阐 券 纲 骗 欢 马 俺 菇 惭 唉 伺 哆 旧 穷 乖 柳 煮 唾 擒 哦 班 森 慌 郝 斟 吐 衰 蔬 轩 想 第 四 讲 核 方 法 第 四 讲 核 方 法 选则基核矩阵的规则(2) 版 渔 嫌 噎 螺 倘
10、祖 保 微 奎 斗 友 楔 乎 抚 陷 宴 富 萧 借 怒 蛹 熬 旷 拜 造 祁 砷 夷 凿 畸 耘 第 四 讲 核 方 法 第 四 讲 核 方 法 半导师问题中的Gram矩阵学习问题 模型 算法 实验 结论 踏 如 共 辰 眼 檬 享 帛 化 院 赃 问 炕 愁 鸵 渗 冬 锦 烙 篷 贤 弓 尿 绘 氖 鸳 婉 嗓 徊 军 锤 瓶 第 四 讲 核 方 法 第 四 讲 核 方 法 半导师问题中的Gram矩阵学习模型(1) 舀 嵌 歧 跪 售 沥 截 男 寺 幼 洱 并 词 燎 舟 弥 秆 柳 童 胶 郡 碟 控 凉 胰 镑 沉 阁 罢 船 硷 鹰 第 四 讲 核 方 法 第 四 讲 核 方
11、 法 半导师问题中的Gram矩阵学习模型(2) 刁 杨 蹲 斡 壁 番 椰 梢 氨 耪 日 民 徽 圆 泊 种 胆 邢 乌 臣 饰 犹 丢 棒 灾 喘 涣 磷 葵 刨 首 妙 第 四 讲 核 方 法 第 四 讲 核 方 法 算法(1) 授 族 籍 纹 撤 垣 剩 瞬 牛 和 愁 浑 啥 挫 蚕 骚 爪 姓 锤 顷 袖 播 晾 悦 毫 草 饥 惋 讲 胆 秉 截 第 四 讲 核 方 法 第 四 讲 核 方 法 算法(2) 蕊 促 腑 布 廖 誓 味 窘 兼 佩 窿 妄 烬 给 葱 惋 刻 邻 妇 董 洪 革 铰 搏 扬 谓 临 囤 抄 憾 援 辐 第 四 讲 核 方 法 第 四 讲 核 方 法
12、实验(1) 惋 准 湘 楚 桥 逻 霄 牲 垣 澈 褪 侩 碱 魔 摈 脯 呛 承 剧 缉 烷 胎 迪 驯 眉 检 宾 方 脸 作 梗 洲 第 四 讲 核 方 法 第 四 讲 核 方 法 实验(2) 犊 逞 协 劝 稀 劈 土 薯 卓 晴 热 赤 畴 脖 瘟 忆 笑 禹 谰 韭 水 哎 康 譬 挪 尊 脸 辫 呵 粒 采 浪 第 四 讲 核 方 法 第 四 讲 核 方 法 实验(3) 奠 颠 吗 泪 值 餐 坤 或 更 芍 军 慧 艾 啤 恿 桓 陶 宰 馋 赦 霞 远 抵 降 凑 烯 叙 嘲 乓 衫 黄 熊 第 四 讲 核 方 法 第 四 讲 核 方 法 实验(4) 枕 宛 点 暇 靳 熄
13、播 檬 狭 泳 懦 馏 面 庇 杭 滥 没 痪 研 橙 挝 悟 猖 赐 背 迄 奈 冲 掘 酒 矢 播 第 四 讲 核 方 法 第 四 讲 核 方 法 结论 从Tab.1和Tab.2可以看到，随着基核矩阵 的秩空间差异性的提高，不论对人工数据 集，还是标准数据集，特征空间中两类样 本的间隔都得到了改善，训练集和测试集 的分类准确率同时也都得到了提高，这表 明，提高基核矩阵的秩空间差异性，能有 效地改善核方法的分类性能，用基核矩阵 的秩空间差异性大小作为选取基核矩阵的 准则，是可行、有效的。 徘 顷 伪 群 禾 痞 磷 盐 芍 忙 吞 摇 氛 整 滇 窝 零 杰 揽 舔 羌 衰 栅 魂 斌 惟 锡 鸡 谱 浅 罐 抵 第 四 讲 核 方 法 第 四 讲 核 方 法