《第三讲 用SVM处理多类与回归问题.ppt》由会员分享，可在线阅读，更多相关《第三讲 用SVM处理多类与回归问题.ppt（17页珍藏版）》请在三一文库上搜索。
1、第三讲 用SVM处理多类与回归问题 多类支持向量机 支持向量机回归机 嚏 荧 椰 琢 间 穿 镍 勘 昼 董 词 苹 镣 垦 汉 窟 酪 汀 瓮 幕 宴 搏 川 侣 垒 幕 蹿 交 汾 似 臀 搐 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 多类支持向量机 间接方法：通过构造一些二分类支持向量 机，然后组合这些二分类器得到多分类支 持向量机 n 一类对一类 n 一类对余类 n 有向无环图法（DAGSVM） n 纠错输出编码（ECOC） n 一次性求解方法 直接方法：直接构造多分类支持向量机 教 塔 放 课 刽
2、荒 渴 睹 埃 驰 为 齐 柑 邪 汐 怕 桑 线 刻 叮 工 倍 贱 予 戮 夸 肯 欢 贼 襄 品 谁 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 一类对一类 Class 1 Class2 Class 3 D13(x)=0 D23(x)=0 D12(x)=0x2 x1 二分类器决策函数: 多分类决策函数: 简单多数 投票法 特点: (1) 两分类器个数多k(k- 1)/2, 但每一个规模较小； (2) 存在不可分区域。 让 警 联 堡 昼 掉 洲 辈 勘 超 圾 卯 媚 儡 寓 格 丈 随 发 稻 默 崎
3、惭 啪 粕 苏 黎 滇 佣 失 似 殆 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 一类对余类 二分类器决策函数: 多分类决策函数: 特点: (1) 两分类器个数少（k个） , 但每一个规模较大，且会 出现两类样本个数不平衡问 题； (2) 存在不可分区域。 Class 1 Class2 Class 3 D2(x)=0 D3(x)=0 D1(x)=0 x2 x1 缎 垫 美 鲤 晚 猖 殿 奔 锑 砚 选 吓 傲 噪 颓 星 家 螺 抑 穗 耗 已 芹 廷 望 硅 房 诞 顽 铜 累 沉 第 三 讲 用 S V
4、 M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 DAGSVM 训练同一类对一类 决策规则： 宗 粟 九 镰 驻 撂 豆 心 弱 彪 锭 羹 靠 元 阎 拒 谎 砒 窄 事 墨 席 余 资 章 乓 蔷 拂 菱 福 每 蝗 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 ECOC 按某种规则构造m个两分类器，要求对每个类的 样本两分类器都判断正确（指同一类的样本不会 被两分类器判成分属不同的类），从而得到一个 k（分类数）行m列的编码矩阵： 决策规则：给一个待测
5、样本，经m个两分类器判 断后，得到一个长度为m，元素为0或1的向量， 然后与编码矩阵的m个行向量，按汉明距离最小 的规则判定它所属的类别。 穗 奋 腕 撂 光 害 沪 淬 绞 段 别 颤 节 酶 攒 映 新 锚 寐 艇 驭 惑 爆 赡 茄 耍 鹅 匡 偷 滑 坎 瀑 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 直接方法 (1) 靳 吐 氏 滓 咬 夸 怖 酶 痞 涛 田 之 驼 蜗 噬 隆 仅 幽 赣 代 筋 揖 凑 蹲 涝 堆 某 佬 重 醛 臀 尤 第 三 讲 用 S V M 处 理 多 类 与 回 归 问
6、 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 直接方法(2) 多分类决策函数： 特点： （1）问题规模小，仅为O(4l) ,而一对一，一对余的问 题规模为O(kl)； （2）可对类之间的间隔提出要求； （3）对核函数的要求较高。 偶 钟 旨 茁 遍 券 俱 除 雪 参 嫁 卤 虎 饮 晶 全 败 硅 掐 焦 量 能 叠 急 掂 纲 桔 若 验 郭 粒 褒 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 支持向量机回归机 回归问题及求解方法 -支持向量回归机 v-支持向量回归机 -不敏感损失函
7、数 其他形式的损失函数 效 棍 恰 更 泰 泣 票 缘 脂 势 震 薄 宗 净 糙 隋 尼 颤 鱼 胸 诲 绩 骨 涸 花 豆 暖 庶 狈 狰 声 元 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 回归问题及求解方法 求解方法： n 最小二乘法： 偏差平方和最小； n 最小带：偏差最大最小（可以变为两 类问题求解）； 回归问题 筐 麦 代 焦 姬 创 您 现 宽 坐 率 仿 暴 蛰 悟 致 械 伺 掌 亮 汪 胀 菜 哩 旅 祁 著 甥 诗 眩 扳 盟 第 三 讲 用 S V M 处 理 多 类 与 回 归 问
8、题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 偏差最大最小（可变为两类问题求解） 图7 最小带：偏差最大最小 图8 最小带 转换为两分类问题 存 拷 慌 升 枯 怪 匿 甲 沈 菲 辑 吏 其 惋 徘 渐 课 揪 伯 效 椭 辆 栓 蛮 泻 慨 莫 谍 窖 驼 熟 咙 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 -支持向量回归机 从两分类问题导出模型 从最大间隔原理导出模型 决策函数 怀 盯 峻 判 搏 淑 拴 废 宏 昂 背 沤 灸 钟 栏 砾 堤 跋 允 琼 腕 称 僚 桓 挤 惑 习
9、 摘 黍 数 剥 稠 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 给定训练集 的两分类支持向量机模型为 柒 弊 暴 染 么 维 豺 舜 罩 烙 丹 密 奴 昌 惋 劫 书 锑 淮 聘 殷 邮 舟 安 宴 香 扦 敢 非 兵 臂 妻 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 原问题与对偶问题模型 啼 鹊 测 穷 复 暖 喘 尹 充 副 忠 尔 坯 绚 腺 乡 虾 隋 围 粉 释 酥 申 仔 搬 咏 西 也 戚 睡 以 辟 第 三
10、 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 决策函数 狸 筐 镰 发 咆 南 沿 界 战 豹 涛 醉 老 冬 浚 潍 哩 恶 喇 臭 敏 尾 缆 近 践 钢 镍 峪 醒 历 支 裳 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 v-支持向量回归机 亚 茶 廖 诫 腑 阮 碗 娄 冻 猩 谐 茄 返 掺 汰 杖 狗 峻 甲 棚 热 灸 绩 贰 猜 祥 捍 誊 性 堑 撂 敞 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 -不敏感损失函数 赋 葡 了 沃 庶 雅 汛 帆 哎 新 蒋 顶 佩 疯 翱 喇 胶 东 你 期 堑 醇 究 馅 酵 纺 射 挺 币 咒 箕 评 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题 第 三 讲 用 S V M 处 理 多 类 与 回 归 问 题