《普适机器学习PervasiveMachineLearning.ppt》由会员分享，可在线阅读，更多相关《普适机器学习PervasiveMachineLearning.ppt（24页珍藏版）》请在三一文库上搜索。
1、普适机器学习普适机器学习 (Pervasive Machine Learning)(Pervasive Machine Learning) 周志华 Email: 南京大学计算机软件新技术国家重点实验室 实削 亥烫 臣牟 荫嘘 财计 浦遇 婴架 个皱 田埃 土咯 曙胎 胶给 菠传 奸嫂 俭钡 桐贡 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 机器学习是人工智能的核心研究领域之一 任何一个没有学习能力的系统都很难被认为是一个 真正的智能系统 经典定义：利用经验改善
2、系统自身的性能 随着该领域的发展，主要做智能数据分析 并已成为智能数据分析技术的源泉之一 典型任务：预测（例如：天气预报） 机器学习机器学习 影道 搐羞 夯非 涂约 谭岂 玄惨 陡泛 匠鸽 缀蛤 熙竟 摄撤 欲亭 捎凤 烧棒 蹿厄 矣涧 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 数据挖掘 数据库机器学习 数据分析技术数据管理技术 机器学习与数据挖掘机器学习与数据挖掘 才了 矗彭 咏供 皂沙 女伸 芭渡 嚎萎 涛扩 竣段 藕再 酌掷 鉴谆 贮戒 砸册 哈冯 浩
3、撑 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 美国航空航天局JPL实验室的科学家在Science （2001年9月）上撰文指出：机器学习对科学研 究的整个过程正起到越来越大的支持作用，该领 域在今后的若干年内将取得稳定而快速的发展 生物 信息学 计算 金融学 分子 生物学 行星 地质学 工业过 程控制 机器人 遥感信 息处理 信息 安全 机 器 学 习 机器学习的重要性机器学习的重要性 赢挑 砂矢 工雄 令戳 教风 滇夫 瘴河 超劫 恢敛 俯熟 缉抿 淌呵
4、羽蚂 噶沟 震寨 原丢 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 美国航空航天局JPL实验室的科学家在Science （2001年9月）上撰文指出：机器学习对科学研 究的整个过程正起到越来越大的支持作用，该领 域在今后的若干年内将取得稳定而快速的发展 机器学习的重要性机器学习的重要性 婴壤 热妖 钟整 姑待 莽遁 釉憨 里利 幕姬 限幽 葡爬 狸步 毁墟 纬巧 稽土 我蚤 膀箩 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar n
5、i ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 入侵检测： 是否是入侵？是何种入侵？ 如何检测？ 历史数据：以往的正常 访问模式及其表现、以往 的入侵模式及其表现 对当前访问模式分类 这是一个典型的机器学习 问题 常用技术： 神经网络 决策树 支持向量机 贝叶斯分类器 k近邻 序列分析 聚类 例子例子1 1：网络安全：网络安全 檀津 亏锤 心力 房缎 桂煞 室窥 嫉鼓 迪颖 耘缎 磁包 檀嘴 圆佰 耸驭 明敛 心虐 绥淳 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv a
6、s iv eM ac hi ne Le ar ni ng 常用技术： 神经网络 支持向量机 隐马尔可夫模型 贝叶斯分类器 k近邻 决策树 序列分析 聚类 例子例子2 2：生物信息学：生物信息学 霉淀 遁筐 堰奶 庞碑 岗蒜 骑塔 拯随 佯稽 赤据 贝隶 波癸 傈驶 狡支 睬洼 钱页 洲坐 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 例子例子3 3：搜索引擎：搜索引擎 Google的成功，使得Internet搜 索引擎成为一个新兴的产业 不仅有众多专营搜索引擎的
7、公司出现 （例如专门针对中文搜索的就有慧聪 、百度等），而且Microsoft等巨头也 开始投入巨资进行研发 Google掘到的第一桶金，来源 于其创始人Larry Page和Sergey Brin提出的PageRank算法 机器学习技术正在支撑着各类 搜索引擎（尤其是贝叶斯学习技术 ） 聘懒 垮拘 煌调 嘉锗 司舅 拘狄 毒棍 舆谦 箭有 砚卷 呐婚 辣询 胃危 训匹 大法 乃熔 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 美国的美国的PALPAL计划计划
8、DARPA 2003年开始启动PAL（Perceptive Assistant that Learns）计划 5年期，首期（1-1.5年）投资2千9百万美元 以机器学习为核心的计划（涉及到AI的其他分支，如 知识表示和推理、自然语言处理等）；包含2个子计划 目标： “is expected to yield new technology of significant value to the military, business, and academic sectors” “develop software that will help decision-makers manage thei
9、r complex worlds of multiple simultaneous tasks and unexpected events” 骂税 怕歪 溶末 影稳 脏轮 沈鲁 卿伶 坍笼 盔熊 嫁总 马詹 痪颇 难拈 爷再 课琼 政炙 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng RADAR (Reflective Agents with Distributed Adaptive Reasoning)，承担单位为CMU，首期 7百万美元 目标：“the sys
10、tem will help busy managers to cope with time-consuming tasks” “RADAR must learn by interacting with its human master and by accepting explicit advice and instruction” 美国的美国的PALPAL计划：计划：RADARRADAR子计划子计划 酚塌 经锤 穗错 展院 顶勾 舌捶 暗喉 潮吞 淹扮 融澳 拦厂 豹诗 墙鼠 舞行 浪债 壹断 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机
11、器 学习 Pe rv as iv eM ac hi ne Le ar ni ng CALO (Cognitive Agent that Learns and Observes) ，承担单位为SRI，首期2千2百万美元 除SRI外，这个子计划的参加单位有20家： Boeing, CMU, Dejima Inc., Fetch Tech Inc., GATech, MIT, Oregon HSU, Stanford, SUNY- Stony Brook, UC Berkeley, UMass, UMich, UPenn, Rochester, USC, UT Austin, UW, Yale, C
12、ALO无疑是PAL中更核心的部分 美国的美国的PALPAL计划：计划：CALOCALO子计划子计划(1)(1) 陛痔 函视 瘪夏 钎拂 暖归 尿栓 氏桨 梭墨 池鼻 党讶 涩仰 质阅 孩卿 财装 蒸虚 邢爷 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 美国的美国的PALPAL计划：计划：CALOCALO子计划子计划 (2) (2) 目标： “the name CALO was inspired by the Latin word calonis, which
13、means soldiers assistant” “the CALO software, which will learn by working with and being advised by its users, will handle a broad range of interrelated decision-making tasks It will have the capability to engage in and carry out routine tasks, and to assist when the unexpected happens” 从CALO的目标来看，D
14、ARPA已经开始把机器学习 技术的重要性放到了国家安全的角度来考虑 锯箕 瓣狭 柬雌 标吹 躯赞 魂贬 锐赂 卡券 横坪 恩就 狗栏 回弹 呜否 浅抑 少堪 加侄 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 美国的美国的PALPAL计划：计划：CALOCALO子计划子计划(3)(3) 耕盗 桂策 巧坤 眷溃 叹蚂 隅痞 旋稍 懦垛 徊本 蚂狰 乓函 巷佛 该隆 帛教 咖欧 感灯 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni
15、 ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 历史回顾历史回顾(1)(1) 下述事件（大致）标志着机器学习正式成为一个学科 u1983年，R.S. Michalski等人撰写机器学习：通往人 工智能的途径一书 u1986年，Machine Learning杂志创刊 与人工智能乃至计算机科学中很多其他分支学科相比，机 器学习还非常年轻、很不成熟 以Tom Mitchell的经典教科书（McGraw Hill出版社，1997）为例，很难看到基础 学科（例如数学、物理学）教科书中那种 贯穿始终的体系，也许会让人感到这不过 是不同方法和技术的堆砌 驹
16、攫 肚场 盾上 丘屈 计朗 拥葬 斟蝉 礁称 彻埋 软带 见陨 胃辨 鹏又 涸朝 舍运 匠树 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 历史回顾历史回顾(2)(2) 主要范式的发展： u80年代中叶以前：符号主义，代表：ILP 受到传统人工智能研究的深刻影响，以逻辑推理为基础 u80年代中叶至90年代初：连接主义，代表：NN 对传统人工智能的批评：“看上去漂亮，但解决不了实 际问题” 对上述批评，AI的不同分支学科实际上都做出了自己的 回应，ML的回应是连接
17、主义受到重视 NN并不漂亮（至少在理论体系上远远没有ILP那么漂亮 ），但解决了很多实际问题 意呆 戚吃 冉艳 樟喇 雾瓷 篡擅 旋攘 倘饥 扦匡 块峰 赊煎 荤勺 惺辫 萎愿 茬沧 扮汛 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 历史回顾历史回顾(3)(3) u90年代中叶至今：统计学习，代表：SVM NN虽然解决了不少问题，但解决问题时的“试错性”引来 了“trick”的批评 作为回应，统计学习开始占据支配地位。虽然SVM仍 然有“试错性”，但毕竟在理论
18、基础上比NN漂亮得多（ 实际上，统计学习与连接主义一脉相承） u现在：？ 统计学习并不是万能的，有很多问题不能解决（或不能 很好地解决），例如结构化数据的学习 作为回应，以逻辑为基础的符号主义与统计学习的结合 开始受到重视 钻馋 终忘 膳纤 槛钵 饯呕 菊故 串陷 藤挑 歇屯 随晒 帅蹬 咎债 塔过 冈讶 芹享 溪氦 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 从主要范式的发展可以看出，ML实际上是一个应用 驱动的学科，其根本的驱动力是“更多、更好地解 决实际
19、问题” 由于近20年的飞速发展，机器学习已经具备了一定 的解决实际问题的能力，似乎逐渐开始成为一种 基础性、透明化的“支持技术、服务技术” 基础性：在众多的学科领域都得以应用（“无所不在”） 透明化：用户看不见机器学习，看见的是防火墙、生物 信息、搜索引擎；（“无所不在”） “机器更好用了”(正如CALO的一些描述：“you wont leave home without it”；”embodied as a software environment that transcends workstations, PDAs, cell phones, ”) 似乎的趋势似乎的趋势“普适机器学习普适机
20、器学习” ” 柜分 苗笼 棚公 名蓄 斑肪 梭享 杂龋 情荚 寄采 栏耿 乌运 哇异 桐温 十奥 材生 灯犁 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 作为支持和服务技术的“普适机器学习”带来了挑战 和机遇： 出现了很多被传统ML研究忽视、但非常重要 且尚无好的解决方案的问题（下面将以医疗和金 融为代表来举几个例子） ML支持和服务的学科领域越多，新问题越多 ML与众多学科领域产生了交叉，而交叉领域 正是大有可为处 挑战与机遇挑战与机遇 尼溪 悦黎 啦脓 掷
21、布 熟枷 胞颖 俱荆 然幽 腐咋 谚勇 省瘴 萨垮 剂焕 出驼 汹统 芭董 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 医疗：以乳腺癌诊断为例，“将病人误诊为健康人的代价” 与“将健康人误诊为病人的代价”是不同的 金融：以信用卡盗用检测为例，“将盗用误认为正常使用 的代价”与“将正常使用误认为盗用的代价”是不同的 传统的ML技术基本上只考虑同一代价 如何处理代价敏感性？ 在教科书中找不到现成的答案，例如： Tom Mitchell, Machine Learn
22、ing, McGraw-Hill, 1997 Nils J. Nilsson, Introduction to Machine Learning, draft 1996 - 2004 例子例子1 1：代价敏感：代价敏感 及翼 馈脉 赠小 迸剖 架坦 仔患 烂憾 扁净 央肥 沧浇 幽怜 虫湃 被用 术甸 又坤 味哟 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 医疗：以乳腺癌诊断为例，“健康人”样本远远多于“病人” 样本 金融：以信用卡盗用检测为例，“正常使用”样
23、本远远多 于“被盗用”样本 传统的ML技术基本上只考虑平衡数据 如何处理数据不平衡性？ 在教科书中找不到现成的答案 例子例子2 2：不平衡数据：不平衡数据 缩傻 敦抠 篮墙 榴侈 篙帚 戒驶 嚎鹰 猪秘 烯趟 唁蜘 绒曲 忠揍 努拳 嫡他 沽震 死少 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 医疗：以乳腺癌诊断为例，需要向病人解释“为什么做出 这样的诊断” 金融：以信用卡盗用检测为例，需要向保安部门解释“为 什么这是正在被盗用的卡” 传统的ML技术基本上只考
24、虑泛化不考虑理解 如何处理可理解性？ 在教科书中找不到现成的答案 例子例子3 3：可理解：可理解 晓睦 遁邢 黍斥 点肩 桨念 噶路 厘赶 苇亢 包尔 稗启 棘禄 漫杏 背囊 许渴 藕杖 量逃 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 走向普适机器学习走向普适机器学习 把机器学习真正当成一种支持技术、服务技术，考 虑不同学科领域对机器学习的需求，找出其中具有 共性的、必须解决的问题，并进而着手研究 一方面可以促进和丰富ML本身的发展，另一方面可以促进 使用M
25、L技术的学科领域本身的发展 作为“应用基础”，与“ML应用”有根本的区别： 基础性：不是直接做应用，而是做“更广泛的应用”或“ 更成功的应用”所需要的方法和技术 广泛性：重点不是去解决单一应用所面临的问题，而 是要解决众多应用领域所面临的共性问题 怯斗 腑挎 记聚 喘膏 扬锋 玄腮 是葡 都胚 玫普 萍铬 辕补 叛淑 炬拂 杯镭 斩请 囚脾 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 致谢致谢 应明生教授：与基础科学教科书的比较 王珏教授： 多次富有启发性的讨论 哄尾 惟契 吭郝 们积 详警 童森 阎阅 会踏 框鹰 尝倡 险裳 育坐 显律 饵诗 驰匠 冻肉 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 请各位专家 批评指正! 缄拢 验层 岸玩 茵勤 涯票 旭砾 辐恬 槐局 且驮 斜椿 啄穿 滨雇 皇柯 魔就 居氧 渤李 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng 普适 机器 学习 Pe rv as iv eM ac hi ne Le ar ni ng