《潘柱廷：攻击大数据.pdf》由会员分享，可在线阅读，更多相关《潘柱廷：攻击大数据.pdf（49页珍藏版）》请在三一文库上搜索。
1、攻击大数据 从D.O.S.三平面看 潘柱廷潘柱廷 中国计算机学会中国计算机学会 常务理事、副秘书长常务理事、副秘书长 CCF大数据专家委大数据专家委 委员委员 启明启明星辰星辰 首席战略首席战略官官 2012年年12月月1日日 2 【5 5】大数据安全和隐私问题大数据安全和隐私问题 安全和隐私，永远的安全和隐私，永远的 问题问题 随着数据的增多，组随着数据的增多，组 织面临的重大风险跨织面临的重大风险跨 越了一个复杂的威胁越了一个复杂的威胁 面，要遵守面，要遵守更更多合规多合规 规定，传统的数据保规定，传统的数据保 护方法常常无法护方法常常无法满足满足 挑战挑战 大数据规模的密码学 分布式编程
2、框架中的安全计 算 非关系型数据存储 安全的数据存储和事务日志 终端输入的确认/过滤 实时安全/合规监测 可扩展的、可组合的、脱敏 (无隐私)的数据挖掘和分析 强制的访问控制和安全通信 粒度访问控制 数据来源和数据通道 59 3 【6 6】大数据安全（大数据安全（2929票）票） 大数据的安全令人担忧大数据的安全令人担忧 大数据的保护越来越重要大数据的保护越来越重要-大数据的不断增加大数据的不断增加 ，对数据存储的物理安全性要求会越来越高，对数据存储的物理安全性要求会越来越高， 从而对数据的多副本与容灾机制提出更高的要从而对数据的多副本与容灾机制提出更高的要 求。求。 网络和数字化生活使得犯罪
3、分子更容易获得关网络和数字化生活使得犯罪分子更容易获得关 于人的信息，也有了更多不易被追踪和防范的于人的信息，也有了更多不易被追踪和防范的 犯罪手段，可能会出现更高明的骗局。大数据犯罪手段，可能会出现更高明的骗局。大数据 已经把你出卖。已经把你出卖。 4 【2 2】大数据隐私问题（大数据隐私问题（44/7044/70票）票） 大数据对于隐私是一个重大挑战大数据对于隐私是一个重大挑战 2013年隐私相关的标准和条例颁布年隐私相关的标准和条例颁布 现有的隐私保护法规和技术手段难于适应大数现有的隐私保护法规和技术手段难于适应大数 据环境据环境 有偿隐私服务可能出现有偿隐私服务可能出现 个人隐私越来越
4、难以保护个人隐私越来越难以保护 “面罩”流行“面罩”流行 5 大数据安全 用大数据解决安全问题用大数据解决安全问题 大大数据自身的安全问题数据自身的安全问题 6 谈安全涉及到的方方面面谈安全涉及到的方方面面 强 认 证 强 认 证 入 侵 检 测 入 侵 检 测 组 织 体 系 组 织 体 系 多 功 能 网 关 多 功 能 网 关 UTM 工 作 流 工 作 流 管 理 平 台 管 理 平 台 等 级 保 护 等 级 保 护 规 划 规 划 / 计 划 计 划 项 目 管 理 项 目 管 理 应 急 响 应 应 急 响 应 三 观 论 三 观 论 宏 观 宏 观 / 中 观 中 观 / 微
5、观 微 观 合 作 合 作 / 外 包 外 包 分 布 式 分 布 式 拒 绝 服 务 攻 击 拒 绝 服 务 攻 击 办 公 安 全 办 公 安 全 骨 干 网 骨 干 网 服 务 器 安 全 服 务 器 安 全 设 备 故 障 设 备 故 障 网 络 渗 透 网 络 渗 透 电 磁 泄 漏 电 磁 泄 漏 终 端 安 全 终 端 安 全 文 档 安 全 文 档 安 全 垃 圾 信 息 垃 圾 信 息 漏 洞 漏 洞 / 脆 弱 性 脆 弱 性 黑 客 黑 客 7 分 布 式 分 布 式 拒 绝 服 务 攻 击 拒 绝 服 务 攻 击 办 公 安 全 办 公 安 全 骨 干 网 骨 干 网
6、服 务 器 安 全 服 务 器 安 全 设 备 故 障 设 备 故 障 网 络 渗 透 网 络 渗 透 电 磁 泄 漏 电 磁 泄 漏 终 端 安 全 终 端 安 全 文 档 安 全 文 档 安 全 垃 圾 信 息 垃 圾 信 息 漏 洞 漏 洞 / 脆 弱 性 脆 弱 性 黑 客 黑 客 梳理手上的牌梳理手上的牌 强 认 证 强 认 证 入 侵 检 测 入 侵 检 测 组 织 体 系 组 织 体 系 多 功 能 网 关 多 功 能 网 关 UTM 工 作 流 工 作 流 管 理 平 台 管 理 平 台 等 级 保 护 等 级 保 护 规 划 规 划 / 计 划 计 划 项 目 管 理 项 目
7、 管 理 应 急 响 应 应 急 响 应 三 观 论 三 观 论 宏 观 宏 观 / 中 观 中 观 / 微 观 微 观 合 作 合 作 / 外 包 外 包 8 安全思维安全思维 认证加密类 攻防检测类 系统化风险管理类 分布和层次 生命周期 流和用例 知识维簇 博弈、对抗、合作 价值是有归属的 意图和随机扰动 资产 威胁 安全措施 三要素 立场性 经典 手段 时空与 知识 9 威胁场景威胁场景Threat CaseThreat Case 背景背景Background：前提、假设、条件等：前提、假设、条件等 来源来源Agent：包括攻击者、误用者、故障源、自然（灾害）等：包括攻击者、误用者、故
8、障源、自然（灾害）等 对象对象Object：攻击目标和破坏对象，也就是要被保护的对象：攻击目标和破坏对象，也就是要被保护的对象 环境环境Environment：攻防所处的主要计算环境、网络环境、物理环境等：攻防所处的主要计算环境、网络环境、物理环境等 内因内因脆弱性脆弱性Vulnerability：自身保护不当的地方：自身保护不当的地方 模式和方法模式和方法Mode 过程过程Process 途径途径Route：指威胁必须通过才能实现的一些部分。比如，要通过网络、 要在物理上接近设备、要欺骗人等等。 时序时序Sequence：威胁要实现所必经的步骤和顺序。与威胁的途径是一个从 空间上，一个从时间
9、上表达。也可以将这两个因素结合起来表达威胁的过 程。 结果结果事件事件Event/Incident：威胁具体实现之后所造成的结果：威胁具体实现之后所造成的结果 威胁的可能性：威胁产生结果变成事件的概率。 威胁的影响范围：威胁产生结果后的影响大小。以及影响进一步扩散的特 性。 10 主体主体 意识意识 意图和意图和 动机动机 环境环境 能力能力 手段和手段和 工具工具 资源资源 视角视角 行动行动 结果结果 价值价值 威胁场景的要素威胁场景的要素 11 主体主体 意识意识 意图和意图和 动机动机 环境环境 能力能力 手段和手段和 工具工具 资源资源 视角视角 行动行动 结果结果 价值价值 大数据
10、影响威胁场景大数据影响威胁场景 12 【3 3】大数据特性与数据态大数据特性与数据态 多来源多模态数 据：图像、视频、 音频、数据流、 文本、网页 关联关系异质、 结构模式复杂 互为因果，动态 变化 关系维簇 三元空间大数据 的产生、状态感 知与采集 柔性粒度数据传 输、移动、存储 与计算 数据空间范围和 数据密度的非均 衡态 空间维簇空间维簇 数据的生命周期 数据的时间维状 态与特征 流化分析、增量 学习、在线推荐 离线与在线时效 性要求 时间维簇 63 53 44 13 大数据思维改变了手段和工具大数据思维改变了手段和工具 主体主体 意识意识 意图和意图和 动机动机 环境环境 能力能力 手
11、段和手段和 工具工具 资源资源 视角视角 行动行动 结果结果 价值价值 14 【2 2】数据计算的基本模式与范式数据计算的基本模式与范式 数据密集型计算的基本范式？数据密集型计算的基本范式？ 数据计算的效率评估与数据计算复杂性理论？数据计算的效率评估与数据计算复杂性理论？ 从中心化的从中心化的/top-down模式转为去中心化的模式转为去中心化的/自自 组织的计算模式？组织的计算模式？ 基于数据的智能：会有越来越多靠基于数据的智能：会有越来越多靠“数据的体数据的体 量量+简单的逻辑简单的逻辑”的方法去解决复杂问题的方法去解决复杂问题 61 15 第四范式的科学方式第四范式的科学方式 几千年来
12、科学 实验 数百年来 模型 归纳 数十年来 模拟 仿真 今天 数据 密集 型 16 检测引擎检测引擎 病毒特征病毒特征 漏洞特征漏洞特征 攻击特征攻击特征 关联规则关联规则 在第一范式到第四范式在第一范式到第四范式 几千年来 科学 实验 数百年来 模型 归纳 数十年来 模拟 仿真 今天 数据密 集型 渗透测试渗透测试 事件分析事件分析 漏洞挖掘漏洞挖掘 地址随机地址随机 17 安全内在的知识高依赖安全内在的知识高依赖 APT检测 宏观态势感知 多点/长时/多类型 高端高端 特征库检测 单点/短时/单项 单一特征单一特征 包过滤规则 阈值限制 简简 单单 规规 则则 颈颈 腰腰 足足 特征使用的
13、计算复杂度 特征获取的计算复杂度 特征可积累、可共享、可升级 特征库是一种知识库，需要知件理论 特征可生产 18 检测引擎检测引擎 病毒特征病毒特征 漏洞特征漏洞特征 攻击特征攻击特征 关联规则关联规则 安全，从第一范式到第四范式安全，从第一范式到第四范式 几千年来 科学 实验 数百年来 模型 归纳 数十年来 模拟 仿真 今天 数据密 集型 沙箱沙箱 蜜罐蜜罐 标识检测标识检测 数据密度数据密度 基于记忆基于记忆 数据浓缩数据浓缩 渗透测试渗透测试 事件分析事件分析 漏洞挖掘漏洞挖掘 地址随机地址随机 模拟攻击模拟攻击 模拟被攻击模拟被攻击 19 群目标研究群目标研究 鸟群鸟群 人群人群 细胞
14、群细胞群 鱼群鱼群 摘自陈雁秋香山大数据论坛的PPT 20 群目标三维跟踪群目标三维跟踪 发现与归纳人群在各种场发现与归纳人群在各种场 合下的运动规律合下的运动规律，有助于，有助于 场地道路的优化规划。场地道路的优化规划。 发现果蝇群、斑马鱼群、发现果蝇群、斑马鱼群、 细胞群等的生物群体运动细胞群等的生物群体运动 规律规律，有助于揭示感知认，有助于揭示感知认 知、社会行为背后的传感知、社会行为背后的传感 与神经信息处理机理。与神经信息处理机理。 摘自陈雁秋香山大数据论坛的PPT 21 跟踪群目标的挑战在哪里？跟踪群目标的挑战在哪里？ 图片摘自陈雁秋香山大数据论坛的PPT 22 检测引擎检测引擎
15、 病毒特征病毒特征 漏洞特征漏洞特征 攻击特征攻击特征 关联规则关联规则 安全，从第一范式到第四范式安全，从第一范式到第四范式 几千年来 科学 实验 数百年来 模型 归纳 数十年来 模拟 仿真 今天 数据密 集型 沙箱沙箱 蜜罐蜜罐 标识检测标识检测 数据密度数据密度 基于记忆基于记忆 数据浓缩数据浓缩 渗透测试渗透测试 事件分析事件分析 漏洞挖掘漏洞挖掘 地址随机地址随机 模拟攻击模拟攻击 模拟被攻击模拟被攻击 23 探寻检测的逻辑模式探寻检测的逻辑模式 检测的一般抽象模型检测的一般抽象模型 检测机制检测机制 检测对象检测对象 检测结论检测结论 检测依据检测依据 检测环境检测环境 检测对象类
16、型：检测对象类型：A系统系统 B数据流数据流 C数据体数据体 S体系体系 24 当前典型的微观检测步骤模式当前典型的微观检测步骤模式 采集 模式分析 综合关联 SOC等安全管理平台等安全管理平台 设备类安全检测产品设备类安全检测产品 工具类安全检测产品工具类安全检测产品 25 探寻检测的真谛探寻检测的真谛 26 微观检测的新步骤模式微观检测的新步骤模式 扩大 浓缩 精确 场景 基于记忆的检测方法群基于记忆的检测方法群 记忆的关键记忆的关键 是忘记什么是忘记什么 X X觉观念：比如视觉和关注，何谓视，何谓觉觉观念：比如视觉和关注，何谓视，何谓觉 认知认知的的全程动态反馈模式全程动态反馈模式 对象
17、增加对象增加 空间范围扩展空间范围扩展 空间密度加大空间密度加大 时间区间扩展时间区间扩展 时间粒度时间粒度增加增加 速度速度增加增加 知识类型增多知识类型增多 27 【4 4】大数据的作用力和变换反应大数据的作用力和变换反应 将大数据变小（物理作用） 在尽量不损失价值的条件下，减小数据规模 不改变数据基本属性情况下的数据清洗 抽样、去重、过滤、筛选、压缩、索引、提取元数据等等方法，可 以直接将大数据变小，这种作用类似于所谓的物理式的变小 价值提炼（化学反应） 大数据探索式考察与可视化将发挥作用，人机的交互分析可以将人 的智慧作用融入 通过群体智慧、社会计算、认知计算对数据价值的发酵和提炼 从
18、数据分析到数据制造 42 49 28 【4 4】大数据的作用力和变换反应大数据的作用力和变换反应 将大数据变小（物理作用） 在尽量不损失价值的条件下，减小数据规模 不改变数据基本属性情况下的数据清洗 抽样、去重、过滤、筛选、压缩、索引、提取元数据等等方法，可 以直接将大数据变小，这种作用类似于所谓的物理式的变小 价值提炼（化学反应） 大数据探索式考察与可视化将发挥作用，人机的交互分析可以将人 的智慧作用融入 通过群体智慧、社会计算、认知计算对数据价值的发酵和提炼 从数据分析到数据制造 42 49 扩大 浓缩 精确 场景 29 【4 4】大数据的作用力和变换反应大数据的作用力和变换反应 将大数据
19、变小（物理作用） 在尽量不损失价值的条件下，减小数据规模 不改变数据基本属性情况下的数据清洗 抽样、去重、过滤、筛选、压缩、索引、提取元数据等等方法，可 以直接将大数据变小，这种作用类似于所谓的物理式的变小 价值提炼（化学反应） 大数据探索式考察与可视化将发挥作用，人机的交互分析可以将人 的智慧作用融入 通过群体智慧、社会计算、认知计算对数据价值的发酵和提炼 从数据分析到数据制造 42 49 扩大 浓缩 精确 场景 30 检测引擎检测引擎 病毒特征病毒特征 漏洞特征漏洞特征 攻击特征攻击特征 关联规则关联规则 安全，从第一范式到第四范式安全，从第一范式到第四范式 几千年来 科学 实验 数百年来
20、 模型 归纳 数十年来 模拟 仿真 今天 数据密 集型 沙箱沙箱 蜜罐蜜罐 标识检测标识检测 数据密度数据密度 基于记忆基于记忆 数据浓缩数据浓缩 渗透测试渗透测试 事件分析事件分析 漏洞挖掘漏洞挖掘 地址随机地址随机 模拟攻击模拟攻击 模拟被攻击模拟被攻击 31 高端信息安全检测都是大数据问题高端信息安全检测都是大数据问题 全局预警全局预警宏观态势感知宏观态势感知 难点是看不全难点是看不全 动态预防动态预防APT防范防范 难点是看不见难点是看不见 32 主体主体 意识意识 意图和意图和 动机动机 环境环境 能力能力 手段和手段和 工具工具 资源资源 视角视角 行动行动 结果结果 价值价值 大
21、数据带来了数据视角大数据带来了数据视角 33 所谓新计算、新网络和新数据所谓新计算、新网络和新数据 大数据 社会计算 新数据 移动互联网 物联网 SDN/Openflow 新网络 云计算 虚拟化 高性能 新计算 34 网络连接网络连接【人、物和软件人、物和软件】 网络 软件 物 人 终 端 虚 拟 化 终 端 虚 拟 化 存 储 虚 拟 化 存 储 虚 拟 化 SDN Openflow 35 D.O.S.D.O.S.三个平面三个平面 36 典型的系统视图典型的系统视图 37 D.O.S.D.O.S.三个平面三个平面 38 业务流业务流 39 业务流业务流网络结构网络结构 40 EDIF，过程认
22、识，过程认识 PROCESS INPUTOUTPUT System Measurement Infra- structure LOG OperatorOwner System Improvement Process Monitoring RULE Guide 41 D.O.S.D.O.S.三个平面三个平面 42 D.O.S.D.O.S.三个平面三个平面 43 【1 1】数据科学与大数据的学科边界数据科学与大数据的学科边界 数据的科学问题数据的科学问题 数据界与物理界、人类社会数据界与物理界、人类社会 之间的关联与差异？之间的关联与差异？ 是否存在独立于领是否存在独立于领域的数据域的数据 科学？
23、科学？ 数据科学的分类谱数据科学的分类谱系系 大数据大数据的复杂性主要来自个的复杂性主要来自个 体之间的体之间的联系联系 学习理论和认知理论等应当学习理论和认知理论等应当 是数据科学的重要组成部分是数据科学的重要组成部分 大数据的基本问题大数据的基本问题 (定义、结构等定义、结构等) 需要需要对对“大数据”给出科学“大数据”给出科学 定义，清晰说明其内定义，清晰说明其内涵涵与外与外 延延 大数据区别于其他数据的关大数据区别于其他数据的关 键特性是什么？键特性是什么？ 3V 高价值总量、低价值密度 大数据意味着全数据？大数据意味着全数据？ 需要为需要为动态动态、高维、高维、复杂大、复杂大 数据建
24、立形式化数据建立形式化、结构化、结构化描描 述，述，并并在此在此基础基础上上发展发展大数大数 据处理技术据处理技术 55 43 44 数据视角数据视角 数据观察数据观察 数据的生命周期数据的生命周期 数化-处置-价值化-逆数化 面向数据的面向数据的XX 就像面向对象带来的变化 数据结构性数据结构性 所谓非结构也是某种结构 显性结构和隐形结构 区别于程序的结构 数据质量问题数据质量问题 数据奇思数据奇思 数据如何变成活体数据如何变成活体 Agent化 数据如何像生物一样寄生在 系统之中 数据的谱系数据的谱系(分类分类) 数据是实体数据是实体 数据不是实体数据不是实体 45 大数据带来攻击的变化大
25、数据带来攻击的变化 有些攻击变难了有些攻击变难了 大数据常常意味着数据及大数据常常意味着数据及 其承载系统的分布式和鲁其承载系统的分布式和鲁 棒性棒性 单个数据和系统的价值相单个数据和系统的价值相 对降低对降低 空间和时间的大跨度，价空间和时间的大跨度，价 值的稀疏，使得寻找价值值的稀疏，使得寻找价值 攻击点更不容易攻击点更不容易 有些攻击变容易了有些攻击变容易了 微观攻击被掩盖在大微观攻击被掩盖在大XX下下 面面 完全的去中心化很难，只完全的去中心化很难，只 要存在中心就可能成为被要存在中心就可能成为被 攻击的攻击的穴道穴道 枢纽中心、管理中心 对于低密度价值的提炼过对于低密度价值的提炼过
26、程也是吸引攻击的招摇过程也是吸引攻击的招摇过 程程 46 数据视角的独特攻击思维数据视角的独特攻击思维 系统视角和服务视角系统视角和服务视角 原先传统的系统攻击依然原先传统的系统攻击依然 有效。有效。 数据总要承载在某些系统上 从大数据的工作流程中，从大数据的工作流程中， 可以寻找到破坏的契机可以寻找到破坏的契机 比如：DNS服务 比如：人的选择迷惑 数据视角数据视角 数据污染数据污染 病毒式传播病毒式传播 奇点破坏奇点破坏 高高维空间下维空间下的群聚和离的群聚和离群群 点点 所谓信息主权，更容易体所谓信息主权，更容易体 现在系统和数据现在系统和数据 47 围绕价值攻击围绕价值攻击 围绕数据的
27、攻防围绕数据的攻防 隐私和安全隐私和安全 数据迷惑和数据隐藏数据迷惑和数据隐藏 数据脱敏数据脱敏 围绕人的攻防围绕人的攻防 人的人的ID化化 人的数量变成一个不太大人的数量变成一个不太大 的大数的大数 围绕人的数据标识分类围绕人的数据标识分类 人性的弱点人性的弱点 48 主体主体 意意 识识 意图和意图和 动机动机 环环 境境 能能 力力 手段和手段和 工具工具 资资 源源 视视 角角 行行 动动 结结 果果 价值价值 大数据、大价值大数据、大价值 几千年来 科学实验 数百年来 模型归纳 数十年来 模拟仿真 今天 数据密集型 49 微博微博 潘柱廷潘柱廷 微刊微刊 信息安全美学信息安全美学 微微刊刊大数据安全大数据安全 思索中思索中