《聂颂-在IAAS上实现搜索云和大数据云的那些坑.pdf》由会员分享，可在线阅读，更多相关《聂颂-在IAAS上实现搜索云和大数据云的那些坑.pdf（40页珍藏版）》请在三一文库上搜索。
1、 在IAAS之上实现搜索云和大数据云的那些道道 盛大云 聂颂? 进入正题之前。 产品研发的窘境 - 资金 产品研发的窘境 时间 产品研发的窘境 技术 产品研发的窘境 风险 IAAS- 产品试错的最佳场所！ 死了1条命，还有9条命！ IAAS - 按需选择 进入正题 想做个专属搜索想做个专属搜索，名字叫搜索云?名字叫搜索云? 搜索云与一般的文件系统的搜索有什么区 别？ 与传统的搜索引擎有什么区别？如百度、 360？? 搜索市场?搜索市场? 当前，许多应用重度依赖于搜索功能。从 电子商务网站中寻找合适的产品，到社交 网络中搜索寻人，再到地图网站中寻找POI 和地址，依赖于搜索的应用非常广泛。 市场
2、上充满着搜索，有搜索引擎，也有云 搜索的，如百度、google、360、阿里云搜 索、AWS的CloudSearch等等 几种市场上的云搜索?几种市场上的云搜索? 阿里的云搜索 AWS的CloudSearch 百度的站内搜索服务? 我们想在我们想在IAAS上来做?上来做? 取个名称叫SearchCenter，让它干这个： 支持各种文档数据的分析，目前包括word、 ppt、excel、pdf、txt、xml等文档 实现快速索引，建立索引库 提供高速、可靠的搜索服务 可靠的安全认证 理论上无限的扩展，支持集群化的部署 我们想在我们想在IAAS上干点搜索的事情?上干点搜索的事情? 还希望它能够：
3、支持盛大文学的文字搜索！ 我们想在我们想在IAAS上干点搜索的事情?上干点搜索的事情? 技术选型?技术选型? u 语言：python，java u python有着编码简单、可用插件众多、移植性 和扩展性强、与其他语言的粘合性高等优点。 u java的技术成熟，跨平台，框架众多，且编码 简单。 u 数据库：MYSQL，开源、功能齐全，轻便、使 用简单 u REST API ： 接口通用性强，可扩展性强，组 件的独立部署 逻辑架构图?逻辑架构图? 展示层? 逻辑层? 数据层? 管理界面?管理界面?操作界面?操作界面? REST API 接口? ADMIN?USER?Partner? 认证? 访问
4、控制? 调度器? 数据访问?搜索访问? 数据库? 搜索 服务? 日志? 监控? 数据 分析? 功能架构图?功能架构图? 云搜索管理系统云搜索管理系统? 项目名称为SearchCloudManager，此系统为 搜索云的管理中心，主要实现以下功能： 功能调度，多线程，高并发调度 用户管理和统一认证 日志 监控 数据记录与分析 架构特色?架构特色? 运用开源项目solr，技术成熟，性能稳定，没 有专利问题 运用spring等轻量级架构，拥有很强的可扩展 性 独立的数据分析模块，可无限制的扩展各种文 档数据的分析 统一的认证中心 提供REST API北向接口，这种通用的标准接口 便于其他系统集成?
5、solr ? solr ? 部署?部署? 存储服务器? 集群? 管理中心节点服务器? 认证务 器? 存储管理节点? 搜索管理节点? 场景?场景? 搜索云提供服务生命周期? 用户 申请? 开通搜 索服务? 数据存 储、索 引? 提供高性能、稳 定的搜索服务? 删除 用户? 回收 资源? 备份数 据到回 收站? 想在想在IAAS上干点大数据的活?上干点大数据的活? 主要功能模块： 1、数据接入：数据库、日志、网页、文件 2、数据存储：HDFS2.0分布式存储，HBase分布式的、面向列的开源数据库 3、分布式计算：离线计算（MapReduce）、实时流计算（Storm）、数据 仓库 4、数据模型：
6、数据挖掘、文本分词、多维分析、个性化推荐 5、数据交付：即时查询、专业报表、分析图、数据应用接口 6、监控：集群监控、数据监控、服务监控 7、可视化模块：可视化操作 8、运营支撑：业务运营、业务管理 9、系统接口 ? 数 据 层 数 据 层 ? 流量日志?数据库?爬虫数据?文件数据? 计 算 服 务 层 计 算 服 务 层 ? 采 集 ? 计 算 ? 存 储 ? richETL?sqoop?数据接口?Flume? HDFS2.0?Hbase? YARN? MapReduce?TEZ?Storm?Other? 模 型 ? Hive?Hbase? 数据挖掘?文本分词?多维分析?个性化推荐? 交 互
7、 层 交 互 层 ? 即时查询?专业报表?分析图?数据接口? 构建在云平台上?构建在云平台上? ? 云平台?云平台? Resource Manager? 云主机? node? 云主机? 云硬盘? node? 云主机? 云硬盘? node? 云主机? 云硬盘? node? 云主机? 云硬盘? 吃自己的狗粮?吃自己的狗粮? 部署的可用性定义和失效影响?部署的可用性定义和失效影响? 1.1. 单点部署的可用性单点部署的可用性： a =1-(c*d)/p a=预期可用性 c=给定时期内服务器出现故障的几率 d=服务器宕机后的停工时间 P=测量期间 例： 如果你的1台Server有40%的可能性出故障，
8、每次宕机恢复花费24小时， -那么，则可用性= 1-40%*24/8760=99.9% - 3个9，一年预期宕机8.7小时，一个月44分钟。 2. 2. 多点部署的可用性多点部署的可用性：a=1-c*【d/p的n次方】 n=部署的节点数 例： 如果你部署2台有40%概率出故障的Server，每次宕机恢复花费24小时。 -那么，则可用性=1-40%*24*24/8760*8760=99.999% -5 个9，一年预期宕机5.2分钟，一个月26秒钟。 DMZ-传统的互联网应用安全 ? ? ? ? ? ? 互联网应用 - 云中安全架构 互联网应用安全设置 DB Server Rails/Cache
9、Web/ LoadBalanc er 安全策略 访问控制：开放80 端口（HTTP）、 443端口（HTTPS）、 22端口（SSH） 只允许Web Server的IP访问 只允许Rails/ Cache Server的 IP访问 访问控制：开放 3306(MySQL)端口 访问控制：开放 3000(Rails)、 6379(Redis)端口 允许所有外部流量 访问 云计算安全 之 实践? 1. 每个服务器上只运行一个网络服务 l 每个网络服务都是潜在的被攻击方向 2. 不直接访问敏感数据 l 如果要访问客户数据库，必须攻破一台Web Server，一台应用Server，再 攻破一台DBSer
10、ver。攻击者必须三个方向都攻破才能获得数据。 3. 除非必须端口，其余一律关闭 l 非必须端口可能被攻击，用于获得更高权限。 4. 只对需要访问的客户开放 l 只有WebServer/LoadBalancer才对所有流量开放，其余都需控制。 5. 使用代理服务器 l 即便无须负载均衡，也可以考虑使用代理服务器。使用代理服务器，对后 端的攻击会困难的多；另外Apache/IIS这样的服务器漏洞比一般的应用服 务器少的多。 安全问题，每天都在发生，工作的时候，睡觉的时候 灾难的发生?灾难的发生? 1. 网站火了，访问量从1000pv提高到了10万pv，Rails/Nginx进程暴增， CPU 利
11、用率达到100%，持续3-5分钟之后，对不起，您的机器hold了。 2. 互联网应用配置失当，应用内存大于机器本身内存。当机器内存利用率达到 100%之后，再也无法响应您的请求。 3. Ruby/Rails出现一个安全漏洞，被黑客攻陷，您的机器被他人控制了。 4. 中国联通的一根光纤被挖土机给挖断了，很遗憾，从上海访问您的主机的链路 无法ping通。 5. 因为某种无法说清楚的原因，某个DNS服务器被封禁，导致您的机器通过域名 访问受影响。 6. 主机主板坏了，需要N个小时重新更换。 重要级别不同的数据使用不同可靠级别的产品。 核心数据做好备份。 IDCIDC的完全替代的完全替代？? No！
12、特殊的操作系统、特殊的机型、特殊的硬件需求、特殊的网络需求无法满足。 但是：事实上，对于互联网架构，以上问题基本不是问题。 专享云可以解决部分非标产品问题。 可用性？99.95%? 但是，事实上，99.95足够%。如果可以多点部署，可用性提高到 99.9999%以上 可靠性可靠性？? 重要数据采用高可靠产品 可靠性99%，99.999%, 99.9999999999999% 公平公平？? 计算 ECU 内存 独享 磁盘 独享 带宽独享：只有专享云 安全性安全性？? 1. 理论上，我们是否可以看到您的数据？ 2. 我们是否会窃取您的数据？ 很久以前，我妈妈很担心钱放到银行里不安全？ 其实，放到床底下也不安全。 InfoQ infoqchina