《大型互动网站架构概览.ppt》由会员分享，可在线阅读，更多相关《大型互动网站架构概览.ppt（53页珍藏版）》请在三一文库上搜索。
1、,大规模互动网站技术架构概览,案例网站,Friendster Myspace Facebook Flickr LiveJournal 猫扑大杂烩 校内网,社区网站技术特性,海量数据 数据库规模庞大且关系复杂 UGC产生大量文件 高并发访问 面向大众 要求实时反应 Cache机制复杂 需求快速更新 反馈开发测试部署反馈,涉及方面,网络基础设施 硬件选型 软件选型 前端架构 负载均衡 数据库集群 缓存系统 存储和内容分发 其他：安全，监控，容灾,关注点,可扩展性 性能 高可用性 性价比 可管理,网络基础设施,用户忍耐度：2秒,ChinaNet,CNC,Cernet,世界上最远的距离,广域网负载均衡
2、,F5 3DNS Array GSLB Bind View 问题 部署结构复杂 存在误判,BGP带宽,部署简单 不存在误判 价格较高,网络基础设施,网络架构 高性能 高可用性,核心任一设备坏,核心任一链路断,主控板1+1冗余备份,电源1+1冗余备份,所有单板支持热插拔,不 断 网 维 护 硬 件,硬件选型,Scale up or Scale out?,Sunfire E20k 36 processors $450,000 $2500,000,PowerEdge 1950 2 processors $2,500,Benchmark: 30*,软件选型,Powered by Open Source
3、 LAMP Java Memcached ACE/ICE Squid/Lighttpd/Nginx ImageMagick Ruby on Rails?,前端架构,高效页面结构 分离静态请求 反向代理提速,前端设计,MVC分层结构 Struts Spring 合理设计接口 Web / Wap / IPhone,前端性能优化 消除导致阻塞的操作 合理配置内存和线程等资源 Java JDK Tools JProfiler Resin Profiler,前端优化,Tools,jinfo jmap jstat jstack jconsole killall -3 java verbosegc,负载均衡
4、,高并发请求 四层负载均衡 七层负载均衡,DNS轮询 适用静态内容 No Session Sticky 浏览器自动选择,课程名称,负载均衡设备,F5 BigIP Layer4 Layer7 Web管理界面 Cisco LoadDirector Array TMX,etc,LVS,zh.linuxvirtualserver.org 2.6内核集成 三种负载均衡方式 NAT TUN DR,其他负载均衡方案,HAProxy Squid Nginx Varnish Lighttpd, Apache mod_proxy, etc,负载均衡设备的HA,BigIP Cluster LVS+Heartbeat
5、,数据库集群,初期：单台数据库 问题： 读/写瓶颈 IO负载 容量有限 单点故障,初具规模,1 Master- N Slave MySQLProxy,M/S结构问题,写操作耗尽数据库资源,MySQL HA DRBD Heartbeat,垂直划分 Vertical Partition,水平划分 Horizontal Partition,MySQL数据引擎,MyISAM InnoDB Heap NDB BDB/Archive/CSV/Merge,MyISAM,优势 查询速度快 数据和索引压缩 问题 表级锁 数据丢失,InnoDB,优势 行级锁 事务支持 数据安全 问题 数据文件庞大 启动慢 不支持
6、FULLTEXT索引,MySQL相关资源,HTTP:/ HTTP:/ HTTP:/,缓存系统,降低数据库压力 读 写 高性能 RAM vs Disk 可分布,常用缓存方案,Inverse proxy Apache mod_cache PHP APC Shared Memory/OSCache/Ehcache MySQL Query Cache Heap Tables,Memcached,文本协议 HTTP:/ 分布式 Slab内存管理 局限性,Myspace NEMO,存储和内容分发,需求 Scalable Reliable Cheap 特点 海量文件 无访问热点 方案 SAN 分布式文件系统
7、 内容分发,Storage Stack,Storage Scale,Internal DAS, HP MSA30 SAN, NetApp Filers, Isilon IQ NAS,Google File System,元数据服务器 ChunkServers 100MB文件 自复制 自修复,MogileFS,Open source by Danga/SixApart Components Clients MySQL cluster for metadata Tracker nodes locate files Storage nodes store files,Amazon S3,Big Di
8、sk in the SKY,其他 Flickr FS Lustre FS Hadoop FS Nutch DFS Gluster FS LoongStore,内容分发网络,最后一公里 CDN,其他：监控，安全和容灾,一个铁钉，毁掉一个王国 硬盘故障，导致项目失败,监控系统,商业系统 OpenView SiteView Open Source MRTG Cacti Ganglia 自主开发,监控界面,安全,Firewall VPN/RSA Privileges SQL Injection XSS Antispam,容灾,网络备份 MSN vs Gmail 数据备份 Snapshot Legota增量备份 在线/近线/离线备份,Recommendations,OReilly OSCon ApacheCon MySQLConf Web2.0 Expo ,谢谢观看, ,