《乐蜂网前端数据收集方案及架构.pdf》由会员分享，可在线阅读，更多相关《乐蜂网前端数据收集方案及架构.pdf（18页珍藏版）》请在三一文库上搜索。
1、揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 数据收集： 电商前端数据收集系统设计与实现 马方旭 乐蜂网 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 摘 要 系统设计 1 2 搭建收集服务 3 不同产品线的采集方式 重点与方向 4 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 系统设计要求？系统设计要求？ 支撑日常千万级请求量 大促时段几十倍的访问压力 实时与异步请求相结合 扩展性要求高 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多
2、源动力与更大的推动力！ 电商产品电商产品线线 产品线多样化 收集数据种类繁多 收集技术不统一 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 技术难点技术难点 产品形态不一致 PC/WAP/H5基于浏览器(单窗口、多窗口并存)， Android/IOS基于客户端 产品开发语言不一致 PC/H5支持JS，WAP不支持JS，Android/IOS基于 Android/Objective-C 网络情况不一致 PC/WAP/H5网络情况稳定，Android/IOS 网络不可 靠 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大
3、的推动力！ 摘 要 系统设计 1 2 搭建收集服务 3 不同产品线的采集方式 重点与方向 4 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 数据收集数据收集- -PCPC 生成采集JS 部署到公共头或尾 异步发送到接收服务器 浏览器浏览器 多窗口多窗口 JSJS 异步异步/ /实时实时 CookieCookie 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 数据收集数据收集- -AppApp 基础信息包 单独埋点开发 网络不稳定 完备的上传策略 客户端客户端 单窗口单窗口 非实时非实时 埋点埋点 网络不
4、稳定网络不稳定 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 数据收集数据收集- -Html5Html5 生成采集JS 部署到公共头或尾 独特的点击数据接口及发送机制 异步发送到接收服务器 浏览器浏览器 单窗口单窗口 JSJS 异步异步/ /实时实时 Cookie/Local Cookie/Local Session StorageSession Storage 点击数据点击数据 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 数据收集数据收集- -WapWap PHP采集模块 简化收集信息 部署到公共头
5、或尾 异步发送到接收服务器 浏览器浏览器 单窗口单窗口 PHPPHP 异步异步/ /实时实时 GuidGuid 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 摘 要 系统设计 1 2 搭建收集服务 3 不同产品线的采集方式 重点与方向 4 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 收集系统选型收集系统选型 对比项 Flume-NG(1.X) Scribe Netty 公司 Cloudera Facebook - 使用语言 Java C/C+ Java 容错性 Agent和Store间有容错性，且提供
6、三 种级别的可靠性保证 Agent和Collector间，Collector 和Store之间有容错性，但Agent 和Collector之间容错要自己实现 无 负载均衡 F5 无 F5 可扩展性 好 好 好 Agent丰富度 提供丰富的Agent(Avro/Exec/TCP等) Thrift client 自行实现 Collector 无 Thrift Server 无 Store 直接支持HDFS 直接支持HDFS 不直接支持HDFS 总体评价 系统框架好，模块分明，非常优秀 设计简单、易于使用，但容错性 和负载均衡不够好 适用于简单的日志接收 揭示研发管理白金定律，分享那些激动人心的创新
7、与变革，使得团队获得过多源动力与更大的推动力！ 日志日志收集系统架构图收集系统架构图 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 选择该架构的原因选择该架构的原因 可用性可用性( (availablityavailablity) ) 可靠性可靠性( (reliability)reliability) 可扩展性可扩展性( (scalability)scalability) 低故障运行 缓存FileChannel 事务保证Event可靠传递 FileChannel持久化 增加机器线性扩展 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获
8、得过多源动力与更大的推动力！ 摘 要 系统设计 1 2 搭建收集服务 3 不同产品线的采集方式 重点与方向 4 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 重点与方向重点与方向 FlumeFlume优化优化 日志管理系统日志管理系统 跟进社区发展跟进社区发展 智能选择“Channel” 往HDFS上写数据开关可控 防止HDFS正常停机维护 图形化展示和控制日志收集系统 智能监控与报警 跟进并回馈社区 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 欢迎关注into100沙龙账号 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！