《大数据应用之腾讯精准推荐.pdf》由会员分享，可在线阅读，更多相关《大数据应用之腾讯精准推荐.pdf（29页珍藏版）》请在三一文库上搜索。
1、2013-07腾讯大讲堂 Agenda 2 一推荐 简介 二问题 分析 三解决 之道 四两大 平台 推荐系统的趋势 3 Google Trends: recommendation system 百度指数: 推荐系统 业界推荐牛bility的公司 4 KDDCup 2012 by Tencent http:/www.kddcup2012.org/ 5 腾讯精准推荐 视频推荐 http:/ 6 腾讯精准推荐 电商推荐 7 http:/ 腾讯精准推荐 - 广告推荐 空间个人中心首页QQ秀空间应用中心 http:/ 8 大数据 800 mil8亿活跃用户 100 bn1000亿用户关系链 100 P
2、B 数据仓库存储100PB+ 9 Agenda 10 一推荐 简介 二问题 分析 三解决 之道 四两大 平台 推荐中的3P 11 推荐 用户 场景ITEM 用户 点击数据非常稀疏 大部分用户，一个月内都没有点击 平均1000次曝光，点击 18 曝光数据偏态(以某个广告位为例) 40%的用户，一天内，曝光 = 1 80%的用户，一天内，曝光 3 12 ITEM （广告） 素材内容对点击影响很大 13 8X0.20% 1.70% ITEM （广告） 新广告的冷启动 每天新增几十万新广告 没有用户反馈信息 自身信息匮乏 14 场景（广告位） 上下文较少 没有明显的意图带入 没有固定的页面内容 广告位
3、众多 网页 客户端 手机 等 15 挑战 50 ms用户体验，响应时延50毫秒 10 bn100亿推荐请求 3-9 广告生命周期仅有3-9天左右 99%99以上曝光无点击 1FACEBOOK平均点击率小于1 16 数据引自http:/ Agenda 17 一推荐 简介 二问题 分析 三解决 之道 四两大 平台 解决之道3S 18 推荐 数据 算法系统 用户 基础属性行为属性 人口属性兴趣属性 年龄 性别 地域 自定义标签细分人群 学历 千余种兴趣类目 百万级独立标签 苹果 索尼 安踏 宝马 上网场景 用户画像 女装 女饰品 女鞋 男装 IT产品 新婚人群 单身人群 母婴人群 19 ITEM的图
4、像特征 图像特征 亮度 饱和度 色彩度 对比度 尖锐度等 图像相似度 Item_id img_id 20 Example 广告图片相似度 21 聚类id： 1711127890547892055 包含3106 个这样的类似广告素材 广告IDclick impressionCTR 85099898855,5600.16% 850998011662,0910.19% 850991216693,0990.18% 对于同一人群，相似图片CTR接近 算法运用之妙知行合一 22 用户行为 用户分群 男性 30-35 用户分群 女性 25-29 Example -泰囧的推荐结果 系统-流式计算，实时计算 2
5、4 1小时15分钟实时计算 CTR LIFT 实时计算提升量 15分钟提升量 1小时效果 22% 12% 数据 采集 流式 处理 实时 计算 效果 评估 Agenda 25 一推荐 简介 二问题 分析 三解决 之道 四两大 平台 查询引擎 Lhotse任务统一调度 IDE 集成开发 计算引擎 MapReduce 存储引擎HDFS HADOOP TDBANK 数 据 采 集 Hive 核心平台之一：腾讯分布式数据仓库（TDW） 基于开源hadoop和hive进行大量优化和改造 单集群4400台（业界顶级规模），存储容量100PB 关键技术 Hadoop Master（NN/JT）节点实现 并行扩
6、展，支持灾难时自动热切 Hive&Pig功能丰富，支持传统数据库 的标准语法，提供可视化集成开发环境 Lhotse一站式任务管理，每天支撑10 万级任务调度，可平行扩展 26 核心平台之二：实时推荐平台（APOLLO） 泛平台支撑，满足腾讯各类个性化推荐需求 海量数据在线处理，日推荐请求300亿，实时计算30000亿 算法精准，平台高效，毫秒级响应 关键技术 多种算法模型灵活适配，LR、RDT、 SVD等 简单高效的扩展能力，数据动态伸 缩，上层无感知 多副本数据容灾，服务可用度 99.995%以上 多级缓存技术，有效解决分布式计算 的数据CoLocation问题 Reference http:/recsys.acm.org/ RecSys 2013 (Hong Kong) RecSys 2012 (Dublin) RecSys 2011 (Chicago) RecSys 2010 (Barcelona) RecSys 2009 (New York) RecSys 2008 (Lausanne) RecSys 2007 (Minnesota) http:/en.wikipedia.org/wiki/Recommender_system 28 THANKS 29