《大数据分析挖掘技术在电商的应用-黄晖.pdf》由会员分享，可在线阅读，更多相关《大数据分析挖掘技术在电商的应用-黄晖.pdf（33页珍藏版）》请在三一文库上搜索。
1、 上海天律信息技术有限公司 内容提要内容提要 1 应对大数据：方法与趋势应对大数据：方法与趋势 2 大数据分析挖掘技术大数据分析挖掘技术 3 大数据分析与电商应用大数据分析与电商应用 上海天律信息技术有限公司 应对大数据应对大数据- -1 1： 公有云公有云 上海天律信息技术有限公司 阿里云阿里云 ODPSODPS (Open Data Processing Service) 2010年2月第一版上线 集团内部生产机群规模18000台机器 单存储和计算机群最大规模5000台机器 日均处理3000万个作业请求，20万个计算任务 日均读3PB，写1PB数据；日均上传450TB，下载50TB数
2、据 服务淘宝、支付宝、阿里金融等多项集团内部业务 支持淘宝贷款、数据模型、聚石塔等多款产品 目前处于公测阶段，今年2季度正式商用 应对大数据应对大数据-2：自建分布式平台：自建分布式平台 硬件：硬件：PC服务器集群 （Google： 百万台服务器） 软件：软件：Hadoop （分布式操作系统，管理服务器群） HDFS （分布式文件系统） MapReduce （分布式管理系统） Hbase、 Cassandra （分布式数据库） Hive (云端数据仓库） Spark （云端内存计算） Markway Markway （分布式分析挖掘） Pig Latin （分布式数据处理语言） Chukwa
3、 （分布式数据采集） ZooKeeper （分布式协同工作和安全管理） 应用：应用：开店、存储、Email、OA、ERP、SCM、BI等等 应对大数据应对大数据-3：虚拟化集群：虚拟化集群 硬件：硬件： 异构硬件的整合，大型机、小型 机、PC机等等 软软/ /硬件分离：硬件分离： 一个硬件运行多个不同操作系统 服务器虚拟化：服务器虚拟化： 在一台物理服务器上 创建出多台虚拟服务器 系统虚拟化：系统虚拟化： 在一台物理机上同时运行 多个操作系统 数据库集群数据库集群： 多种或单种关系型数据库集群 应用虚拟化：应用虚拟化： 将应用程序与操作系统解 耦合，为应用程序提供一个虚拟 的运行环境 特点：
4、特点： 存储虚拟化、桌面虚拟化、 应用虚拟化 VHCI VPN Virtual Server Virtual Storage 其他系统其他系统 ERP CRM 应对大数据应对大数据- -4 4：内存计算：内存计算 1.加速数据访问：加速数据访问：比磁盘快比磁盘快1,000,000倍倍 “到到20122012年，年，70% 70% 的全球的全球10001000强企业会将明系数据导入内存，以提升商务智能应强企业会将明系数据导入内存，以提升商务智能应 用的性能。”用的性能。” - - GartnerGartner 传统数据库传统数据库 磁盘读取：磁盘读取：5 5毫秒毫秒 内存数据库内存数据库 磁盘
5、读取：磁盘读取：5 5纳秒纳秒 二、二、 大数据分析挖掘：马克威分布式算法大数据分析挖掘：马克威分布式算法 1 1、传统分析挖掘引擎、传统分析挖掘引擎 计计算中算中 等待等待计计算算 等待等待计计算算 分析挖掘引擎 数 据 源 无法应对大规模数据的挑战无法应对大规模数据的挑战 无法利用多台机器资源无法利用多台机器资源 无法分析无法分析Internet数据源数据源 瓶颈：瓶颈： 2 2、分布式分析挖掘引擎、分布式分析挖掘引擎 分 布 式 数 据 源 阿里云阿里云ODPS Hadoop 马克威云挖掘引擎 运行性能运行性能 数据量 运行时间 服务器台数 Map数 10亿条记录，68个变量 2
6、5秒-5分钟 100台 736 176亿条记录，68个变量（3T） 36秒-30分钟 100台 11708 基于阿里云飞天平台 基于Hadoop/MapReduce、 支持TB/PB级数据分析挖掘 可视化工作流操作模式 基于WEB服务的B/S架构 3、马克威云挖掘系统、马克威云挖掘系统 上海天律信息技术有限公司 马克威云挖掘算法体系 上海天律信息技术有限公司 马克威可视化工作流操作界面马克威可视化工作流操作界面 上海天律信息技术有限公司 企业：阿里巴巴、余额宝、中信21世纪、国家电网、中国核电集团、上海宝钢集 团、武汉钢铁集团、中国海运集团、中国远洋集团、海南航空、上海电信、 中国移动（
7、江苏）、重庆百货、上海广电集团、华氏医药等等 政府：国家统计局、国家海关总署、 2010上海世博会、中国人民解放军总参谋部、 国家水利部、北京市发改委、上海市发改委、北京市统计局、上海市统计 局、广州市统计局、福建省统计局、海南省统计局、云南省统计局、上海 市公安局、上海市卫生局、上海市信访办、上海嘉定区政府、上海静安区 商委等等 高校：华中科技大学、南京财大、中南大学、江西财大、上海金融学院、上海中 医药大学、中央民族大学、新疆财大、解放军信息工程大学、东华大学、 南京林业大学、山东曲阜师大、成都信息工程大学、哈尔滨理工大学、青 岛理工大学、天津商业大学等等 4 4 主要客户主要客户 总量
8、与构成总量与构成 趋势变化趋势变化 关联分析关联分析 预测预警预测预警 上海天律信息技术有限公司 描述统计、频率分析、 时间序列、小波理论、比较 聚类、回归、二值逻辑、关 联规则、决策树 神经网络、支持向量机、面 板模型、贝叶斯网络 三、大数据挖掘技术在电商的应用三、大数据挖掘技术在电商的应用 总总 量量 与与 构构 成成 3.1 总量与构成总量与构成 上海天律信息技术有限公司 客户构成：地区、购买金额、频次、客单价 销量构成：品类数量结构 销售额构成：收入与品类贡献占比 利润构成：商品、客户对利润的贡献率 点击率和转化率：点击客户数，转化客户数 客户地区构成客户地区构成 (31%) (1
9、3%) (22%) (12%) (5%) (10%) (7%) 华东 华南 华中 华北 西北 西南 东北 上海天律信息技术有限公司 交叉分析交叉分析 客户价值分析：客户价值分析： 谁贡献了多少谁贡献了多少 销售额与客户购买额分组： 销售总额销售总额 * 客户购买额客户购买额 分组分组 单位：万元 购买额购买额 本组占比本组占比 本组客户本组客户价值价值 （万元）（万元） 客户平均价值客户平均价值 (万元万元) =1 9% 90 6 1-5 16% 180 21 6-10 40% 400 32 11-20 18% 210 17 21-50 12% 130 133 50-100 10% 108
10、133 100 5% 52 140 上海天律信息技术有限公司上海天律信息技术有限公司 搭配销售 使用算法：关联分析使用算法：关联分析 2 2、趋势与对比、趋势与对比 发展曲线：发展曲线： 销售额的趋势 销量趋势：品类 点击率和转化率的趋势 客户人数的趋势 波动规律：波动规律： 周期性：30天、60天、75天、 小波、大起大落 周变化规律、月、季度 节假日变化规律 上海天律信息技术有限公司 价格趋势价格趋势 上海天律信息技术有限公司 周内波动规律图周内波动规律图 上海天律信息技术有限公司 0 20 40 60 80 100 120 星期一 星期二 星期三 星期四 星期五 星期六 星期日
11、 3. 3 关联分析关联分析 1 客户行为聚类 2 客户价值分析 3 客户忠诚度分析 上海天律信息技术有限公司 新产品与销量 4 促销与销量 广告与销量 5 6 客户聚类 上海天律信息技术有限公司 0.00 20.00 40.00 60.00 80.00 100.00 120.00 140.00 类1 类2 类3 类4 单位： 天 单位：万元 单位： 天 单位：万元 单位：万元 单位：万元 单位：万元 单位：次 类 人数 占比 类1 1449 5.56% 类2 236 3.42% 类3 49456 81.40% 类4 5442 10.62% 。 具体分类为：具体分类为： 客户类型I： 价值
12、高、购买频率高 客户类型II： 价值低、购买频率高 客户类型III：价值低、购买频率低 客户类型IV： 价值高、购买频率低 客户价值聚类与分析客户价值聚类与分析 上海天律信息技术有限公司 客户价值聚类分布示意图 上海天律信息技术有限公司 3. 4 预测预测 1 客户流失预测 2 销量预测 3 库存需求预测 上海天律信息技术有限公司 新产品客户响应率预测 4 预测：客户流失预测：客户流失 上海天律信息技术有限公司 18.88% 14.25% 21.85% 27.48% 10.00% 12.00% 14.00% 16.00% 18.00% 20.00% 22.00% 24.00% 26.00
13、% 28.00% 30.00% 一季度 二季度 三季度 四季度 3.5 3.5 预警预警 上海天律信息技术有限公司 重大事件分析：双十一重大事件分析：双十一 库存预警库存预警 竞争对手行动竞争对手行动 客户客户 - 客户数：客户数： 总申购额：总申购额： 总赎回：总赎回： 消费金额：消费金额： 新客户新客户 - 户数：户数： 总申购金额：总申购金额： 总赎回金额：总赎回金额： 账户总余额：账户总余额： 老客户老客户 - 客户数：客户数： 总申购金额：总申购金额： 总赎回金额：总赎回金额： 账户总余额：账户总余额： 参加参加 - 客户数：客户数： 总申购金额：总申购金额： 总赎回金额：总赎回金
14、额： 账户总余额：账户总余额： 未参加未参加 - 客户数：客户数： 参加参加 - 客户数：客户数： 总申购金额：总申购金额： 总赎回金额：总赎回金额： 账户总余额：账户总余额： 未参加未参加 - 客户数：客户数： 流失流失 - 客户数：客户数： 占新客户比重：占新客户比重： 占总客户比重：占总客户比重： 未流失未流失 - 客户数：客户数： 占新客户比重：占新客户比重： 占总客户比重：占总客户比重： 流失流失 - - 客户数：客户数： 占老客户比重：占老客户比重： 占总客户比重：占总客户比重： 未流失未流失 - - 客户数：客户数： 占老客户比重：占老客户比重： 占总客户比重：占总客户比重： 参
15、加双十一活动客户分类分析结果展示参加双十一活动客户分类分析结果展示 3.6 订单全链路分析订单全链路分析 上海天律信息技术有限公司上海天律信息技术有限公司 已已拍下 待付款待付款 订单已下载 已转单 已客审已客审 已财审 已通知配货 待配货待配货 已打拣货单已打拣货单 已打发货单已打发货单 已打物流单已打物流单 已拣货已拣货 已发货 在途中在途中 已签收已签收 交易成功（已结交易成功（已结 束）束） 已关闭 已验货已验货 已打包已打包 已称重已称重 已出库已出库 订单全链路订单全链路 Taobao ERP WMS Taobao ERP WMS TaobaoTaobao 订单全链路分析订单全
16、链路分析 上海天律信息技术有限公司上海天律信息技术有限公司 件数、时间、对比件数、时间、对比 件数、时间、对比件数、时间、对比 件数、时间、对比件数、时间、对比 已发货已发货 待配货待配货 已转单已转单 已拍下已拍下 件数、时间、对比件数、时间、对比 件数、时间、对比件数、时间、对比 交易成功或已关闭交易成功或已关闭 上海天律信息技术有限公司 通过子订单全链路的数量变化，帮助商家实时掌握子订单的通过子订单全链路的数量变化，帮助商家实时掌握子订单的 状态信息，点击下钻可查看详情。状态信息，点击下钻可查看详情。 点击 可查看子订单详情 订单全链路数量统计 上海天律信息技术有限公司上海天律信息技术有限公司 地址：上海市浦东新区浦建路地址：上海市浦东新区浦建路145145号强生大厦号强生大厦10031003室室 电话：电话：021021- -6876376668763766 传真：传真：021021- -5830959658309596 谢谢！谢谢！