湖南联通经营分析系统讲稿[稻谷书屋].ppt

《湖南联通经营分析系统讲稿[稻谷书屋].ppt》由会员分享，可在线阅读，更多相关《湖南联通经营分析系统讲稿[稻谷书屋].ppt（67页珍藏版）》请在三一文库上搜索。

1、北京东方国信电子有限公司,联通,统一经营信息服务平台,1,交流内容介绍,东方国信简介 系统建设背景 系统的建设方案 数据仓库的建设 信息服务平台组成 数据挖掘 交流与探讨,2,一、公司介绍-基本情况,北京中关村科技园区高新技术企业 信息产业部软件企业认定证书 主要客户群：电信运营商,人员结构： 博士研究生： 4% 硕士研究生：16% 本 科 生： 70% 其 他 人 员：10%,技术状况 CRM/Work Flow Call Center/ IVR /ACD /CTI OS:UNIX/Windows DB:ORACLE/SYBASE/INFORMIX/ SQL Server C+/DELPHI

2、/JAVA/J2EE,客户市场,客户关系管理 经营分析与决策支持 计 费 帐 务 系 统 呼 叫 中 心 综 合 语 音 平 台,合作伙伴 SAS/COGNOS SAP/SPSS IBM/MICROSOFT,售前支持 市场开拓 产品营销,产品开发 产品测试 质量管理,服务体系 工程实施 客户保障,辅助部门,3,东方国信-市场情况,客户关系管理 经营分析与决策支持 呼叫中心系统 综合帐务系统 综合语音平台,长春办事处 西安办事处 内蒙办事处 上海办事处 办事处 广州办事处 办事处,反应迅速，沟通及时,4,东方国信-质量保证,软件设计及质量保证： 严格、详细的需求调研 采用标准化软件设计方案 详细

3、的文档要求 版本控制 软件测试（综合性/模块性） 阶段性评定,5,东方国信-服务体系,公司的生存：产品-客户-服务 工程实施 前期现场勘测，取得客户的现场情况 工程界面的细分 多工程组的并行实施，核心技术人员综合支持 工程文件的交换与认定 现场培训 售后服务 培训计划 支持电话/现场服务承诺 产品升级与更新,双赢,硬件-主机产品,硬件-外设产品,硬件-网络产品,软件-数据库,软件-中间件,软件-统计分析,东方国信客户服务中心,客户关系管理系统,综合计费帐务系统,客户服务中心系统,综合语音平台系统,客户,经营分析与决策支持,6,联通公司面临的挑战 联通对统一经营信息的基本需求 统一经营信息服务平

4、台建设的必要性,二、系统建设背景,7,WTO,国外电信巨头,行业背景挑战,市场,8,三、系统建设方案,硬件组网方案图 主要服务器列表 系统实际的物理主机 系统外购软件物理承载 服务器处理性能指标 主机性能分析的一些知识 ODS/ETL服务器性能分析 DW/OLAP/WEB服务器性能分析 系统存贮容量要求 ODS存储容量要求数据仓库存储容量估算 整个数据仓库的容量,9,硬件组网方案图,10,主要服务器列表,按照完整的经营分析系统的建设，从逻辑上讲应用服务应包括： ETL服务 ODS服务 DW服务 报表服务 OLAP服务 WEB服务 元数据信息服务 数据挖掘服务 元数据信息和数据挖掘服务功能可以考

5、虑在二期建设完成，其它服务功能在一期开始建设。,11,系统实际的物理主机,12,系统外购软件物理承载,系统外购软件物理承载分布 DW/ODS/ETL服务器承载软件 数据库软件：如Oracle 9i、SybaseASE+Sybase IQ ETL软件：如CA Advantage Data Transformer、Informatica PowerMart 元数据管理软件：如CA Advantage Repository OLAP/WEB/报表服务器承载软件 OLAP软件：如Cognos PowerPlay Enterprise Server WEB/报表软件：Cognos Impromptu W

6、eb Report,13,服务器处理性能指标,服务器处理性能指标 服务器处理能力应以未来3-5年考虑， 到2003年底，全部业务的用户数估计达到250万， 以此计算ETL/ODS/DW服务器的TPMC值接近4万， 采用类似IBM M85或HP rp7410档次的小型机，比较符合未来发展的需要； 从功能上分析，报表/OLAP/WEB服务的处理能力应大于或等于ETL/ODS/DW服务器的TPMC值， 所以系统采用两台小型机来完成全部服务功能。,14,主机性能分析的一些知识,TPMC 衡量服务器处理处理能力（每秒钟处理事务的能力） 配置的操作系统 处理的数据 估算应用的事务要求，来反推 主机的要求

7、主机TPMC值是通过实验手段取得的； 特定配置的主机硬件 特定配置的操作系统 特定配置的数据库系统 其配置中任何一项的变化都可能会对TPMC值有很大的影响 TPC-H 针对决策支持系统中的即席查询，应当采用TPCH（每小时处理的性能）作为衡量主机处理能力的指标。这种指标处理是面向大量的即席查询和并发的数据修改操作。这种处理用户往往不知道要查询什么数据，不能对预见的数据进行优化工作。 TPC-R 它也是以每小时处理能力为计量单位的。这种指标是在用户知道要查询什么数据，并可以对可相应的数据表进行优化。,15,ODS/DW/ETL服务器性能分析,以详细话单汇总和分析为例来分析主机的性能。 估算条件：

8、( 可以根据实际情况进行修改) 总用户数按250万计算 每天每用户按5个话单 分析过程： 每分钟处理：（用户数）250万*5/24/60 8681 峰值处理：8681*2 = 17362 需执行约8个SQL语句，则估算一个话单汇总处理业务相当的TPC-C值为： 8*0.45/4 = 0.9 TPC-C 话单汇总和分析，的TPC-C 值要求满足： 17362 * 0.9 15626 假设其他经营分析的TPC-C总和与话单分析的TPC-C相等。 15626*2=31252 考虑25%的冗余（系统其它开销）： 主机性能=31252*1.25 =39065 支持到2003年底的主机性能的TPC-C值约

9、为39065,ODS/ETL服务器完成的功能： 1.从源数据到ODS地抽取、清洁、转换和装载 2.从ODS到DW地抽取、清洁、转换和装载 3.在ODS中保存接近当前业务的数据,根据TPC-C的标准： tpmC值是根据标准模型中New-Order事务的处理数目来计算的 一个New-Order事务由平均4-5个SQL语句处理完成 整个测试的执行过程中，New-Order处理占45%。,16,报表/OLAP/WEB服务器性能分析,DW/OLAP/WEB服务器主要完成的功能： 1数据仓库的数据存储 2对数据进行OLAP分析 3提供用户的连接 4提供WEB展现功能 从功能上分析，该服务器既有OLAP处理

10、，又有OLTP的处理。是两种应用的结合，因此，在性能的分析上，我们要进行了综合考虑。OLAP分析的时长是与数据量有一定的关系的，也就是数据量的增加，相应的分析时长也会增加。OLAP数据模型的生成要对数据库进行OLTP处理，所以该服务器的性能应大于或等于ODS/ETL服务器的TPC-C值。,17,系统存储容量要求,系统存储容量 系统目前建设的存储容量应先考虑到2003年底，到2003年底，联通全部业务的用户数估计达到250万，以此计算ODS/DW数据库的存储容量为 2.837 TB 系统使用两台小型机采用双机群集方式运行，充分利用公司现有营帐的EMC 8430，相应扩展其存储容量。,18,ODS

11、存储容量的估算,估算条件： 用户数(万)：250万 存储时间（月）：6月 调整因子：0.25 注：该用户数为联通全部业务（GSM,CDMA,193,165,固定网等）以GSM为准折合的用户数。,19,数据仓库存储容量估算,二、数据仓库存储容量估算： 计算公式：(XY)Z*(Z*ZB+XYB)*T*WZ*S*SE,20,整个数据仓库的容量,三、整个数据仓库的容量： ODS容量+数据仓库容量(G)= 656.21+1314=1970.21G,系统的存储容量(G)=整个数据仓库容量*（1+系统因子系数）*RAID5因子数 = 2.837 T,系统的物理磁盘存储容量：,21,系统总体处理流程,数据格式

12、检查,数 据,系统管理,数据装载至收集层,收集层数据抽取、转换,数据抽取、清洁、转换,数据仓库数据装载,标准报表数据文件/报表生成,数据仓库接口,OLTP 查询,OLAP,统计报表,综合型EIS报表,总部标准数据文件/报表传输,总部统一经营信息服务子系统,生产系统数据,ERP系统,OA系统,数据采集,数据加载,数据分析,信息展现,22,外购软件分布,CA Advantage Repository Exchange for DB ( Oracle,DB2,Informix. ),CA Advantage Repository Exchange for Application( SQL,Power

13、Builder,C+.),CA Advantage Repository Data Shopper Option,CA Advantage Repository Engine for Distributed System,元数据管理,CA Advantage Data Transformer,ETL工具,Oracle9i Database Enterprise Edition,数据仓库存储工具,SybaseASE+Sybase IQ,Informatica,23,外购软件分布,Impromptu Web Report,PowerPlay Enterprise Server For Unix 6

14、.6,Impromptu Administrator 6.0Impromptu User 6.0Transformation Server for Unix 6.6PowerPlay User 6.6,前端分析展现工具,24,ETL工具的比较,25,前端工具软件介绍,数据仓库前端展现工具的比较： 主要是3个厂家的产品：Business Object, Brio, Cognos PowerPlay。,26,应用软件功能介绍1,27,应用软件功能介绍2,28,应用软件功能介绍3,29,备份策略,元数据 全部数据文件备份 缓冲区层数据 不备份 ODS层数据 不备份 仓库层的数据 维表 ：表空间整体备

15、份（文件） 事实表：按月备份（磁带/文件） Cube数据 将Cube文件备份 日志数据 将日志文件备份（一般只用于查看）,30,培训内容介绍-应用培训,31,原厂商培训,32,工程实施计划进度表,33,工程实施计划细分,第一阶段：系统定货阶段（包括与相关公司的配合） 合同签定起，立即启动定货程序 第二阶段：需求分析阶段（包括应用需求、流程调查） 组建工程小组（东方国信10人，局方不少于2人） 由工程小组（2人）、项目开发小组（5人）、行业专家（3人）、用户代表（不少于3人）等进行需求的细化 形成需求分析书，做为工程初验时要实现的目标 第三阶段：系统设计阶段 工程小组开始实施（5人），项目开发小

16、组（8人），行业专家（3人），用户代表（不少于2人），共同实施工程。 第四阶段：工程实施阶段 工程小组开始实施（12人），项目开发小组（4人），行业专家（2人），用户代表（不少于2人），共同实施工程。 由测试小组（东方国信4人，局方不少于2人）进行系统测试 第五阶段：调试试运行阶段（包括试运行和系统调整） 工程小组开始实施（12人），项目开发小组（4人），行业专家（1人），用户代表（不少于3人），对工程的试运行进行观察与维护。 第六阶段：系统维护人员培训阶段（包括正式运行、维护） 东方国信培训讲师（4人）对局方操作人员、维护人员进行统一培训。,34,四、企业数据仓库的建立,数据仓库的建立过程

17、数据采集 数据仓库装载生成 产品的信息模型 数据仓库信息模型 操作数据存储（ODS）信息模型 系统管理信息模型,35,数据仓库特点,管理大量数据 管理多介质 索引/监视数据 多种技术的接口 设计者对数据存放位置的控制 数据的并行存储/管理 元数据管理 语言接口 数据的高效装入 高效索引的利用 数据压缩 复合键码 变长数据 加锁管理 单独索引处理 快速恢复 其他的技术特征,36,DW数据抽取、转换,装载数据到ODS,产品数据流图,37,数据仓库的数据采集流程,38,数据仓库的数据加载流程,39,操作数据存储（ODS）信息模型,客户基本资料 客户定购资料 营业模型 套餐和优惠定购模型 帐务模型 资

18、源管理模型 结算信息模型 客服信息模型 话单清单模型 ,40,数据仓库信息模型,主题 维表 事实表,41,经营信息分析的主题,帐务信息分析 计费信息分析 缴费信息分析 结算信息分析 营业信息分析 客服信息分析 代理商信息分析 其它信息分析,客户发展分析 客户构成分析 客户价值分析 客户保持分析 客户行为分析 客户欠费分析 客户流失分析 客户服务分析,42,系统管理信息模型,日志管理信息模型 安全管理信息模型 系统监控信息模型 数据采集/数据上报信息模型 调度管理信息模型 ,43,经营信息服务平台架构,44,五、信息服务平台组成,智能分析模块,45,报表系统实现原理,46,统计型报表的生成过程,

19、47,分析型报表生成过程,表现方式,钻取,48,报表发布,传递动作：推和拉,推,邮件 发送一个报表邮件 文件服务器 工作组级文件共享 定时刷新 定时运行报表刷新 分布列表 发送到选定的成员处,最终用户,标准报表,拉,Web流览器,49,报表的更新和维护,数据仓库,50,领导决策信息系统,综观全局的能力 细致分析的能力 快速方便的获取所需的信息 针对高层管理人员的需求,51,综合查询服务,52,元数据管理,元数据,数据,图例,53,系统管理,54,在数据中发现有价值的规则或者模式,女性对市场活动做出回应，男性对市场活动不做出回应，和年龄无关,六、什么是数据挖掘（一）？,55,数据变的复杂会如何？

20、,女性对市场活动做出回应，老年男性也可能对市场活动做出回应,什么是数据挖掘？（二）,56,数据挖掘可以从异常复杂的数据中发现规律,通过数据挖掘发现回应的5条规则： 1、如果收入大于29622，有孩子，并且孩子的数量小于等于2，那么对市场活动会回应 ,通过数据挖掘发现不回应的5条规则： 1、如果收入小于12640.3，并且有一个孩子，那么对市场活动不会回应 ,什么是数据挖掘？（三）,57,数据挖掘收益分析（一）,58,目的：发现新客户(使响应率从1%提高到1.2%),数据挖掘收益分析（二）,59,数据挖掘的技术思路,60,客户分群可以针对不同的细分市场采用不同的营销策略 流失分析确定易于流失人群

21、的特征，从而可以采取有效的措施减少流失 客户价值评估对客户的历史价值、现在价值和未来可能的价值进行分析，从而确定哪些客户是公司的“黄金”客户 欠费分析对客户的欠费行为进行监测，对易于欠费的客户特征进行描述，从而有效的制定移动公司的信用策略 ,返回,数据挖掘问题类型分类商业角度,61,数据描述和汇总(Data description and sumarization) 细分(Segmentation) 概念描述(Concept descriptions) 分类(Classification) 预测(Prediction) 相关分析(Dependency analysis),返回,数据挖掘问题类型

22、分类技术角度,62,2002年6月17日由http:/调查， http:/,关于数据挖掘工具的调查,63,数据挖掘的体系结构,64,项目顺利实施的保证,商业理解 数据理解 数据准备 建立模型 模型评估 模型发布,数据挖掘方法论,65,2002年8月7日由http:/调查， http:/,关于数据挖掘方法论的调查,66,交流与探讨,地址：北京市朝阳区万红路5号 电话：010 64334511 传真：010 64333341,北京东方国信电子有限公司,Beijing Orient National Communication Electronics Corporation Ltd.(BONC),=BONC=,67,