《智慧金融大数据平台方案.pptx》由会员分享，可在线阅读，更多相关《智慧金融大数据平台方案.pptx（109页珍藏版）》请在三一文库上搜索。
1、智慧金融大数据平台方案,主题,数据平台建设背景 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,背景,截至2010年11月，国内已有51家城商行总共设立了187家分行与2家代表处，而仅2010年便有45家银行设立了59家分行和1家代表处，相较2009年，有10家城商行于2010年首次设立12家跨区分行，进入跨区域经营序列，跨区域经营的城商行数量在不断增多。,据透露，目前已有超过40家城商行提出上市规划，全国已公开提出上市计划的城市商业银行不下10家，其中呼声最高的要数上海银行、杭州银行、重庆银行、盛京银行、大连银行等。,背景,美国实施利率市场化以后，取消了利率上限
2、，金融机构之间的竞争实现了市场化，过去依靠限制竞争才能生存的中小银行难以为继。从1980年开始，众多的小银行开始倒闭。1987年至1991年，平均每年有200家小银行倒闭。,城市商业银行面临的挑战,管理,流程化银行,风险管理,内控建设,产品创新,激励机制,.,城商行的现状1,数据网状交换,数据未集中整合,缺乏数据管控,应用功能重复,城商行的现状2,需求无序,响应不及时,资源压力大,抱怨&投诉,批评,工作节奏混乱,团队情绪降低,资源与编制的矛盾,效率地下,问题&解决之道,数据交换数据交换体系,系统剧增 网状交换,数据整合数据加工环境+数据整合模型,数据化经营对数据的需求 数据加工资源重复投入,数
3、据服务统一应用平台+多层次数据服务,多应用功能重叠，用户体验差 业务创新带来应用的多样化,数据管控元数据管理+数据质量+数据标准,数据质量问题导致信息失真 数据标准问题无法形成统一业务视图 数据变化对上游的需求和对下游影响,数据转存统一历史数据存储管理,业务系统减负 历史数据使用,流程、制度、自动化咨询体系构建外部软环境,数据需求响应及时性、准确性 来自于业务部门无序的需求导致混乱,数据平台,数据平台助力银行行核心竞争力,数据平台,越来越多的银行已经将数据平台提升到战略高度进行建设,数据平台要达到的目标,系统规划 安全管理 运维优化 服务流程,查询 报表 分析 挖掘,数据标准 数据质量 加工规
4、则,数据集中 数据整合 数据存储,信息资产存储中心,信息资产管理中心,信息资产运营及服务中心,数据应用响应中心,数据平台要实现的价值,11,整合数据交换路径 整合不同业务系统的数据 为分析型应用提供一致的数据基础 集中优势性能进行数据加工 减少数据冗余存放 减轻业务系统压力 降低运维管理成本,技术视角,企业级的统一业务视图 统一的数据口径 准确、及时的监管报送和信息披露 更合理有效的应用支持 快速支持数据分析和数据挖掘,业务视角,“更高效的管理数据，灵活应对各种数据需求”,“当需要时，总能便捷地获取可信的数据”,城商行数据线面临的问题,业务应用体系（示例）,数据管控体系、服务运营体系（示例）,
5、技术平台体系（示例）,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,数据平台建设蓝图规划,政策与规划,数据归档平台,数据服务平台,运维 支持 平台,逻辑架构,数据架构,应用软件架构,数据交换平台,技术架构,技术体系,数据集成平台,数据管控 平台,数据平台是一个系统工程，而不仅仅是技术工具的简单堆砌！,企业级数据平台总体架构,企业级统一运营管理平台EMP(Enterprise Maintain Platform) ),数据架构,统一数据管控体系,统一应用服务体系,统一应用平台,数据平台建设内容,统一数据加工平台,统一数据整合平台,统一
6、数据交换平台,统一数据归档平台,应用体系架构,政策和规划,建设模式之ODS,20,ODS,分析应用,操作型数据共享中心 着力数据交换与服务 数据初步整合，有限加工 通常不做直接应用,EDW,建设模式之EDW,21,分析应用,分析型数据共享中心 着力数据分析 数据高度整合，深度加工 直接支持应用,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据架构设计 应用架构设计,数据平台,数据平台总体数据架构蓝图,ODS,基础数据层（靠源结构，按业务线保留最细原子粒度数据，加时间戳保留历史）,数据缓冲层SD
7、ATA,客户模型,贷款模型,存款模型,中间业务模型,卡模型,渠道模型,ODS公共汇总数据（按最轻粒度汇总，3NF）,加工数据接口层（为各个应用特定加工要求提供数据）,我们的观点： 1.完成完整的数据平台需要长期的建设和投入，应该在总体规划的基础上根据目前最迫切的需要确定当前建设的内容 2. 分层设计有利于数据分类处理、应用分类取数，使数据效能达到最大化 3. 模型是支撑数据架构的基础,数据集市DW,数据架构之ODS,24,数据平台,ODS,供统一的业务口径 避免集市的重复加工 随着应用建设逐步完善 业务统计口径变化，ETL会随之变化 视情况保留较长历史,面向应用，按需定制 可分为内部集市和外部
8、集市 可通过反范式提高响应性能 可为汇总层提供扩充依据 视情况保留较长历史,面向需求，按需定制 仅为加工数据对外接口 可保留部分最近数据供重新抽取,为ETL方便设计的专用层，可加载增量或全量数据 在此层完成数据同构化 数据原样加载，保持与源结构一致 一般按照业务系统进行命名识别 可保留部分最近数据以供重新加载,面向整合 主题设计 标准化数据 保留较长历史,数据架构之EDW,25,数据平台,EDW,供统一的业务口径 避免集市的重复加工 随着应用建设逐步完善 业务统计口径变化，ETL会随之变化 视情况保留较长历史,为ETL方便设计的专用层，可加载增量或全量数据 在此层完成数据同构化 数据原样加载，
9、保持与源结构一致 一般按照业务系统进行命名识别 可保留部分最近数据以供重新加载,面向整合 主题设计 标准化数据 3NF设计 保留较长历史,面向应用，按需定制 可分为内部集市和外部集市 可通过反范式提高响应性能 可为汇总层提供扩充依据 视情况保留较长历史,数据缓冲层,源系统,.,信用卡,网银,基金代销,核心,信贷,国结,数据缓冲层 （SDATA）,核心,信贷,国结,信用卡,网银,基金代销,.,直接抽取 文件交换,基础数据层-ODS基础数据模型,基础数据层-EDW基础数据模型,汇总数据层设计,应用集市层设计,基础数据层,汇总数据层,数据源层,数据交换平台,数据仓库,数据集市分类,源系统,.,信用卡
10、,网银,基金代销,核心,信贷,国结,S D A T A,仓内物理集市,仓外物理集市,仓内逻辑集市,F D M,A D M,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据架构设计 应用架构设计,数据平台支持的典型应用,国外先进银行总结提炼了一套数据仓库业务应用框架，包括了客户管理、运营管理、风险管理、财务管理四大支柱应用，为银行后续的数据仓库项目建设和推广应用提供了极好的借鉴。,国内同业的应用建设情况,34,应用系统案例,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方
11、案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据整合平台 数据交换平台 数据加工平台 数据归档平台 统一应用平台,数据整合平台-数据仓库产品比较,下图是Gartner基于2009年的数据仓库DBMS市场情况形成的魔法四象限图，评价的标准包括执行力、愿景的完整性两个维度，执行力包括厂商的产品和服务、生存能力（财务、战略、组织）、销售执行和定价、市场反应和跟踪记录、市场执行、客户经验、公司运营7项标准，愿景的完整性包括厂商的市场理解力、市场战略、销售战略、解决方案（产品）战略、商业模式、行业战略、区域战略7项标准。,行业权威的第三方研究机构对数据仓库厂商年度评价,数据
12、仓库厂商解决方案综合评价,下表综合比较了Teradata、IBM、Oracle、Netezza几家领先厂商的数据仓库解决方案。,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据整合平台 数据交换平台 数据加工平台 数据归档平台 统一应用平台,业务支持应用,数据交换平台定位及作用,核心,信贷,国结,网银,.,数据交换平台,信用卡,ODS/EDW,仓外数据集市,HDS,分行DB,CRM,ECIF,特殊应用,ETL平台,调度监控 平台,实时/准实时数据服务,统一交换平台应用架构,主题,数据平台建设背
13、景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据整合平台 数据交换平台 数据加工平台 数据归档平台 统一应用平台,ETL应用架构,ETL策略,ELT方式更适合于企业级数据平台的数据处理 在这种应用模式下，通常采取自主开发的策略,能尽可能降低与源系统的关联，保证系统间的松耦合； 能增强ETL过程中因故障后的断点处理能力； 能够充分利用数据仓库平台强大的并行处理能力进行数据转换，提高ETL过程的并行度与处理效率。,依赖于ETL专业工具 复杂业务计算设计工作量大 跨源系统的数据处理对源系统数据到达的一致性要求高 ETL
14、服务器压力大,ETL工具比较,三种主流ETL工具功能对比,但是，我们如果采取ELT策略也可以不采购ETL工具！,统一调度监控平台逻辑架构,调度监控平台调度功能,调度,驱动方式,负载均衡,调度控制,定时时间到事件驱动 文件到达事件驱动 数据库就绪事件驱动 作业依赖的作业完成事件驱动,调度服务器负载均衡 ETL Serv er负载均衡 ETL Client负载均衡 逻辑通道选择 资源管理与分配,多批次调度控制 节假日调度控制 周期调度控制 作业并行度控制 作业重跑、暂停、启用、禁用 作业定义与依赖关系定义,调度监控平台监控功能,状态,执行,资源,系统管控,计划,到数、供数计划 作业运行计划 作业优
15、先级计划 通道计划,到数、供数状态 作业运行状态 应用异常状态 调度状态,数据交换效率 作业执行效率 通道效率 并行度效率 CoreDump文件 负载均衡,系统资源 （CPU、IO、磁盘） 服务器负载 交换节点连通性 服务进程,调度监控平台监控功能,调度监控平台-人工干预示例,调度监控平台-运行情况报告示例,调度监控工具,国内基础数据平台项目常用的三种调度工具的功能对比,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据整合平台 数据交换平台 数据加工平台 数据归档平台 统一应用平台,历史数据管
16、理平台功能架构,历史数据管理平台逻辑架构,历史数据管理平台功能架构,历史数据管理平台应用,司法查询系统,审计系统,信贷查询系统,其它历史应用系统,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据整合平台 数据交换平台 数据加工平台 数据归档平台 统一应用平台,统一BI应用平台（公共应用平台）,数据支撑 数据平台实现了数据整合 功能提炼 大部分基于数据平台的分析应用可归纳（查询、报表、分析、挖掘） 用户体验 屏蔽不同应用不同工具给用户带来的差异性，建立集中的信息展示环境，满足不同层次不同机构用户
17、的信息获取需求以及个性化展示需求 组织价值 需要统一的开发环境及规范确保可复用性，减少重复开发，形成知识积累 快速地应对业务需求变化（敏捷性及灵活性），有效地降低成本（效率）,统一应用平台逻辑架构,数据平台,统一应用平台应用方式及策略,高层管理人员,仪表盘, 计分卡,一线员工,查询,报表,管理人员&统计人员,仪表盘, 计分卡 分析, 报表,统一BI应用工具比较,BI.Office,Cognos,BO,OWB,MSTR,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据管控体系 数据运营与服务体系
18、,统一数据管控体系,管控体系中的数据标准、数据质量和元数据之间有着紧密的关系，三者的关系如下： 数据标准向元数据提供业务元数据的标准定义，并可以通过元数据平台进行维护； 数据标准定义了符合进仓数据的标准和依据，指导数据质量进行有效的质量监测和检查；另一方面，通过数据质量具体的操作来促进数据标准的执行情况； 元数据作为数据质量的数据提供者，向数据质量提供包括表、字段、代码等元数据对象及其属性定义，能够帮助仓库的使用者更好的发现数据的质量问题；,统一数据管控体系逻辑架构,元 数 据 管 理,源系统,源系统,源系统,源系统,ETL,Stage,FDM,ADM,元数据,元数据,元数据,元数据,元数据,
19、数据平台,应用系统,计算规则,展现控件,报表展现,元数据,元数据,元数据,业务元数据,数 据 质 量 管 理,针对源系统的质量检核,ETL过程质量监控,模型间的数据质量分析,模型间的数据质量分析,针对指标加工的数据质量检测,控件数据兼容性检测,数据质量问题呈现,影响分析、血缘分析,数据标准管理,数据管控-数据标准,例1：小企业识别 途径1：经营规模中的“小型” 途径2：小企业类别中的“小企业”和“银监会小企业” 例2：客户信用评级 途径1：信贷系统中的“当前信用等级” 途径2：理财系统中的“客户风险等级” 途径3：国际结算系统中的“信用等级” 例3：贷款品种 途径1：核心系统中的“住房组合贷款
20、（自营）” 途径2：信贷系统中没有明显对应，或许对应到“其他住房贷款”？,业务定义不明确,重复定义,关系缺失,为什么需要数据标准？,例4：个人客户信息,无客户统一视图,数据标准建设流程,数据管控-元数据管理,业务元数据,技术元数据,是对IT系统的数据实体和数据处理的业务化描述，包括业务定义、统计口径、取值标准等。,是描述数据实体和数据处理过程中的技术细节和处理规则，包括数据结构、ETL映射关系等。,元数据来源,元数据应用,数据地图：直观显示相关系统及数据路径,元数据应用,影响分析：轻松掌握变动（结构/数据）的影响范围,上图中的分析，是基于ODS中ODM数据层下，某数据库表的资金余额字段，进行了
21、数据下游方向的数据影响分析。,元数据应用,血缘分析：准确定位问题产生的源头和数据的来源,数据管控-数据质量管理,数据质量管理方法,数据质量检查内容（过程、技术、业务）,数据的及时性 即ETL过程中各个阶段数据提供或加工的及时性； 数据的完整性 即设计抽取的字段被完整地从源数据系统或从一个存储区传输到另一个目标存储区； 数据的正确性 即源数据提供的数据属性和值域被准确无误地保留到目标数据存储里； 数据的一致性 包括同一系统内不同列表间同一个指标值的一致和不同系统间相关指标值的一致，也就是使用同一个业务规则和计算公式从不同系统计算得出的结果应该相符； 数据的有效性 数据有效性检查即检查输入数据属性
22、是否符合数据字典规定的属性，例如数字的字段不能有文字值，同时检查数据的有效范围，例如某一字段只接受规定的标准代码，其他的值均视为无效数据； 数据的精确性 确认经过传输、转化的数据没有被不合业务逻辑地取整和断位； 数据的时效性 确认数据产生的时间符合相关字段的业务逻辑，例如新的交易记录不能匹配给一个已经关闭的帐户， ETL应将此类数据析出作为错误数据进行分析。,数据质量检查的介入点,数据质量检查结果,数据质量问题管理,数据管控体系建设策略,数据管控从来都不是一个简单的技术工具或一个实施项目，而是一个系统工程，一般采取咨询实施技术平台的方式加以建设，最终是将数据管控的思想融入到企业文化之中，成为全
23、体人员的行为准则和工作习惯,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,架构设计 技术平台建设 配套体系建设,数据管控体系 数据运营与服务体系,运营与服务体系,组织架构探讨,运维体系架构,设备容量规划,性能工艺优化,日常运维管理,服务基线管理,运维架构,程序优化 作业配置优化 任务依赖优化 实施工艺流程优化,数据源来数基线时间 数据处理结束时间 数据传输结束时间 供数基线时间 目标系统要求数据时间 对外服务时间 定期系统运行情况报告,系统规划 容量规划 性能规划,系统维护 系统配置 参数管理 正常启停机 检查清理过期数据 故障干预
24、 备份恢复管理 定期维护管理报告 系统运行情况监控 性能监控 服务状态监控 作业执行情况监控 源数据到达情况监控 供数情况监控,制度流程,需求审核流程 需求响应流程 需求模板.,数据标准 数据质量改进流程 模型管理制度.,开发规范 测试规范 上线规范.,运行维护规范 安全管理制度 异常处理规范.,统一认证规范 权限申请流程 操作规范.,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,数据平台建设思路探讨,数据驱动 完全以基础数据平台为切入点 IT主导,业务驱动 完全以基础数据平台为切入点 业务主导,结合建设 数据平台联合关键业务 IT
25、业务,数据平台建设思路建议,业务创新期,基础建设 数据治理 关键应用,管理优化期,业务支持期,数据整合 专题应用,数据开放 创新业务,技术主导 业务参与,业务需求 技术支持,业务主动 技术服务,业务价值驱动 从技术“推” 到 业务“拉” 的转变 养育数据、由小而大、分期建设 规划勾画骨架；项目填充血肉,数据平台建设路线建议,整体规划,规划管理,规划调整与实施监控,服务运营体系,数据服务流程、制度制定,业务应用体系,业务快报,业务价值驱动的专题应用（客户、运营、风险、财务、信息）,政策、流程、制度制定,数据治理体系,数据架构管理,数据安全,技术平台体系,基础数据平台（数据整合）,业务价值 数据架
26、构 技术架构 应用架构 管控架构,数据开放,数据标准、元数据管理、数据质量,主数据管理,数据交换服务,数据集成服务,历史数据服务,数据开放服务,基础数据平台（历史数据）,基础数据平台（统一数据管控平台）,基础数据平台（统一ETL平台）,基础数据平台（公共应用平台）,基础数据平台（统一数据交换）,管理驾驶舱,部门报表,专题：先期应用建设思路,数据满足 高层重视 业务部门的迫切需求 快捷性,88,建设前提与准备,89,主题,数据平台建设背景与目标 数据平台整体规划与建设内容 数据平台建设方案 数据平台建设思路探讨 案例分析,Longtop BI基础数据平台典型案例分析,ODS综合数据服务及运营平台
27、案例介绍 大连银行,大连银行ODS平台总体架构（2009-）,数据服务区,分析型数据服务区,源系统,核心系统,信贷系统,信用卡,网银,Staging Area,ODS,FDM,ADM,数据标准化,BI Tools （BI.Office）,Report,Query,Dashboard,ACRM,FDM,ADM,Data Marts,ETL平台,管理,调度,自动化,数据质量管理,统一的运营调度监控平台,Analytical App,分发 数据 缓存区,Application,报表,管理驾驶舱,ECIF,Callcenter,财务, ,风险,1104,征信,数据架构,中间表,明细,明细,明细数据文件
28、,ETL,ETL,ETL,基础整合层,公共汇总层,接口层,应用区,中间表,加工数据文件,数据源,ETL,根据数据需求，对数据从不同维度进行汇总。 比如： 在在公共汇总层中则按月、季、年，或各级机构汇总。,屏蔽内部结构变化； 访问权限控制； 统一的访问视图 提供数据输出支持,成果,一期： 接入：13 个系统 基础数据模型实体表：365 个 接出：10个系统 二期： 接入 10 接出：3,应用内容,报表,指标,管理驾驶舱示例,报表示例,ODS综合数据服务及运营平台案例介绍 南京银行,南京银行ODS平台总体架构（2009-）,100,数据架构,基础数据层FDM,团体主题,产品主题,渠道主题,事件主题,账务主题,公用主题,加工汇总数据层ADM,目标数据缓冲层,源数据缓冲层TDM,数据模型层次划分,协议主题,数据源,核心系统,数据集市,前端数据,信贷系统,国贸系统,个贷系统,总账系统,其它系统,接入/供数范围（22/5）,应用内容,存款日报、余额变化、对公对私构成,104,贷款日报、余额增长趋势、构成,理财月报、产品月报、类别分布,资产情况、变化趋势、资产结构及变化,应用框架,平台建设阶段分解,