银行ODS项目介绍V2.0.pptx

《银行ODS项目介绍V2.0.pptx》由会员分享，可在线阅读，更多相关《银行ODS项目介绍V2.0.pptx（27页珍藏版）》请在三一文库上搜索。

1、ODSODS ODSODS 银行ODS项目 银行ODS项目组 ODSODS 项目概述 系统架构 功能说明 技术特点 系统运行状况 效益分析 ODSODS 项目背景 q业务管理的问题 q 不能及时方便地获取想要 的数据 q 获取的数据不够准确 q 从各源系统获取的数据不 一致 q 各管理信息系统用户体验 不一致，界面风格和操作 习惯不同；系统权限管理 不统一 在数据大集中之后，管理信息系统建设在业务管理和技术管理两方 面存在诸多问题： q技术管理的问题 q 各管理信息系统直接访问 源系统，重复开发，资源 浪费 q 各管理信息系统分别独立 建设，没有统一的技术架 构 q 缺乏数据标准，相同数据 项

2、在不同源系统定义不同 q 各管理信息系统建设周期 长，难以及时满足业务部 门和分行的管理需求 ODSODS ODS和EDW p 定义 ODS：操作型数据存储，Operational Data Storage EDW：企业级数据仓库，Enterprise Data Warehouse p 共同点 都是数据的集中、整合并向应用系统提供数据的平台 p 两者关系 u ODS设计上着眼于对业务系统的信息集成和标准化存储，以最大限 度的满足事务型管理信息系统的需求 u EDW则主要着眼于满足分析型管理信息系统的需求，侧重于对业务 数据的深度整合和重组，实现对数据的深度挖掘 ODSODS ODS和EDW p

3、 差异 u从数据组织上看，ODS中保留的数据是贴近源系统的，而EDW 则对数据作了高度的抽象化和模型化处理 u从数据的流向看，ODS一般是EDW的数据来源，由ODS向EDW提 供清洗、标准化后的数据 u从投资回报率上看，ODS所需的软硬件投资较少，在较短的时 间内就可以看到较为明显的效果；而EDW往往需要巨大而长期 的软硬件投资，它的建设应该是长期的，它的价值体现是一 个缓慢、长期、持续过程 ODSODS ODS和EDW p 我行方案考虑因素 u我行没有实施ODS或EDW的相关经验 u我行的MIS系统以事务型系统为主，分析挖掘类需求较少 u大量业务需求及分行取数需求希望尽快实现 u尽可能通过较

4、少的投资解决面临的大部分问题 p 结论 本着降低风险、尽快见效以及务实原则，我行选择先建ODS，再 建EDW ODSODS 设计目标 p 统一存储：存储全行各业务系统的操作型数据。 p 统一模型：建立全行统一的操作型业务数据模型。 p 统一加工：统一ETL调度、监控、配置。 p 统一管理：统一元数据管理、数据质量管理。 p 统一供数：为全行的管理和分析型应用系统提供数 据。 p 统一认证：为基于ODS架构的应用系统提供统一的用 户认证服务。 p 统一展现：为基于ODS架构的应用系统以及ODS管理功 能的前端展现提供统一的展现服务。 p 统一分发：为基于ODS架构的应用系统提供统一的数 据分发服

5、务。 统一的数据服务 同步见效的应用系统 p 零售管理信息系统 p 风险资产计量系统 p 分行MIS应用 ODSODS 设计目标 p 应用架构设计规范 p 应用集市模型设计规范 p ETL开发与管理规范 p 报表设计与发布规范 p 统一认证集成规范 p 前端展现集成规范 p 数据分发集成规范 一组管理规范 ODSODS 项目组织 ODSODS 实施周期 p 前期调研 2007.9 2008.4 p 项目启动 2008.5.4 p 需求分析 2008.5 2008.7 p 系统设计 2008.5 2008.8 p 系统开发 2008.9 2008.11 p 系统测试 2008.11 2009.4

6、 p 历史数据追溯 2009.5 2009.6 p 正式上线 2009.7 ODSODS 项目概述 系统架构 技术特点 功能说明 非功能说明 系统运行状况 效益分析 ODSODS 系统架构 p 总体数据架构规划 p ODS逻辑架构 p ODS总行物理部署 p ODS分行物理部署 ODSODS 总体数据架构规划 13 交易处理系统 结果数据存储 业务统计报表业务分析报表 管理门户 数据源 数据集中 数据集成 业务主题 管理报告与分析 数据输出 组合风险 管理分析型客 户关系管 理 ODS / ETL 业务管理系统 非现场审 计 内部其它报表对外信息报表 数据仓库 主题数据集市报告与分析 元数据及

7、数据管理 三大风险 管理 管理会计 交易和 账务数据 数据统一建模（数据集成层） 客户数据 担保数据 市场数据 产品和 组织数据 信用数据 绩效数据 法规数据 外部数据来源 资产负债 管理 外送报表 数据 ODSODS 总体数据架构规划 14 交易处理系统 结果数据存储 业务统计报表业务分析报表 管理门户 数据源 数据集中 数据集成 业务主题 管理报告与分析 数据输出 组合风险 管理分析型客 户关系管 理 ODS / ETL 业务管理系统 非现场审 计 内部其它报表对外信息报表 数据仓库 主题数据集市报告与分析 元数据及数据管理 三大风险 管理 管理会计 交易和 账务数据 数据统一建模（数据集

8、成层） 客户数据 担保数据 市场数据 产品和 组织数据 信用数据 绩效数据 法规数据 外部数据来源 资产负债 管理 外送报表 数据 ODSODS ODS逻辑架构 ODSODS ODS总行物理部署 ODSODS ODS分行物理部署 ODSODS 项目概述 系统架构 功能说明 非功能说明 系统运行状况 效益分析 ODSODS p 按照统一的基础数据模型集成各源系统的数据，建立全行统一的 操作数据存储中心 p 为管理信息系统提供统一的数据服务 p 具有标准化的批量数据分发功能 p 在分行层面从架构上支持分行ODS设计，既可接收总行ODS下 发的数据文件，也支持分行差异化数据的处理，解决分行提供集中

9、和个性化的数据需求 p 实现ETL任务自动化调度 p 通过元数据管理平台进行元数据管理 p 通过数据质量管理平台进行数据质量管理 p 可按照统一的规范建设管理信息系统，包括技术平台、展示、报 表、统一认证等等 p 同步建设零售管理信息系统、风险资产计量和分行MIS三个应用 系统 功能说明 ODSODS 项目概述 系统架构 功能说明 技术特点 系统运行状况 效益分析 ODSODS p 功能模块齐全，基础平台和应用系统同步开发 p 通过建设通用展现平台和统一认证平台，统一了全行的MIS系统 开发规范 p 各个基础平台具备横向扩展能力 p 各类技术的灵活集成运用 p ETL作业开发、运行的高效性、流

10、程化、自动化 p 支持管理信息类应用系统的快速开发、部署和横向扩展 p 为管理信息系统提供统一的用户认证和资源权限控制 技术特点 ODSODS 项目概述 系统架构 功能说明 技术特点 系统运行状况 效益分析 ODSODS 通过对系统上线以来运行情况的跟踪，系统运行稳定 ，性能良好，各项指标均已达到设计目标，截至今年5月份， 各项性能指标如下： 当前数据库容量：约6T 每日数据库增量：日常约15.3G，月末约40G 每日抽取各源系统文本数据量：日常约225G，月末约240G 每日卸载待分发文本增量：日常约107G，结息日约120G，月末 约200G ETL任务数量：约9800余个（另有4000余

11、个应用任务共用同一调 度平台） 每日任务基本完成时间为凌晨7:30前（各源系统数据就绪时间各 有先后，因此处理完成时间也各有先后） 系统运行状况 ODSODS 项目概述 系统架构 功能说明 技术特点 系统运行状况 效益分析 ODSODS p数据的统一、规范，为统计分析、决策分析提供强力支持。 目前ODS已经为39个全行级管理信息系统和33家分行的管理信 息系统提供日常数据，一举解决了数据孤岛、口径不一等问题 ，为决策分析提供快速、准确的数据，有力促进了管理效率的 提升。可使业务人员及时、准确地了解客户和产品相关信息， 更加有针对性地开发新产品，并能针对不同的客户群体，做到 差异化的产品营销，更

12、好的挖掘客户、服务客户，获取产品带 来的收益。 p基于ODS系统的一系列基础平台和架构规范，规范了全行各 类管理信息系统的技术路线。确保了用户体验的一致性，可以 支持系统的快速开发、部署，上线后的维护、培训更加简单， 降低了成本，推动整个管理信息系统建设迈入快速发展阶段， 必将进一步促进业务的发展。 经济效益 ODSODS p基于ODS系统的一系列技术架构和规范，支持了零售管理信 息系统、风险资产计量系统、天网系统、私人银行系统、对公 CRM系统、公司业务管理信息系统等的建设工作，提升了我 行的业务管理水平。 p以ODS系统为基础所进行的数据标准化、数据质量等工作， 为全行的数据治理体系建设奠定了基础，将进一步提升IT管理 和建设水平，继而为管理水平的不断提升提供更有力的支撑。 社会效益 ODSODS 谢谢！谢谢！