《农业银行分行基础数据平台的设计与实现.pdf》由会员分享，可在线阅读，更多相关《农业银行分行基础数据平台的设计与实现.pdf（5页珍藏版）》请在三一文库上搜索。
1、43 中国金融电脑2014.6 开发测试Development and Testing 由于以往的开发模式，农业银行各分行分析型应用 系统存在系统架构、数据模型、数据标准不统一的问 题。移植其他分行的分析型应用系统存在很大困难，分 行之间难以共享系统开发成果。为了解决这一问题，农 业银行总行启动了分行基础数据平台项目。分行基础数 据平台采用数据仓库建模方法，在分行部署模型统一、 标准统一的数据平台。为了适应分行分析性应用需求个 性化、源系统多样化、管理要求多元化的特点，分行基 础数据平台覆盖多个关键源系统的数据，支撑大多数的 分行自建数据分析性应用系统。 对于业务支持而言，分行基础数据平台作为
2、一个数 据汇集和整合的平台，通过对业务和管理数据进行集 中、清洗和整合，为各类经营分析和决策支持系统提供 准确、统一、全面的基础数据，并为知识的有效组织和 管理提供信息支持。 一、系统关键技术 分行基础数据平台遵循建立数据分析性应用系统数 据仓库建模思路，通过车间模型生成对应SQL脚本，采 用多层次的数据处理方式，调度平台总控数据作业链。 农业银行分行基础数据平台的设计与实现 中国农业银行股份有限公司湖南省分行 柳佳雯 周应堂 陈勇 该平台既提供了统一模型、统一标准的基础数据层，也 提供了分行特色开发的工具。 1.多层次数据处理 基础数据平台数据处理分为三个层次：操作数 据区（ODS）、应用数
3、据区（BDS）、汇总数据区 （GDS）。操作数据区主要实现源系统数据的简单堆积 和存储；应用数据区主要存储经过拼接、汇总、标准化 转换等加工处理后的数据，为应用提供数据服务；汇总 数据区用于存储三个应用的共享数据，包括统一的指标 库和报表数据等。其中，操作数据区和应用数据区属于 封闭区域，不面向具体应用，数据的存储和加工主要面 向源系统，保持了数据的原始性，无人工干预和篡改， 确保每日按时抽取、加工和提供数据；汇总数据区直接 面向应用系统，其数据为各个应用所共享。操作数据 区、应用数据区提供了公共的客户化的逻辑数据模型框 架；汇总数据区不但提供了公共数据，并且可以根据自 身需求进行模型建立，方
4、式灵活多变。 2.车间模型 车间模型根据相应的规范，如脚本名的命名、临 时表的使用等，对于IQ端编写的数据处理逻辑的具体 44FINANCIAL COMPUTER OF CHINA EVELOPMENT AND TESTINGD 开发测试 SQL，按其执行顺序，填写好Excel模版，最后用车间 模型脚本生成器产生出相应的数据加工脚本。将脚本放 在指定脚本执行目录下，设置脚本的相应执行权限，通 过调度进行数据处理。车间模型为SQL的编写提供了相 应的规则及模板，并将SQL的编写结构化，操作方便快 捷，提高了工作效率及正确率。 3.调度监控系统 调度监控系统实现平台的统一作业管理，确保基础 数据平
5、台各层的稳定运行。调度系统以作业为单位运 行。首先把系统中数据流程的每个具体处理阶段定义为 一个作业，再以作业为基础，把系统的整个数据处理流 程配置为一条以执行顺序为线索的作业链。 调度系统分为前台和后台两部分。前台负责基础数 据平台的监控和日常维护功能，后台负责基础数据平台 的运转。调度系统通过调度管理这条包含了各个作业及 作业间相互关系的作业链，实现了统一调度管理功能。 二、系统架构和功能 为了解决分行多应用系统数据模型、标准、系统架 构不统一的情况，分行基础数据平台以生产系统数据为 对象，通过多层数据处理，在基础数据层面消除生产 系统之间的数据差异，保障了各种分析型应用的扩展性 与兼容性
6、。构建稳定、完善、高扩展性的基础数据层， 支持多样化的分析型应用，进行下游分析型应用系统改 造，促成分行层面分析型应用架构的统一。同时，单一 的、完善的数据模型可以支持多样化的分行分析型应 用，固化一套基于模型的分析型应用开发模式，易于复 制与移植，以提高分行新应用研发效率、降低开发与维 护的成本。 1.逻辑架构 分行基础数据平台项目由操作数据层、应用数据 层、汇总数据层三个层次构成（如图1所示）。 操作数据层定位为各主要生产系统源数据的简单堆 积，几乎不做清洗，以便高效地向总分行各类应用提供 最近任一时点的、基本保持原样的源数据。其设计原则 是快速、完整地提供真实的源数据。应用数据层在操作
7、数据层处理源数据基础上，按照分行基础数据平台的统 一数据规则对数据进行整合，为汇总数据层和各应用提 供数据来源。汇总数据层对应用数据层模型抽取共性信 息，按客户进行汇总，同时分行也可以基于应用数据层 模型开发适合自己分行的汇总数据层模型。 作业调度系统统一调度上述三层的作业过程，实现 封闭运行和灵活处理。 2.物理架构 本系统只部署于分行端，通过总行端的数据交换平 台获取源数据，然后在分行端完成批量调度、分析模型 的ETL处理等功能，最终将加工处理后的数据供分行上 层应用分析型系统使用（如图2所示）。 （1）调度系统应用服务器 采用PC Server做Web应用服务器集群，将调度系统 的应用部
8、署在WAS中间件中，可以利用WAS自带的负 载均衡完成负载功能。办公网用户通过OA网来访问应 用服务器，通过前台交易完成批量调度。 （2）Sybase ASE数据库服务器 Sybase ASE数据库主要满足调度系统的参数存储。 可以采用HA双机软件，利用两台PC Server组成主、备 数据库服务器。当主服务器运行异常时，HA自动将备 用服务器转换为主服务器，以保障系统的正常运行。 （3）ETL应用服务器 采用多台PC Server做应用服务器使用，每台服务器 上部署ETL应用程序。其中一台可以作为任务管理器， 将并发运行的批量节点任务分发给各个应用服务器，共 同完成数据的加工处理。 （4）S
9、ybase IQ数据库服务器集群 Sybase IQ数据库，存储ETL应用在加工数据过程 中所产成的临时数据和最终的数据集。采用了多台PC 45 中国金融电脑2014.6 开发测试Development and Testing Server组成数据库服务器集群，部署Sybase IQ V.10.x数 据库，保障数据存储的高效性。Sybase IQ数据库服务器 还是分行端各个上层分析型应用的数据源。 3.数据架构 分行基础数据平台遵循数据仓库的建模和方法，使 用基础数据平台的成熟技术，在分行建立模型统一、标 准统一的基础数据层,以适应目前分行分析型应用需求个 性化、源系统多样化、管理要求多元化的
10、特点（如图3 所示）。 （1）临时数据层：数据处理环节的一个临时区 域，从源系统下载的数据按照与源系统相同的数据结构 及数据内容加载到该层，因此按照源系统的数据结构设 计该层数据模型。 （2）操作数据层：尽量保持业务数据原貌，仅作 简单的数据处理，如字段裁剪或非空处理，保留源系统 的原始和历史数据，可方便快速地支持需要按源系统数 据结构进行数据加工的分析型应用。基本按照源系统以 及时间拉链的数据结构设计该层数据模型。 （3）应用数据层：面向业务主题构建单一数据视 图，保存最详细的明细数据，不存储和加工汇总数据。按 分析型业务的特点，对所有进入分行基础数据平台的源数 据按分析型业务主题进行分类存
11、储。该层的模型扩展性强 且具有业务中立性，用于支持各类整合型的分析型应用。 （4）汇总数据层：对明细数据进行预连接、预计 图1 逻辑架构 46FINANCIAL COMPUTER OF CHINA EVELOPMENT AND TESTINGD 开发测试 构、统一模型，以便于分析型应用系统的移植和结果的 共享；最后，从全局考虑统筹制定改造方案，避免工作 量增大、架构复杂等问题。 2.统一数据源 建立分行统一的数据平台，单一化、简单化的数据 源，稳定的基础层和应用层，最大限度地屏蔽数据结构 变化对下游分析型系统的影响。改变目前各分析型系统 须从多个源系统取数的现状，减小取数复杂度，降低取 数时间
12、，提高数据的准确率，增强系统运行的时效性。 3.统一架构 分行基础数据平台在基础数据层面消除生产系统之 算。汇总数据层是从业务的视角出发，提炼出对下游分析 型应用系统具有共性的数据访问、统计需求，从而构建出 一个支持应用的、提供共享的数据访问服务的公共数据模 型。形成标准统一、口径一致、可复用的公共数据。 三、系统特色 1.统一改造思路 首先，要统一整体架构，统一规划各分析型应用系 统的数据处理方式，改变过去分析型应用系统“竖井 式”开发的状态；其次，从统一架构的角度深入考虑， 统筹设计各分行的架构，尽量做到在ETL层面的统一架 图2 物理架构 主备 47 中国金融电脑2014.6 开发测试D
13、evelopment and Testing 间的数据差异，保障了各种分析型应用的扩展性与兼容 性。通过构建稳定的、完善的、高扩展性的基础数据层支 持分行多样化的分析型应用，指导分行进行下游分析型应 用系统改造，促成分行层面分析型应用架构的统一。 4.特色化开发 在分行基础数据平台提取了各分析型应用系统的常 用数据，满足各分行分析型应用系统的大部分需求的基 础上，各分行可根据数据需求、数据提取的自身差异， 自行进行特色化开发。由于分行分析型系统不尽相同， 针对其特殊需求，分行可以在总行统一模型版本的基础 上开发和维护本行应用层模型和基础层模型，根据各自 应用系统的特色需求完成相关模型的建设工作。FCC 图3 数据架构