[精品]证券公司数据分析与报表展现平台项目建设方案-投标文件 技术部分.doc

《[精品]证券公司数据分析与报表展现平台项目建设方案-投标文件 技术部分.doc》由会员分享，可在线阅读，更多相关《[精品]证券公司数据分析与报表展现平台项目建设方案-投标文件 技术部分.doc（243页珍藏版）》请在三一文库上搜索。

1、I 正本正本 财财达达证券证券有有限限责任责任公公司司 数数据据中心中心项项目目投投标标文文件件 技术部分技术部分 北京北京 xxxxxxxx 信息技术有限公司信息技术有限公司 20112011 年年 1010 月月 1818 日日 目目 录录 本文件涉及信息为北京 XXXX 信息技术有限公司专 有信息，敬请视同机密文件处理。 除因需要而得到授权的财达证券有限责任公司及本 公司有关人员外，请勿以任何形式向他人或任何第三方 透露。 财达证券有限责任公司数据中心建设项目投标书 第 II 页 1总体概述总体概述10 1.1项目背景10 1.2总体设计目标10 1.3阶段建设目标10 1.4系统范围1

2、1 2整体解决方案整体解决方案12 2.1总体原则12 2.2总体架构13 2.2.1逻辑架构.14 2.2.2物理架构.14 2.2.3网络架构.19 2.2.4标准化中间件.19 2.2.5调度监控管理.20 2.3数据仓库建模方案21 2.3.1数据模型设计思路和原则.21 2.3.2证券业概念模型.22 2.3.3数据仓库解决方案.24 2.3.4元数据设计模型.32 2.3.5数据建模工具和方法.35 2.4数据存储架构方案38 2.4.1数据层次.39 2.4.2数据流转服务.40 2.4.3存储管理.41 2.4.4系统性能设计.42 2.5标准化流程、模板43 2.5.1ETL

3、流程43 2.5.2数据质量控制流程.48 2.5.3规范及模板.54 2.6信息安全解决方案55 财达证券有限责任公司数据中心建设项目投标书 第 III 页 2.6.1数据安全和访问机制阐述.55 2.6.2数据保护技术.55 2.6.3数据访问控制.55 2.6.4数据备份和恢复策略.55 2.6.5ETL 流程调度和监控56 2.6.6数据存储和传输的安全.56 3应用系统解决方案应用系统解决方案57 3.1总体结构57 3.1.1总体结构图.57 3.1.2报表实施流程.60 3.2综合报表63 3.2.1综合报表分类描述.64 3.2.2综合报表功能描述.65 3.2.3报表服务平台

4、.67 3.2.4报表数据模型.67 3.2.5综合报表实现.68 3.3领导驾驶舱系统72 3.3.1功能结构图.72 3.3.2数据模型.73 3.3.3系统分析实现.75 3.4分析型客户关系系统（ACRM）80 3.4.1360度客户基本信息视图80 3.4.2客户全方位分析视图.81 3.4.3客户交易渠道分析.86 3.4.4客户其他指标分析.86 3.4.5客户数量分析.87 3.4.6新开户客户分析.87 3.4.7客户持仓分析.87 3.4.8客户交易分析.87 财达证券有限责任公司数据中心建设项目投标书 第 IV 页 3.4.9客户交易与持仓分析.87 3.4.10客户资金

5、变动分析.88 3.4.11营销分析.88 3.4.12产品综合管理.88 3.4.13数据模型.89 3.4.14系统分析实现.89 3.5数据接口及数据分发平台90 3.5.1数据模型.92 3.5.2系统分析实现.92 4软硬件配置清单软硬件配置清单94 4.1选型依据选型依据94 4.1.1ETL选型依据选型依据94 4.1.2BI选型依据选型依据.95 4.1.3ODS/EDW选型依据选型依据.96 4.1.4数据模型选型依据数据模型选型依据.97 4.1.5硬件系统选型依据硬件系统选型依据.97 4.2软件配置软件配置99 4.3硬件配置硬件配置100 5 5网络架构方案网络架构方

6、案107 5.1设计思想107 5.2网络方案设计107 5.2.1总体描述.107 5.2.2核心局域网建设方案.108 5.2.3网络配置需求.108 5.3网络安全109 5.3.1安全风险分析.109 5.3.2安全建设目标.110 5.3.3安全系统设计原则.110 5.3.4网络系统安全设计.111 财达证券有限责任公司数据中心建设项目投标书 第 V 页 6 6项目实施方案项目实施方案115 6.1总体实施计划115 6.2人力资源投入计划115 6.2.1项目组织结构图.115 6.2.2项目组织结构图说明.116 6.2.3项目各方职责.117 6.2.4人力资源计划.119

7、6.3第一期第一阶段实施方案119 6.3.1阶段性实施目标.119 6.3.2阶段性实施策略.120 6.3.3阶段性实施计划.122 6.3.4项目开发体制.123 6.3.5阶段性项目验收.124 6.4第一期第二阶段实施方案124 6.4.1阶段性实施目标.124 6.4.2阶段性实施策略.125 6.4.3阶段性实施计划.128 6.4.4项目开发体制.129 6.4.5阶段性项目验收.130 6.5第一期第三阶段实施方案130 6.5.1阶段性实施目标.130 6.5.2阶段性实施策略.130 6.5.3阶段性实施计划.132 6.5.4项目开发体制.133 6.5.5阶段性项目验

8、收.134 6.6第二期实施方案134 6.6.1阶段性实施目标.134 6.6.2阶段性实施策略.134 6.6.3阶段性实施计划.136 财达证券有限责任公司数据中心建设项目投标书 第 VI 页 6.6.4项目开发体制.137 6.6.5阶段性项目验收.138 6.7项目质量控制138 6.7.1项目管理规范.138 6.7.2项目质量保证.139 6.7.3配置管理.139 6.7.4配置管理活动.140 6.8项目风险及风险控制141 6.8.1风险分析.141 6.8.2风险控制计划.142 6.9项目变更管理计划142 6.10项目过程的沟通协调机制142 6.10.1重大问题的汇

9、报.143 6.10.2项目组内部的沟通协调.143 6.10.3与其他项目组的沟通协调.143 6.10.4与相关部门的沟通协调.143 6.11测试实施143 6.11.1测试目标.143 6.11.2测试方法及内容.144 6.11.3实施规划.144 6.12项目验收149 6.12.1开发文档文件的验收.149 6.12.2应用软件的验收.149 6.13项目成果移交150 6.13.1应用系统源代码.150 6.13.2开发过程文档.150 6.13.3项目提交件质量标准.151 6.13.4知识转移.153 6.14实施计划变更154 6.15项目阶段描述154 财达证券有限责任

10、公司数据中心建设项目投标书 第 VII 页 6.16售后服务156 6.16.1服务承诺.157 6.16.2故障级别的定义.158 6.16.3障碍升级定义与标准.158 6.16.4故障申报及修正流程.159 6.16.5闭环的故障消除保障流程.159 6.16.6技术支持架构.160 6.16.7支持服务人员.160 6.16.8技术支持服务内容.161 6.16.9XXXX 支持服务流程162 6.16.10石家庄分支机构.163 6.16.11北京技术服务中心.163 6.16.12系统故障响应费用.163 7产品白皮书产品白皮书164 7.1INFOSPHERE DATASTAGE

11、产品介绍164 7.1.1产品简介.164 7.1.2特性介绍.165 7.2INFOSPHERE CDC 产品介绍.173 7.2.1InfoSphere CDC 的技术特点174 7.2.2InfoSphere CDCapture解决方案的优势175 7.2.3InfoSphere CDC方案的特性.176 7.2.4使用 InfoSphere CDC 用户可以得到的利益.176 7.3COGNOS BI 产品介绍.177 7.3.1产品架构.177 7.3.2主要模块.179 7.3.3可扩展性.181 7.3.4安全性.182 7.3.5灵活性.183 7.3.6流程.186 财达证券

12、有限责任公司数据中心建设项目投标书 第 VIII 页 7.4INFOSPHERE WAREHOUSE产品介绍 187 7.4.1产品架构.187 7.4.2产品功能特性.187 7.5MOIA.RSP 产品介绍.194 7.5.1MOIA.RSP简介194 7.5.2MOIA.RSP逻辑架构195 7.5.3MOIA.RSP主要界面195 7.5.4MOIA.RSP功能197 7.6MOIA.DSP 介绍.197 7.6.1内容提要.197 7.6.2Moia历史.198 7.6.3产品定位.199 7.6.4产品结构.200 7.6.5功能简介.200 7.6.6拓扑结构.202 7.6.7

13、调度支持.203 7.6.8调度引擎.205 7.6.9支持的计算模式.209 7.6.10数据管理服务.210 7.6.11事件服务.213 7.6.12高级功能.213 7.6.13开发流程.214 7.6.14用户角色.214 7.6.15用户界面.215 7.6.16MOIA用户215 7.6.17MOIA的价值216 7.6.18应用案例.216 8附件附件221 财达证券有限责任公司数据中心建设项目投标书 第 9 页 1总体概述总体概述 1.1 项目背景项目背景 财达证券作为全国性证券公司，拥有大量客户， 伴随着证券市场的日益成熟， 证券交易活跃，市场竞争加剧，这些都对财达证券各项

14、业务监管、风险控制、客户服 务与营销、业务创新等提出了更高的要求。为了更好的满足公司业务、管理对数据集 中应用的要求，财达证券需要建立统一的企业级数据仓库平台，及时有效地获取各项 业务系统数据，进行数据集中管理和统一整合，建立统一的数据标准，形成准确、完 备的数据访问平台，为各个业务部门数据分析、客户服务、公司营销及业务监管提供 基础支撑。 1.2 总体设计目标总体设计目标 财达证券数据中心的总体建设目标是建立基础数据模型、ETL 平台、ETL 管理 调度平台、数据分发管理平台、经营绩效数据分析汇总及展现平台等，形成统一数据 标准、确保数据采集完整、保证 ETL 数据质量、形成统一的数据展现。

15、具体目标为： 1、完成数据标准化工作，形成公司唯一的、标准化数据源，支撑各业务管理系 统的数据访问。 2、完成公司各项业务数据的统一采集、统一存储、统一访问管理等功能 3、建立集中财达证券各项业务数据的基础数据平台，完成财达证券所要求的数 据输入输出交换实施。 4、使用专业成熟的 ETL 工具，进行不同种类数据的抽取、转换、加载等各项部 署、实施，并能对启动条件、依赖关系、状态及错误日志统一管理。 5、实现 ETL 全流程调度自动化管理，对 ETL 过程进行全面监控和管理维护。 6、提供标准和灵活的数据交换接口，保证现有系统平滑过渡到数据中心，支持 公司拟建和未来需要建设的各类系统。 7、按需

16、要提供各类数据的汇总，满足数据报表和不同主题数据集市的需要。 8、通过对基础数据模型的分析，支持数据集市，展现经营状况。 9、建立服务财达证券实际要求的数据中心技术架构。 1.3 阶段建设目标阶段建设目标 数据中心项目实施涉及系统众多、实施复杂度高、周期长的特点。为保障项目顺 利实施，将周期为 7.5 个月的项目分成 3 个阶段进行实施，每个阶段具有相应的里程 碑事件，具体目标如下： 1、第一阶段计划实施工期 1.5 个月，2010/11/202010/12/31，具体建设目标如 下： 完成与数据中心相关业务系统的调研。 建立数据模型。 完成数据标准化工作，形成数据标准化的整体规范，并经财达证

17、券业务 部门认可。 建立符合财达证券的企业级数据仓库技术架构。 实施 ETL 定时，完成集中交易系统、法人清算系统、融资融券系统、投 资管理系统、营销管理系统、财务管理系统、客户服务综合平台的现有 数据采集、整合、入库。 财达证券有限责任公司数据中心建设项目投标书 第 10 页 实现基于数据中心的综合查询系统。 2、第二阶段计划实施工期 2 个月，2011/01/012011/02/28，具体建设目标如下： 完善数据模型及数据仓库技术架构。 完成 ETL 的全部实施，并提供数据完整性、正确性以及可用性检查机制。 完成实时增量数据采集。 完成 ETL 管理调度平台建设。 初步实现数据分发管理平台

18、开发。 3、第三阶段计划实施工期 4 个月，2011/03/012011/06/30，具体建设目标如下： ETL 实施完善，并全部上线。 完成数据接口及数据分发管理平台开发部署及任务配置，并上线使用。 完成领导驾驶舱的系统开发，并正式部署上线。 完成 ACRM 的系统开发，并正式部署上线。 为公司其他在用和在建业务系统提供数据。 1.4 系统范围系统范围 本次数据中心项目实施涉及到的源系统和目标系统如下所示： 财达证券有限责任公司数据中心建设项目投标书 第 11 页 财达证券有限责任公司数据中心建设项目投标书 第 12 页 2整体解决方案整体解决方案 2.1 总体原则总体原则 数据中心建设是个

19、系统化工程，为确保系统建设成功，在系统设计、技术实现过 程中需要遵循如下一些原则： 1、标准化原则标准化原则 系统方案的制定需要满足业界通用的系统建设准则，在系统需求与应用的结合、 系统架构的确定、系统组件的划分、系统实施的考虑等方面，可以借鉴同业的建设经 验，在业界标准、规范的系统建设准则下，结合系统建设要求制定出通用高效的方案。 2、可扩充原则可扩充原则 系统方案的制定需要结合信息化建设的长远规划，充分考虑业务需求与发展要求， 满足系统容量与系统效率要求，在系统设计上即能做到适应不断发展扩大的业务需求， 又能做到最大限度地保护现有的软硬件的投入，为联机分析应用的持续发展奠定良好 的基础。

20、3、开放性原则开放性原则 系统建设遵循开发标准，采用行业标准技术，采用可扩展的系统架构，开放式语 言，保证系统可在异构的系统之间方便移植。能够实现与现有相关系统的完全对接。 4、先进性原则先进性原则 系统技术架构与技术实现手段应在金融行业具有一定领先性。 5、前瞻性原则前瞻性原则 系统在满足现有业务要求的基础上，必须为未来业务发展变化留有拓展空间，方 便对新业务的扩展与支持。 6、高效性原则高效性原则 因为涉及大数据量的处理，而且随着 BI 应用对业务人员、业务主管工作重要性 的逐渐提升，目标系统对数据处理时间的要求会越来越严格，因此，在数据中心构建 上需要确保高效性，在大数据量处理及大规模用

21、户在线情况下系统仍能高效运行。 7、稳定性原则稳定性原则 系统满足高峰处理的需要，适应各种特殊情况给系统带来的压力。 8、安全性原则安全性原则 系统必须建立在成熟稳定的硬件环境和应用软件基础上，通过完善的备份恢复策 略、安全控制机制、运行管理监控和故障处理手段来保障系统的安全、稳定。 9、可维护性原则可维护性原则 系统应提供对对运行情况的完善的监测与控制功能，方便系统维护，在系统处理 异常时能够根据日志，方便快捷的定位出错位置、原因，并可主动告警。 10、实用性原则实用性原则 财达证券有限责任公司数据中心建设项目投标书 第 13 页 结合财达证券各类业务系统的需求和发展现状提供系统产品平台，能

22、够充分满足 系统的业务功能需求，并能够兼顾到未来系统发展。 11、一致性原则一致性原则 系统方案的制定需要考虑与现有的信息化建设发展规划保持一致性。由于现有系 统纷繁复杂，数据存在交叉的情况，需要考虑这些系统作为数据源进行数据整合时， 如何保持一致的处理逻辑，并保证在以后基于这些数据分析的结果具有一致性。 一致性原则具体体现为：统一技术架构、统一数据架构、统一应用架构、统一技 术标准和规范、统一的开发工具、统一开发流程。 12、松耦合原则松耦合原则 数据中心的主要功能定位是数据交换和加工、存储，因此数据中心的数据是尽量 不能和任何应用需求产生紧耦合的，应确立数据中心和应用的松耦合原则。也就是说

23、， 所有应用都应该也只能访问自己的数据库（也称为数据集市） ，而不能用 SQL 等方式 直接访问数据中心的数据。 2.2 总体架构总体架构 在数据中心建设总体原则指导下，结合财达证券实际情况，综合各个方面的因素 考虑，系统总体架构设计如下： 数据中心从总体上包含以下五个主要部分： 基础设施(物理架构) 对于应用数据平台中使用的各种硬件资源的规划和部署； 这些硬件 资源包括：数据库服务器、ETL 集群、调度服务器、报表集群、文 件传输集群、共享文件存储等； 财达证券有限责任公司数据中心建设项目投标书 第 14 页 软件和工具 数据中心应用建设中的基础软件和工具：操作系统、数据库服务器 管理软件、

24、ETL 工具软件、报表工具软件、全局调度和监控软件等； 存储管理 数据存储策略、数据备份和恢复策略、数据生命周期管理、报表数 据的存放和备份清理策略等； 数据架构： 数据的在数据分区间流转、数据的组织(数据模型)、数据在数据流 转过程中的属性(元数据管理)； 标准、规范、流程和模板 贯穿数据中心及 BI 建设过程和处理流程中的各种规范性文档和实施 流程。 2.2.1 逻辑架构逻辑架构 数据中心是企业 IT 环境中重要的基础设施，其核心价值是提升企业经营管理辅 助 BI 系统建设的 ROI。因此其建设需要站在企业级的高度进行设计，整个企业内部 构建一套标准的、可扩展的、开放的、先进的、高效的、稳

25、定的、安全的、可维护的 基础计算环境。 通常企业信息化过程以应用为单位组织软硬件资源，为保证相关应用的平稳运行， 需要为其最大化的配置相关资源，造成大量资源浪费。云计算及虚拟化是未来的企业 级计算的发展方向，因此有必要将企业的计算资源统一规划、统一使用、统一维护管 理，实现企业级计算资源的共享。 财达证券有限责任公司数据中心建设项目投标书 第 15 页 2.2.2 物理架构物理架构 数据中心按照企业级共享计算资源池设计，遵循相关设计原则： 标准化原则 该架构为当前业界主流数据整合硬件架构，符合行业标准。 可扩充原则 数据获取、数据加工、报表、数据库、数据分发、数据存储、应用 服务器、调度监控全

26、部采用集群技术，Grid Anywhere。完美实现系 统的横向扩展性。 开放性原则 所有硬件均采用行业标准硬件，具有标准化的相关接口，保证系统 开。放性。 先进性原则 此架构为当前金融行业数据中心建设领先架构，符合云计算与虚拟 化的流行技术方向。 前瞻性原则 系统高度可扩展，根据业务发展可以随需应变，满足未来需要。 高效性原则 系统采用主流的集群计算架构，实践证明该架构可以满足每天 TB 级 数据整合架构处理。提供最廉价，性价比最优的解决方案 稳定性原则 采用成熟的硬件产品及集群计算架构，可以保障系统的连续运行要 求。 安全性原则 系统建立在行业标准的硬件环境基础上，通过 Grid Anyw

27、here 保证 系统的运行安全性，在单一节点故障情况下可以实现自动切换，保 财达证券有限责任公司数据中心建设项目投标书 第 16 页 证系统的连续运行。 为保障生产网安全运行，禁止管理网段直接访问生产网，通过防火 墙进行隔离，生产网数据通过 CDC 推送的方式传输到管理网。 可维护性原则 通过集中的调度、监控服务器对数据中心的所有任务进行管理，可 以实现高效的系统维护与管理。 实用性原则 系统硬件根据现有业务需求进行配置，满足现有需求，并保留未来 扩展空间。 一致性原则 建立企业级的计算环境，确保企业内部相关环境的一致性。 2.2.2.12.2.2.1 ETLETL 服务集群服务集群 ETL

28、是 BI 应用建设的基础，ETL 技术的出现和发展在 BI 技术发展的过程中具有 里程碑式的意义。而以往企业的 BI 建设缺乏良好规划，每个业务部门都在立项建设 自己的 BI 应用，因此每个 BI 应用都要从业务系统抽取数据，加工转换之后加载到 BI 应用的数据库中。这样每个 BI 应用不仅要购置 ETL 工具，ETL 硬件资源，还要开 发大量的 ETL 作业，这不仅造成了投资的浪费，开发工作的大量重复，对数据的使用 缺乏统一的规范。而且造成很多 BI 应用直接访问业务系统的数据库，对业务系统数 据库的性能、可维护性和安全性都造成了严重影响。 如上图所示，构建面向整个企业级所有 BI 应用的

29、ETL 基础设施(基础组件)，这 个 ETL 组件将为企业中所有的 BI 应用提供 ETL 服务。各 BI 应用不再购置自己的 ETL 硬件资源和 ETL 产品。这个 ETL 组件由专门的数据部门进行统一管理和维护。企业级 的 ETL 组件可以很好地完成企业的数据交换，达到数据标准化、规范化使用、减少资 源投入的目的。 建立企业级的 ETL 基础设施，具有下列优点： 大大减少资源投入，避免重复投资； 减少重复的开发工作； 有利于数据的规范和标准化使用； 使企业的 BI 应用架构更加清晰； 便于对企业的数据交换情况进行集中管理和监控； 财达证券有限责任公司数据中心建设项目投标书 第 17 页 在

30、集群模式下，ETL 基础设施由一系列的普通 PC Server 构成，这些 PC Server 由调度 Server 进行集中管理和调度。在一个 ETL 集群内，还可以划分成多个处理域 (Domain)，也可以只包含一个 Domain。每个处理域由一个或多个 ETL SERVER 和若干 个 ETL CLIENT 组成。 ETL SERVER 主要负责 ETL JOB 的具体执行计划制定与分配。ETL CLIENT 主要负 责 ETL SERVER 分配的作业模块的具体执行，是作业的具体执行者。 实现企业软硬件资源的共享； 提供最廉价，性价比最优的 ETL 解决方案 提供了无限的横向扩展能力，

31、企业无须再为数据规模的增长而发愁； 大规模的并行计算能力为海量数据的处理提供了强大支持； 整个架构不需要备份机，保障系统安全运行。集群中任何节点(调度 Server, ETL server 和 ETL Client)发生故障时，可以有集群中其它机 器快速接管，特别是当 ETL Client 发生故障时候，无须人工干预，接 管工作自动执行； ETL Server 和调度 Server 发生故障时，只需要通过监控界面执行简单 操作即可。 2.2.2.22.2.2.2 报表服务集群报表服务集群 报表的生成和展现，如同 ETL 一样，在企业 BI 建设中是一种最基础的服务，因 此本着集约的原则，我们将

32、报表服务器作为集群方式部属，提供给其中所有需要报表 生成和展示的应用使用。 财达证券有限责任公司数据中心建设项目投标书 第 18 页 如上图形所示，我们将建立报表服务集群，集群中由一台报表集成门户服务器和 多台报表服务器组成(逻辑上的)，各应用自行开发报表后将报表生成作业 Package 部 署到报表服务集群中集中运行，当各应用运行中需要请求报表服务时，将通过 HTTP 方式向报表集成服务器发送报表请求，报表集成服务器将安装 ADT MOIA.RSP，它实 现报表集成和报表服务器管理，实现报表任务的动态分配和负载均衡。使用企业级报 表服务集群的好处是： 实现企业软硬件资源的共享； 提供最廉价，

33、性价比最优的大数据量报表解决方案； 提供了无限的横向扩展能力，企业无须再为数据规模的增长而发愁； 整个架构不需要备份机，保障系统安全运行。 2.2.2.32.2.2.3 数据库服务器集群热备数据库服务器集群热备 数据采用磁盘阵列存储， 数据库服务器共享磁盘阵列，通过数据库的群集功能 实现数据库服务群集。从而达到故障时生产不受影响。 群集 数据库 服务器 数据库 服务器 磁盘阵 列 财达证券有限责任公司数据中心建设项目投标书 第 19 页 2.2.3 网络架构网络架构 在上面的网络拓扑关系图中，我们将网络划分为服务网络，数据库网络和存储网 络。 服务网络主要用于系统间调度服务器、ETL 集群、报

34、表服务器集群和数据库服务 器三者之间的信息的交互和共享； 存储网络主要用于系统间调度服务器、ETL 集群、报表服务器集群和共享存储之 间的信息交互和共享； 数据库网络主要用于数据库服务器和数据存储之间的信息交互和共享； 数据中心建设基于系统集群节点的并行处理，需要大量的信息交互，因此，上述 三个网络的网络带宽均需要到达千兆网络的标准，以保证 ODS 内部的大量信息交互。 集群内部主要使用的网络协议有：TCP/IP、HTTP、FTP、TELNET、NFS 等。 2.2.4 标准化中间件标准化中间件 在企业级计算环境提供强大的计算能力、扩展能力等特性的同时，需要标准化的 中间件部署在企业级计算环境

35、中作为计算需求应用的基础服务。需要的计算服务为： 增量数据获取服务 由 CDC（Change Data Capture）软件提供基于数据库日志的准实时 的、精确的增量数据获取服务。在此推荐使用 IBM 公司的 InfoSphere CDC 作为 CDC 工具。 数据加工处理服务 数据中心是由大量的 ETL（Extract Transform Load）过程有机结合 构成的一个整体，因此 ETL 工具处于数据中心建设中数据加工的核 心地位，需要一个能够实现并行扩展，适应集群架构的高效工具。 IBM 的 DataStage 是 ETL 领域的领先产品，在国内金融行业具有众 财达证券有限责任公司数据

36、中心建设项目投标书 第 20 页 多成功案例及集群架构的最佳实践经验。 数据存储服务 数据的流转与保存需要存在在高性能、稳定的数据库软件中，此部 分采用 InfoSphere Warehouse 数据库。 报表服务 数据中心服务的目标除了 CRM 等标准应用之外，还需要为业务统 计分析、查询等提供数据展现服务，作为企业级报表平台的基础。 此部分采用招标方选定的 Cognos BI 软件。 2.2.5 调度监控管理调度监控管理 企业级数据中心建设时一个系统工程，复杂度高、周期长，涉及到的数据处理步 骤多，需要多种中间件协同配合来完成系统数据的有效流转于加工。如何指挥各个细 分领域优秀的软件有效协

37、同，提升系统健壮性、保障系统高效性，降低运维难度，成 为数据中心建设的重大难点。 为了实现上述目标，需要一个先进的全局调度、监控管理软件。XXXX 根据多 年的实践经验，自主研发了企业级信息应用管理平台软件MOIA。 主要功能为： Active Anytime 自动剔除失败节点并重新运行失败节点上已运行任务 自动切换调度主节点，保证主节点永久存活，保障业务连续性 多种调度管理对象 DataStage Job 各种可在命令行执行的程序及 Command 各平台内置脚本编制的程序文件 存储过程 解释性语言编制的程序文件如 Perl、SQL 等 多种任务触发条件 灵活的调度功能，按照执行日历、执行时

38、间窗口、作业依赖关系、 数据依赖关系等多种条件，组合产生满足作业运行的条件。 深度集成 CDC、DataStage、Cognos API 级驱动任务运行 自动读取 DataStage Job 开发、配置信息 高效任务调度引擎 财达证券有限责任公司数据中心建设项目投标书 第 21 页 调度流程管理； 任务扫描和调度； 可拖拉的图形化配置、依赖条件管理等； 有效的外部集成 “事件驱动”的调度模式，能将您的应用无缝集成到 MOIA 中，实现 企业 BI 应用的全局调度； 通过事件驱动实现异常情况下的外部通知。 动态负载均衡 根据作业的逻辑复杂度和硬件资源情况，动态为 Moia 平台中作业 做负载均衡

39、处理； 数据管理 业务数据管理；数据权限管理； 数据部署管理；数据状态管理。 资源管理 资源采集和监控、动态负载均衡、动态并发控制 系统管理 提供配置管理、用户管理、平台管理、日志管理、手工控制、监控 服务等系统级功能 2.3 数据仓库建模方案数据仓库建模方案 2.3.1 数据模型设计思路和原则数据模型设计思路和原则 1、数据模型设计的主要思路数据模型设计的主要思路 能够满足对证券多种业务分散的数据源进行有效整合能够满足对证券多种业务分散的数据源进行有效整合 数据模型是一套对业务架构进行高度抽象和全面支持的设计思想， 因此其基础是对业务架构的深层次理解； 数据模型的设计是一个非常复杂而艰辛的过

40、程，需要经过对目前和 将来可预见的业务需求的深入分析，才能建立一个适应性强的数据 模型； 便于对证券业务数据按主题概念进行理解和规范便于对证券业务数据按主题概念进行理解和规范 参考国内外专家金融业建模经验； 每个主题下设计相应的数据模型，最后构成整个企业统一的基础数 据模型； 对不同类型的数据进行统一组织、管理对不同类型的数据进行统一组织、管理 数据模型的实施需要有数据整合的经验积累； 定义数据元素，把这些元素组织成主题/实体并组织这些主题/实体 之间的关系； 2、模型设计的原则模型设计的原则 统一规范统一规范 灵活性原则灵活性原则 可扩展性原则可扩展性原则 高效性原则高效性原则 财达证券有限

41、责任公司数据中心建设项目投标书 第 22 页 实用性原则实用性原则 存储空间合理性原则存储空间合理性原则 3、模型设计的依据模型设计的依据 以数据源为基础：以数据源为基础：基于证券现有业务发展情况，在对集中交易系统、清 算系统、投资管理系统等系统数据源进行详细和全面分析的基础上，结 合未来业务发展的方向，使数据模型具有广泛的涵盖性、良好的扩展性、 优越的高效性和实用性； 目标应用驱动：目标应用驱动：针对可预见的目标应用对数据模型进行的必要调整，实 现多个目标应用的公共加工汇总要求； 统一规范和管理：统一规范和管理：对证券业务数据按主题概念进行理解和规范，对不同 类型的数据进行统一管理； 4、模

42、型设计的目标模型设计的目标 统一数据视图统一数据视图 完整的数据 良好的数据组织：合理的主题划分、明确的实体间关系等 统一的数据解释 清晰的数据流向 高度的数据可用性高度的数据可用性 合理的数据冗余 合理的存储分布策略 必需的共性加工 2.3.2 证券业概念模型证券业概念模型 1、主题域主题域 数据仓库逻辑模型的设计通常采用自顶而下的方法，首先针对需求涉及范围内 的业务对象从高度概括的概念层次归类，即划分主题域，再针对各个主题设计实体关 系图。 数据中心 LDM 参照了国际先进的 FS-LDM 模型，FS-LDM（金融业逻辑数据模 型）是 TD 多年来在全球实施近 230 家金融业数据仓库项目

43、的经验结晶 如下图所示。 整个逻辑数据模型把复杂的金融业务归纳成团体、产品、账户、事件、渠道、组织、 地理区域和行销活动等八大主题。它蕴含了现代金融的分析决策和客户关系管理的各 个方面。FS-LDM 模型参照如下： 财达证券有限责任公司数据中心建设项目投标书 第 23 页 设计思路：基于 FS-LDM，根据所设定的目标和数据范围，确定需要建设的主题 范围，构建 LDM 的原型框架。LDM 原型框架决定数据仓库的数据组织原则和基本 形式，也决定了数据仓库的应用范围和应用模式。 财达证券的数据中心的概念模型设计将参照参考了 Teradata 在金融领域提出的 FS-LDM，对 IBM 的 FMDM

44、 进行补充和完善。 2、证券公司信息流分析证券公司信息流分析 证券行业的信息流，可分为以下几种： （a）客户信息流 （b）交易信息流 （c）资金信息流 （d）行情信息流 （e）基本信息流 （f）公告信息流 （g）政策信息流 （h）自用业务 （i）投行业务 （j）CRM 系统 （k）营销系统 （l）绩效管理 （k）风险管理 其中，按照其语义系统又可以分成 7 类。 前 a-c 以交易主体为核心，可以归纳为交易数据集合。 d-g 围绕交易对象展开， 可以归纳为行情数据集合。 hI 是围绕业务种类展开，可以归纳为产品信息集合。 J可 是围绕营销和客户关系展开，归纳为营销服务集合。Lm 围绕人力绩效和

45、系统 风险展开，归纳为内控数据集合。 财达证券有限责任公司数据中心建设项目投标书 第 24 页 2.3.3 数据仓库解决方案数据仓库解决方案 2.3.3.12.3.3.1以以 TDTD 的的 FS-LFS-LDMDM 模型模型为基础为基础 参照 TD 的 FS-LDM（金融业逻辑数据模型） ，该模型多年来在全球实施近 230 家 金融业数据仓库项目。把金融系统数据按照 组织机构、产品、客户、客户资产、事 件、渠道、财务、合同、地理区域和行销活动（营销）等 10 个主题进行组织。 XXXX 保留了 LDM 中主题类别，对事件中的所定义的客服归入到营销主题。 把客户名称修改为当事人。 2.3.3.

46、22.3.3.2参照参照 IBMIBM 的的 FSDMFSDM 模型模型 FSDM(Financial Services Data Model)是一个企业级数据模型，包括了金融机 构约 80%的业务数据。用于把预定义的业务模板连接到核心银行业务数据和数据仓库 中。 财达证券有限责任公司数据中心建设项目投标书 第 25 页 FSDM 把相关业务数据分为 9 大主题，它蕴含了现代金融的分析决策和客户关系 管理的各个方面。 共包括“相关当事方、协议、条件、产品、位置、分类、业务方 针、事件、资源项” 。 FSDM 主题关系图如下图所示： FSDM 大约提供了 40 多种业务模板，是 IBM 多年与世

47、界各大金融机构合作的经验， 涵盖了银行和证券及保险相关金融机构。业务模板包括如下 4 类： 关系市场分析关系市场分析: 包括：市场策划分析、客户贡献分析、促销分析、个人客户归档、 交叉销售分析、客户投资分析、客户忠诚度分析、客户行为分析、市场导向分析； 利润分析利润分析: 包括：客户终生价值分析、产品利润、机构利润、客户利润、营销渠 道利润、绩效衡量、地区利润、客户行为成本、产品分析。 风险分析风险分析: 包括：不良贷款评估、信用档案、欠款分析、安全分析、利率敏感分 析、关系人风险。 资产负债管理资产负债管理: 包括：基金成熟度分析、中央银行报表、收益分析、流动资产分 析。 XXXX 保留了

48、LDM 中除去“条件” “业务方针”外的主题，对事件中的所定义的客 服归入到营销主题。 按照业务模板推导出 16 个数据集市。 2.3.3.3 数据仓库的本质分析数据仓库的本质分析 数据仓库的最基本职能就是数据集成和管理，但最基本职能不代表最简单，异 构信息的采集存在诸多难点，如下图所示： 财达证券有限责任公司数据中心建设项目投标书 第 26 页 信息采集的难点 针对目前核心交易系统、清算系统、财务系统、资管系统、三方存管系统、融 资融券系统、网上交易系统、风险监控系统、CRM 系统、短信平台系统等的现状， 将把上述系统作为数据仓库的关键数据源。在建设初期，我们将把核心交易系统以及 相关业务系

49、统的数据集中存放、整合，快速构造数据平台，满足最迫切的业务应用需 求。同时，我们将以核心交易系统为基础，参考 FMDW 构建逻辑数据模型，实现企 业数据仓库的平滑过渡。 源系统的选择标准和纳入数据仓库的先后顺序原则主要是： 源业务系统选择标准： 1. 按照 IBM 金融行业数据模型 FSDM 的数据概念要求梳理数据源信息。具体 的逻辑数据模型组织可以参考 FMDW，进行相应的定制。FSDM 与 FMDW 之间的管 理如下图所示： 财达证券有限责任公司数据中心建设项目投标书 第 27 页 2. 按照业务和应用的需求优先级 3. 系统能够产生有分析价值的数据 纳入数据仓库的先后顺序原则： 根据战略价值、数据充足度和实施难易度、投资回报性来综合考虑，优先实施 战略价值高、数据充足、易实施、投资回报高的。优先考虑全企业集中的系统和运行 稳定的系统。 2.3.3.4 主题域的定义主题域的定义 1. 按照 FSDM 的要求。FSDM 具有 9 大主题，包括相关当事