数据质量核查产品总体设计规格说明书.doc

《数据质量核查产品总体设计规格说明书.doc》由会员分享，可在线阅读，更多相关《数据质量核查产品总体设计规格说明书.doc（35页珍藏版）》请在三一文库上搜索。

1、35 AsiaInfo 项目管理文档项目管理文档 数据质量核查产品数据质量核查产品 总体设计规格说明书总体设计规格说明书 35 目录目录 第第 1 章章引言引言1 1.1文档用途1 1.2阅读对象1 1.3名词术语1 1.4参考资料2 第第 2 章章概述概述3 2.1系统概述3 2.2系统功能性需求3 2.3系统非功能性需求4 2.4产品目标4 2.4.1产品定位5 2.4.2产品亮点5 2.5设计约束5 第第 3 章章系统设计策略系统设计策略6 3.1基础结构6 3.2设计策略6 第第 4 章章系统体系结构系统体系结构7 4.1系统总体结构7 4.1.1功能模块划分7 4.1.2功能模块物理

2、图9 4.1.3模块逻辑图11 4.1.4各模块的协作关系说明13 4.2功能模块设计13 4.2.1TMM模型13 4.2.1.1模型配置13 4.2.1.2模型打分15 4.2.2告警处理流程支撑17 4.2.2.1流程负责人配置17 4.2.2.2告警代理人配置17 4.2.2.3告警免打扰配置18 4.2.2.4告警查看18 4.2.2.5我的任务18 4.2.2.6规则交维管理19 4.2.2.7流程定制支撑19 4.2.2.8未/已交维流程支撑.19 4.2.3监控规则管理支撑19 4.2.3.1规则配置管理20 4.2.3.2规则调度管理20 35 ii 4.2.3.3完备性检查

3、20 4.2.3.4规则生命周期管理21 4.2.4质量分析功能支撑21 4.2.4.1告警总体分布22 4.2.4.2告警分层分布22 4.2.4.3短板分析23 4.2.4.4告警处理效率分析23 4.2.4.5质量趋势分析24 4.2.4.6质量对比分析24 4.2.5质量报告功能支撑25 4.2.6权限管理功能支撑26 4.2.7其它优化功能支撑27 第第 5 章章系统环境系统环境29 5.1开发环境29 5.2测试环境29 5.3运行环境30 5.4安装目录30 5.5设计工具要求30 第第 6 章章关键技术问题关键技术问题31 第第 7 章章对第三方产品的依赖对第三方产品的依赖32

4、 35 1 第第 1 章章 引言引言 1.1 文档用途文档用途 明确 TMM 模型落地到数据质量管理平台的支撑需求。 作为后续质量管理平台优化的需求范围界定 本文档是数据质量管理平台优化和相关系统功能开发的起点，是概要设计的主要依据。 1.2 阅读对象阅读对象 参与需求分析和确认的北京移动业务人员； 参与平台开发的北京移动技术人员； 参与需求分析的亚信技术人员； 参与平台开发测试的亚信开发和测试人员。 1.3 名词术语名词术语 序号名词解释 1TMM Trouble Management Matrix。根据系统建设 经验，经营分析系统关注的数据质量问题主 要包括的基本要素为合理性、及时性、完整

5、 性、唯一性、一致性和准确性等属性。鉴于 数据质量问题的复杂性和多样性，由 eTOM、SID 等权威框架和模型，引入问题 管理矩阵（TMM 矩阵）对数据质量进行精 细化评价和管理。即以数据处理单元为点， 基于数据追溯，基于业务逻辑，把质量进行 穿线，全面的从数据流、应用流分析质量问 题，进行点线面结合的方式去发现和解决质 量问题方法。 2数据质量数据质量数据质量是数据对用户使用的最佳使用度 3错误单元错误单元每个评价属性对应的具体规则为一个错误单 35 2 元 4合理性合理性 计算各项业务指标之间的关系对业务规则或 潜规则的满足程度 5一致性一致性 描述数据结构（包括概念的、逻辑的或物理） 、

6、要素属性和它们间的相互关系符合逻辑规 则的程度 6及时性及时性 指数据刷新、修改和提取等的及时性和快速 性 7完整性完整性 主要包括实体缺失、属性缺失、记录缺失和 字段值缺失 8唯一性唯一性指主键唯一和候选键唯一 9准确性准确性 数据项对明确的规则定义或值域范围定义的 波动满足程度 1.4 参考资料参考资料 中国移动省级 NG1-BASS 技术规范数据质量管理子系统分册 V1.0.0.doc 数据质量核查系统 3.0- 用户（维护）手册.doc 评审技术方案 20090916_数据质量.doc （亚信研发评审文档） 数据质量提升模型介绍.doc 北京公司经分系统-【数据质量】-汇报材料.ppt

7、 35 3 第第 2 章章 概述概述 2.1 系统概述系统概述 本章节对此次需求做一个总体描述，包括：使用现状分析、平台定位及此次优化 的范围/价值，以及平台使用角色、和平台要实现的质量问题处理流程。 2.2 系统功能性需求系统功能性需求 功能名称功能名称功能描述功能描述 核查体系模型支撑 主要分为功能打分和模块管理两部分。 功能打分主要包括：打分和实现算法，手动和自动打分,分值管 理和健康度评估 告警处理流程支撑 告警处理配置 告警处理及展现 规则交维管理 流程定制支撑 未/已交维流程支撑 监控规则管理支撑 规则配置管理 规则信息管理 有效性检验 规则批量导入 规则调度管理 规则完备性检查

8、规则生命周期管理 质量分析和报告功能 规则配置管理 规则调度管理 规则完备性检查 规则生命周期管理 告警分析 短析分析 告警处理效率分析 质量趋势分析 质量对比分析 报告内容定制 报告分发 报告管理 报告展现 35 4 其它优化功能支撑 并发任务支撑 规则重组 核查规则定位 批量处理优化 脚本合法性校验 知识库功能扩展 系统数据维护机制 核查速度优化 其它易用性改进 权限管理功能 角色及权限配置管理 功能模块权限控制 也可参见数据质量核查系统 4.0 - 概要工时估算.xls 2.3 系统非功能性需求系统非功能性需求 界面操作响应优化 性能分布式调优 2.4 产品目标产品目标 根据和北京移动信

9、息系统部的支撑中心、运行中心以及和亚信本地维护队伍 （PSO）的访谈，对数据质量平台优化方向： 建立、完善核查体系 在质量管理平台上建立系统化的数据质量核查体系。包括从接口层、仓库层到应 用层的质量核查，以及包括一致性、及时性、准确性、合理性、唯一性、完整性的六 方面核查。 告警处理流程支撑 实现从告警配置、告警通知、处理过程记录、告警关闭等一系列的数据质量告警 处理流程支撑。 质量分析功能支撑 实现面向应用、面向源系统、面向仓库主题域的质量分析功能。 35 5 2.4.1产品定位产品定位 为用户提供查找发现及处理数据质量问题的强有力的软件支撑系统。 2.4.2产品亮点产品亮点 本次开发的数据

10、质量核查平台包括如下几个亮点： TMM 模型打分及健康度评估 告警处理流程支撑功能 监控规则管理支撑 质量分析与报告功能支撑 2.5 设计约束设计约束 数据质量核查平台在逻辑上各个子模块的功能彼此独立，做到了高内聚，松耦合。 35 6 第第 3 章章 系统设计策略系统设计策略 3.1 基础结构基础结构 用到 Spring（2.0.5 或以上） ，Hibernate（3.2.4 或以上） ，Struts2（2.0.6 或以上） ， JFreeChart（1.0.2 或以上） ，WebWork（2.0.1 或以上）等第三方开源项目组件，推荐使用 Eclipse 作 为 IDE 开发工具。 Web

11、应用服务器使用 Tomcat5.5.23 或以上版本。 JDK 使用 JDK5.0.12 或以上版本。 3.2 设计策略设计策略 扩展策略扩展策略 为了数据质量核查系统在以后能方便的增加新功能，开发中使用了标准的、模块化的、 可配置的第三方组件，按照标准进行简单的配置就能增加新功能； 复用策略复用策略 图形展示将复用经营分析系统中原有的画图公用类； 35 7 第第 4 章章 系统体系结构系统体系结构 4.1 系统总体结构系统总体结构 4.1.1功能模块划分功能模块划分 根据应用不同的原则，可以将此次数据质量核查划分为 7 个子系统。 TMM模型 质质量量报报告告功功能能支支撑撑 监监控控规规则

12、则管管理理支支撑撑 告告警警处处理理流流程程支支撑撑 质质量量分分析析功功能能支支撑撑 数数据据质质量量核核查查平平 台台 其其它它优优化化功功能能支支撑撑 系系统统权权限限管管理理功功能能 各子系统的功能如下： TMM 模型模型 TMM 模型子系统包括如下主要功能： TMM 模型打分算法： 参见3.2.1.2 章节。 手动打分 自动打分 分值管理 健康度评估 告警处理流程支撑告警处理流程支撑 告警质量处理流程支撑主要包括如下功能： 35 8 告警处理配置 告警查看 我的任务 规则交维管理 流程可定定制支撑 帮助信息及处理提示。 监控规则管理支撑监控规则管理支撑 规则配置管理 规则调调度管理

13、规则完备性检查 规则生命周期管理 质量分析功能支撑质量分析功能支撑 告警分布 短板分析 告警处理效率分析 质量趋势分析 质量对比分析 质量报告功能支撑质量报告功能支撑 报告内容定制 报告分发 报告管理 报告展现 其它功能支撑其它功能支撑 并发任务支撑 规则重组 核查规则定位 批量处理优化 脚本合法性校验 知识库功能扩展 35 9 系统数据维护 核查速度优化 易用性改进 系统权限管理支撑系统权限管理支撑 角色及权限配置管理 功能模块权限支撑 4.1.2功能模块物理图功能模块物理图 数数据据仓仓库库 用户 数数据据质质量量核核查查系系统统 TMM模模型型打打分分 告告警警处处理理流流程程支支撑撑

14、告告警警规规则则管管理理支支撑撑 质质量量分分析析管管理理支支撑撑 质质量量报报告告管管理理支支撑撑 其其它它功功能能支支撑撑 系系统统权权限限管管理理支支撑撑 当使用者需要分析三层六属性及二级子层中各个模块的质量情况时，通过 TMM 模型打分系统， 对各个子模块进行打分，并且使用者可以根据事先设定的健康度等级，得出各个模块属性的健康度 情况。 当检查项产生告警时，系统会触发告警流程处理等程序。具体流程处理如下说明： 35 10 开开始始 规规则则产产生生告告警警 通通知知告告警警维维护护人人 简简单单原原因因分分析析 能能否否定定位位告告警警原原因因 其他原因 告告警警处处理理核核实实 告告

15、警警关关闭闭 应应用用影影响响分分析析 不能定 位原因 是是否否有有影影响响确确认认影影响响并并决决策策有影响 深深度度原原因因分分析析 无影响 与与业业务务部部门门确确认认 规规则则变变更更需需求求 规则原因， 且规则与业务 部门共同制定 执执行行规规则则变变更更解解决决接接口口问问题题 接口问题 平平台台 PSO维维护护 PSO开开发发 支支撑撑中中心心 能定位原因 结结束束 图图 例例 告警规则管理支撑，包含规则完备性检查，签控规则的执行，包括手动执行和调度执行。以及 对规则的生命周期管理的功能。 质量分析是通过分析质量签控规则执行后的情况，分析现有数据的质量问题，定位质量短板, 以便集

16、中有限资源重为解决短板问题，从而有效提升数据的质量。 质量报告功能，数据质量分析报告是对一定时间内的数据质量状况的一个分析沉淀。 其它功能支撑主要包括并发任务支撑，规则重组核查规则定位，批重处理优化，脚本合法性校 验,知识库功能扩展，系统数据维护机制，核查速度优化，易用性支持等。 系统权限管理支撑，分为角色和数据权限的管理，功能模块权限控制。 35 11 4.1.3模块逻辑图模块逻辑图 使用者 TMM模型支撑系统 模型打分结果 模型维护管理 使用者登录到数据核查平台上，使用 TMM 模型支撑系统，可以对模型进行打分评估，也可以 对模型进行维护管理。 使用者 告警处理流程支撑 告警处理配置 告警

17、查看 我的任务处理 流程定制支撑 规则交维管理 已交维流程 未交维流程 使用者可以在告警流程支撑功能上，可以进行告警处理配置，告警查看，任务处理，规则交维， 以及流程定制的处理。 使用者 告警规则管理功能 规则配置管理 规则生命周期管理 规则调度管理 规则完备性检查 35 12 使用者可以通过告警规则管理功能，进行规则配置管理，规则完备性检查，规则调度，以及规 则的生命周期管理和查看。 使用者 质量分析与报告功能 告警分布 短板分析 告警处理效率分析 质量趋势分析 质量对比分析 报告审查报告查看 使用者通过质量分析与报告功能，分析数据质量的健康状况,告警处理情况，以及得出一些分 析报告。 使用

18、者 其它功能支撑 。 并发任务支撑 本次数据质量核查系统将会增加并发任务处理，规则重组，批量处理等功能。 使用者 权限管理支撑 功能性权限管理 数据权限管理 使用者通过权限管理支撑，实现数据级的权限管理，通过 BIPlatform 进行功能性的权限管理。 35 13 4.1.4各模块的协作关系说明各模块的协作关系说明 使用者 TMM模型 告警处理流程支撑 监控规则管理功能 其它优化功能支撑 质量报告功能 质量分析功能 系统权限管理 数据质量核查平台中以上的这几大功能彼此相对独立，使用者可以通过这几大功能，对数据 的质量进行核查，以便及时，速度的做出处理，以期减少由数据错误带的损失。 4.2 功

19、能模块设计功能模块设计 4.2.1TMM 模型模型 TMM（trouble management matrix），是经分数据质量的管理模型。根据经分数据加工处理过 程，数据质量评价属性体系从应用层、仓库层和接口层，分别对数据质量的基本要素合理性、及时 性、完整性、唯一性、一致性和准确性等属性，按库表存储，针对表级、字段级、跨表级，对各个 核查单元进行设定评价规则（如：用户表的用户 id 是否唯一构成一个核查单元）。通过按层和各 层的评价属性设定权重，采用加权平均计算出各层的质量模型得分和系统的最终得分。 设计说明设计说明：该模块分为三部分：权重值管理、健康度等级管理、模型打分。 4.2.1.1

20、模型配置模型配置 BS 端新增“TMM 模型配置”模块，包含两个页面：权重值管理，健康度等级管理。 权重值管理页面，权重值管理页面，是用于对参与打分的顶层核查主题配置权重值，可以对参与打分的核查主题 进行增删操作，参与打分的核查主题必须指定其自身权重及其六属性的权重。 35 14 页面以表格形式列出已配置了权重的核查主题的七个权重值（自身权重，六属性权重），全部 都是可写的状态。有增加权重、删除权重的功能，即可以对参与打分的顶层核查主题进行增删操作。 按照需求规格说明书的要求，一般添加三个核查主题（接口层、仓库层、应用层）。在填写了所有 权重值后，点击保存按钮，程序将进行权重和为 1 的校验，

21、校验通过则成功保存，否则提示哪一部 分有问题。 页面提供按钮“选择时间点”，点击后弹出页面显示所有历史配置的时间，选择一个时间后在 主页面显示那个时间的配置。主页面默认显示最后一次配置。在页面下方加入和为 1 的校验说明信 息。 显示效果如下表格： 核查主题自身权重合理性及时性完整性唯一性一致性准确性 接口层 仓库层 应用层 其中核查主题列显示的是所有参与打分的核查主题（可增删）。 数据流图如下图： 用户 增增删删核核查查主主题题 权权重重值值配配置置 配配置置核核查查主主题题权权重重 配配置置六六属属性性权权重重 查查看看历历史史权权重重配配置置 权重数据 健康度等级管理页面健康度等级管理页

22、面，用于按照得分（0-100）和六属性中的最低正确规则占比（0-1）划分区 间，为每个区间指定健康度。并且指定每个健康度的颜色（颜色不记录历史配置）。 数据库初始化时指定每个健康度的 ID、名称、颜色。页面提供“配置颜色”按钮，点击弹出 页面可配置四种健康度的颜色。 页面提供按钮“选择时间点”，点击后弹出页面显示所有历史配置的时间，选择一个时间后， 35 15 在主页面显示该时间的配置。主页面默认显示最后一次的配置。 数据库初始化时导入一个健康度等级的初始配置（按照需求规格说明书中要求）。页面打开时 表格形式显示当前健康度等级的配置。 得分从 0 至 100 可划分为 N 个区间，在这 N 个

23、区间中，每个区间内根据最低正确规则占比从 0 至 100%可划分为多个区间，每个区间指定一种健康度。 数据流图如下图： 用户 健健康康度度等等级级管管理理 健康度 配置数据 得得分分区区间间划划分分 最最低低占占比比区区间间划划分分 设设置置健健康康度度 查查看看健健康康度度配配置置 1 2 3 4 4 4 4.2.1.24.2.1.2模型模型打分打分 BS 端新增“TMM 模型打分”模块，仅有一个页面。 根据检查项执行结果、权重值的配置、健康度的配置等数据信息，为指定月份的数据质量进行 打分及健康度的评级。 打分执行分为调度执行和手工执行两种方式，其中调度执行仅打总分，手工执行可以选一个或

24、多个核查主题进行打分。 分值查看以树的形式展现（仅显示最上两层核查主题），每个节点的背景色用于标识健康度， 每个节点名称后跟其得分。 主页面如下图： 35 16 模模型型打打分分页页面面模模型型打打分分页页面面 接口层 85 OCRM 90 BOSS 74 飞信 32 仓库层 62 OCRM 90 BOSS 74 飞信 32 计算总分输入月份查看 总分：77 数据月份： 打分时间： 2010-01-31 点击一个节点，弹出页面显示该节点核查主题的历次得分值，并有“手动打分”按钮，可对该 核查主题打分。 数据流图如下图： 用户 TMM模模型型打打分分 健康度 配置数据 打打分分 查查看看得得分分

25、 权重值 配置数据 得分数据 调度系统 检查项执行 结果 35 17 4.2.2告警处理流程支撑告警处理流程支撑 对告警处理流程的支撑，包括：监控规则配置功能支撑、监控规则调度运行支撑、 告警发送、告警查看、告警分派、告警处理、告警关闭等部分。 设计说明设计说明： 用户 告告警警处处理理配配置置 代代理理人人配配置置 管理员 流流程程负负责责人人配配置置 免免打打扰扰时时间间配配置置 告告警警查查看看 查查看看所所有有当当前前告告警警 查查看看所所有有检检查查报报告告 用户 我我的的任任务务 查查看看待待处处理理告告警警 处处理理告告警警 数据库 工工作作流流定定制制 流流转转环环节节定定制制

26、 环环节节负负责责角角色色定定制制 规规则则交交维维管管理理 设设置置交交维维状状态态 管理员 批批量量处处理理 4.2.2.1流程负责人配置流程负责人配置 BS 端新增模块。 （1）可以新建多个“流程负责人配置” ，里面包含五个角色对应的用户（一对一） 。 （2）在页面上以树形结构列出所有检查项（以复选框方式多选） ，可以为所选检查项指定一个 “流程负责人配置” 。 4.2.2.2告警代理人配置告警代理人配置 BS 端新增模块。 该模块仅管理员有权限。可以为所有用户指定代理人，启用、停用代理人。 说明：为自己指定代理人，在“我的任务”模块。当启用代理人后，该用户的所有任务可由代 理人和该用户

27、共同处理。 35 18 4.2.2.3告警免打扰配置告警免打扰配置 在“免打扰时间”内不发送告警短信，过了“免打扰时间”再将短信发送。 在 CS 端“告警详细配置”中启用免打扰时间，在后台程序加入对“免打扰时间”的相应功能， 尤其是免打扰时间内的短信的滞后发送（当前是不发送） 。 在后台程序发送告警短信时，先查询该告警状态，如果是已经处理完成的，则不发送短信。 4.2.2.4告警查看告警查看 在 BS 端“数据质量监控”模块的“当前告警”页面改造为“告警查看”页面，显示所有的告 警信息（无论是否处理完毕） 。 加入权限控制，对有权限的核查主题产生的告警可以查看。 “告警查看”页面去掉处理功能，

28、仅保留查看功能。列出所有有权的告警信息，增加一些字段： （1）所处环节 （2）当前负责人 （3）告警时间性 （4）规则名称 (5)流程状态 (6)告警类型 4.2.2.5我的任务我的任务 BS 端新增“我的任务”模块，包含 3 个页面：我的任务、历史任务、代理人配置。 “我的任务”页面：包含所有当前用户需要处理的和需要代理别人处理的告警。显示基本的告 警信息，有按钮“进行处理”进入工作流该环节的处理页面。 在我的任务处理页面中，有“批量处理”按钮： 1）批量告警处理：选定需要批量处理的告警列表（告警可能出在不同的流程环节上） ，执行批 量关闭，并记录批量关闭原因。此时状态从“非批量”转到“批量

29、关闭申请” 。 2）对应支撑负责人会收到批量告警的审核信息，如同意则告警关闭，此时状态从“批量提出 申请”转到“批量关闭审核完毕” ；否则回到批量关闭操作前的处理环节，此时状态从“批量关闭 提出申请”转到“非批量” 。 当告警已设置“批量审核完毕”状态后，告警后续的流程环节自动设置到“告警关闭”，相关 信息均设置为“批量处理”，并记录批量关闭原因。 批量处理可由新的工作流实现。 “历史任务”页面：显示当前用户曾经处理过的告警信息。 “代理人配置”页面：配置当前用户的代理人，进行启用、停用操作。 35 19 4.2.2.6规则交维管理规则交维管理 BS 端新增模块“规则交维管理” ，包含一个页面

30、。 以树形结构复选框形式展示检查项，打钩表示已交维，未打钩表示未交维。 4.2.2.7流程定制支撑流程定制支撑 工作流部分待技术确定后再做设计。 4.2.2.8未未/已交维流程支撑已交维流程支撑 未交维规则产生告警触发未交维流程。 已交维规则产生告警触发已交维流程。 具体设计待技术确定后再做。 4.2.3监控规则管理支撑监控规则管理支撑 核查主题、KQI、检查项的配置，检查项的各项属性配置、生命周期管理、执行等。 设计说明设计说明： 规则配置管理规则配置管理，使用核查主题实现三层及其子层的分类。顶层核查主题至少拥有“接口层” 、 “仓库层” 、 “应用层”三个核查主题，可增加其他核查主题。核查

31、主题可以建立无限层次，但至少 拥有两个级别，即实现“三层”和“二级子层”的分类。 规则调度管理规则调度管理：分为手工和自动调度。 规则完备性检查：规则完备性检查：检查现有规则配置的合理性 规则生命周期管理：规则生命周期管理：查看规则的生命周期，包括生效、失效、修改等操作的详细信息、操作人、 操作时间。 设计说明设计说明： 参与者 规规则则监监控控 规规则则配配置置管管理理 规规则则调调度度管管理理 规规则则完完备备性性检检查查 规规则则生生命命周周期期管管理理 数据库 35 20 4.2.3.1规则配置管理规则配置管理 （1）增加检查项的字段：属性（六属性之一） 、是否强制性、是否有效、运行周

32、期 （2）KQI 增加字段：对应库表信息（KQI 的记录 sql 对应的库表） （3）有效性校验模块：暂时无法支持 （4）检查项的修改、生效、失效设置由系统消息通知开发负责人。在进行修改时生成消息 插入到平台消息表中，当用户登录后即可弹出显示。 （5）优化批量导入功能。 4.2.3.2规则调度管理规则调度管理 （1）调度执行：改造现有的“任务管理”模块，增加调度执行功能。 （2）手工执行：一是在改造后的“任务管理”模块中的“立即执行”功能，二是在工作流 “告警处理核查”环节可手工执行检查项及与其相关联的 KQI。 （3）注意：强制性规则在产生告警时要返回错误日志，导致调度挂起。 4.2.3.3

33、完备性检查完备性检查 BS 端增加模块“规则完备性检查” ，两个页面：“参数配置”页面、 “完备性检查”页面。 疑问：参数配置是针对层的还是针对属性的？暂时理解为层的。公式中 t1 表示什么？ 参数配置页面：四行四列的表格形式进行配置，格子里是文本框。三行为层，三列为参数（表 的个数、id 字段的个数、数值类型的字段个数） 。 完备性检查页面：在打开页面时进行完备性的检查（按需求中公式计算）和结果展示。展示结 果如下： 实际规则数应建规则数应补规则数 一致性 233433200 准确性 233433200 合理性 233433200 性 233433200 性 233433200 接口层 性

34、233433200 一致性 233433200 准确性 233433200 合理性 233433200 性 233433200 性 233433200 应用层 性 233433200 一致性 233433200 准确性 233433200 仓库层 合理性 233433200 35 21 性 233433200 性 233433200 性 233433200 完备性计算公式：(表的个数 t，id 字段的个数 R，数值类型的字段个数 i) 层次评价指标规则个数 合理性I/2+R/3 及时性2t/3 完整性i/2+2t/3 唯一性t1 一致性2t/3 应用层 准确性t 合理性3t 及时性t 完整性i

35、/2+t 唯一性t1 一致性3t/2 仓库层 准确性3t/2 合理性2t 及时性t 完整性8t 唯一性t1 一致性t 接口层 准确性t 4.2.3.4规则生命周期管理规则生命周期管理 BS 端增加模块“规则生命周期管理” ，两个页面：生命周期查看、规则启停配置。 生命周期查看页面：选择核查主题，页面的左半部分显示该核查主题下所有检查项，右半部分 显示选中检查项的生命周期信息（取自配置日志表） ，四列：操作时间、操作员、操作类型、日志 信息。 规则启停配置页面：以树形结构（带复选框）选择多个检查项，执行生效/失效操作。 规则的修改和启停需要以系统消息的形式通知开发负责人。 4.2.4质量分析功能

36、支撑质量分析功能支撑 质量分析模块，是通过分析质量监控规则执行后的情况，分析现有系统数据质量问题，定位质 量短板，便于集中现有资源重点提升短板数据质量。 设计说明设计说明： 35 22 参与者 质质量量分分析析功功能能 告告警警分分析析 短短板板分分析析 质质量量趋趋势势分分析析 质质量量对对比比分分析析 数据权限 BS 端增加模块“质量分析” ，包含四个页面：告警分布、短板分析、质量趋势分析、质量对比 分析。 4.2.4.1告警总体分布告警总体分布 告警总体分布是三层的规则总数，告警总数，告警占比，以图形的形式展现出来。 横坐标：显示顶层核查主题 纵坐标：告警个数、规则数、告警占比 按三层分

37、析，分析告警在接口层、仓库层和应用层的分布 通过规则总数、告警数量对比，以及告警规则占比，对数据质量有个整体表述。 日分析月度分析时间区间分析 0 100 200 300 400 500 600 700 接口层仓库层应用层 规则总数 告警数 0.00% 5.00% 10.00% 15.00% 20.00% 25.00% 30.00% 接口层仓库层应用层 告警比例 总体分析 4.2.4.2告警分层分布告警分层分布 可指定核查主题，进行核查主题内部的指定维度、指标的图形显示。 35 23 4.2.4.3短板分析短板分析 可选择月份，树形显示（仅最上两层核查主题）所选月份的最后一次打分值及健康度。点

38、击节 点可跳转到“告警查看”页面显示该节点的所有告警。 4.2.4.4告警处理效率分析告警处理效率分析 分两个页签：日告警处理效率分析、月告警处理效率分析。 每个页签有两张图：已处理完告警时长分析、未处理完告警时长分析。 可选择开始时间、结束时间、多个核查主题、多个属性。 横坐标：时长 纵坐标：个数 35 24 4.2.4.5质量趋势分析质量趋势分析 从核查主题树中选择一个核查主题，显示其得分趋势图。可选择开始月份和结束月份，选择是 否过滤手工打分。 质量模型 总分#.# 应用层得分 #.# 跬步营销 #.# 收入地图 #.# #.# 仓库层得分 #.# 账务主题 #.# 结算主题 #.# #

39、.# 接口层得分 #.# ORCM接口 #.# BOSS3接口 #.# 彩铃平台接口 #.# #.# 一致性 #.# 完整性 #.# 准确性 #.# 合理性 #.# 及时性 #.# 唯一性 #.# 不合格 优秀 合格 良好 图例 4.2.4.6质量对比分析质量对比分析 选择两个时间点，选择一个核查主题，若选择根节点，则列出所有顶层核查主题的得分，若选 From To xxxTMM 模型分值的趋势分析 过滤手工打分 35 25 择的是顶层核查主题，则列出该核查主题及其所有二级子层的得分，若选择的是二级子层，则列出 该二级子层的得分及其六属性的正确规则占比。 显示结果分三列，第一时间点得分，第二时

40、间点得分，分数差值。 如下图所示： 三大层的对比图，如下所示： 时间点1：2009-11-1时间点2：2009-11-25差值 总得分88.595.46.9 应用层82908 仓库层759318 接口层98980 二级子层的对比图，如下图所示： a时间点：2009-11-1b时间点：2009-11-25差值 总得分88.595.46.9 应用层82908 跬步营销 收入地图 数据业务营销 仓库层759318 接口层98980 各层属性的对比，如下图所示： a时间点：2009-11-1b时间点：2009-11-25差值 总得分88.595.46.9 应用层82908 跬步营销 一致性 准确性 合

41、理性 及时性 唯一性 完整性 收入地图 数据业务营销 仓库层759318 接口层98980 4.2.5质量报告功能支撑质量报告功能支撑 数据质量分析报告是对一段时间内数据质量状况的一个分析结果的沉淀。此处提到的分析报告， 35 26 专指应用层的核查情况，报告是面向业务应用使用人员的，业务使用人员在使用经分系统的同时， 也能对这些功能背后的数据质量状况有认知，同时根据告警规则也可以提出优化建议。 首先由负责人定制报表，然后交由支撑中心领导审批，审批完之后进行报告分发。 设计说明设计说明： 参与者 质质量量报报告告功功能能 报报告告定定制制 报报告告分分发发 报报告告管管理理 报报告告展展现现

42、数据权限 BS 端增加质量报告模块。包含三个页面：报告查看、待审阅报告、报告定制。 报告查看页面：列表形式显示所有有权查看的报告，点击报告弹出页面显示报告的详细内容。 支持下载 EXCEL 报告文件。 待审阅报告页面：显示当前用户有权审阅的报告，点击报告弹出页面显示报告详细内容，可修 改报告内容，保存后批准分发，或执行拒绝操作，拒绝后的报告不在“待审阅报告”页面显示。 报告定制页面：选择报告对应的核查主题、检查项集合，设定报告生成的时间，设定报告名称， 设定报告的审阅人（1 个） 、接收人（可多个） ，设定报告生成的通知方式（平台消息还是短信） 。 4.2.6权限管理功能支撑权限管理功能支撑

43、负责处理当前的任务，包括对任务的执行和回退功能，以及功能权限的管理。 设计说明： 设计说明设计说明： 参与者 权权限限管管理理 角角色色权权限限管管理理 功功能能模模块块权权限限管管理理 数据库 35 27 4.2.7其它优化功能支撑其它优化功能支撑 1 系统需支持多人同时维护核查规则易用性高 2 核查规则树需支持规则重组（即规则可 从一个核查主题移到另外一个核查主题） ，需支持批量操作 易用性高在CS端加入转移功能，支持转移功 能，右键菜单加入“转移”，弹出 页面可选择一个核查主题，若当前 核查主题为目录类型，则目标核查 主题必须是目录，若当前是叶子节 点，则目标核查主题不限：若为目 录，则

44、将当前核查主题的父节点改 变为目标节点；若为叶子，则将当 前核查主题下的所有KQI和检查项 都转移到目标核查主题下。 3 按钮需增加文字说明或提示易用性低 4 核查规则需支持快速查找定位易用性中BS端信息地图使用灵活查询找到 KQI或检查项后，核查主题树自动 展开定位到该项。 CS端增加查询KQI或检查项的功能， 支持将查询到的实体所在核查主题 展开。 5 批量导入功能需简化处理（仅需要提供 必要的信息即可进行批量自动导入） 提供的信息包括：核查名称、核查方法、 SQL脚本、比较方法、维值、告警接收 人等信息 易用性低 优化批量导入功能 6 需支持脚本合法性校验，并尽量兼容更 多的合法SQL

45、易用性高CS端配置KQI时进行SQL脚本校验； 增强后台kqi程序对sql的兼容性。 7 核查主题，核查名称、核查子项、指标 名称长度需要扩展 易用性中 8 核查规则表达式配置不易操作：如：表 达式增加操作符 易用性中CS端表达式配置界面优化 9 核查规则定义考察维度时，不易操作易用性中CS端维度配置界面优化 10 告警短信需体现规则信息及告警原因， 便于业务人员了解告警情况 易用性高每个检查子项增加一个字段存储告 警描述信息头，在后台核查生成告 警详细信息时将该值拼在详细信息 的首部。 11 BS端“数据质量监控当前告警告警明 细”中如果执行多次核查，则显示多次 执行的告警情况，应显示最后一

46、次的告 警情况 易用性高改造BS端“告警查看”页面（原当 前告警），告警详细信息只显示最 后一次核查的信息。 12 每一条告警信息应有相应的告警原因、 告警分类、告警处理办法； 合理性高工作流支持 35 28 13 知识库应该是基于核查规则建立的告警 处理办法，并且需便于查询 合理性高完善知识库的查询功能。 14 告警设置不易操作，主要是告警详细信 息内容比较多，操作没有次序及层次感 易用性中 CS端改造为BS时支持 15 信息地图加载比较慢性能中 规则数据量以万级测试分析原因 后考虑解决办法。 16 信息地图在经分框架内展现界面比较小， 收缩经分功能树后，界面区域需自动扩 展 易用性低 技术

47、原因，有待解决 17 信息地图核查规则树需支持规则查找定 位并展开功能 易用性中 同4 18 信息地图“结点详细信息”显示比较慢性能高 结果数据量较大引起，待考虑 19 信息地图“结点详细信息”中指标显示的 信息应显示全，并可以进行COPY内容， 便于在查找告警原因，尤其是SQL脚本 易用性高 改造BS端信息地图模块的“结点 详细信息页面” 20 部分表格数据显示内容显示不全易用性中建议采用类似自定义查询的表格， 可以支持排序、改变列宽等 21 权限控制选择角色下拉列表显示不全角 色名称，并且角色比较多，不易选择 易用性中BS端权限控制模块增加对角色的模 糊查询 22 当产生告警时，并且配置了

48、告警短信接 收人而没有收到告警短信时，可以快速 地通过日志定位到原因 可维护性高 改造后台程序warn_main，涉及 日志等等 23 执行日志需要有备份及清空机制 （trace日志及log日志） 可维护性高 改造后台tcl程序解决 24 目前核查执行(核查指标与核查规则)很 慢，需要进行优化处理 性能高同18 目前fm3.fm_check_result数据量： 10141772 fm_kqi_result数据量：22752304 25 当执行KQI/CHECK时，不应该允许全部 执行,否则一旦调度配置错误，将会执 行全部的核查 可维护性高 改造后台tcl程序解决 26 后台程序 warn_m

49、ain 的监控，经常挂掉改造warn_main后台程序 35 29 第第 5 章章 系统环境系统环境 5.1 开发环境开发环境 硬件环境 1 CPU，1G 内存 软件环境 Windows 2000 Tomcat 5.5.23 或更高版本 JDK5.0.12 或更高版本 Oracle 9.0.2.4 网络环境 公司内部局域网 5.2 测试环境测试环境 硬件环境 2 CPU，2G 内存 软件环境 Windows 2000 Server Tomcat 5.5.23 或更高版本 JDK5.0.12 或更高版本 Oracle 9.0.2.4 网络环境 公司内部局域网 35 30 5.3 运行环境运行环境 硬件环境 2 CPU，2G 内存以上 软件环境 Windows 2000 Server 以上 Tomcat 5.5.23 或更高版本 JDK5.0.12 或更高版本 Oracle 9.0.2.4 或更高版本/DB2 8.1.x 或更高版本 网络环境 局域网或 Internet 5.4