中国移动通信企业标准.doc

1、QB-中国移动通信企业标准QB-Y-XXX-2010中国移动省级NG2-BASS技术规范数据质量管理子系统分册The Technical Specification Fascicule for Data Quality Management Subsystem of New Generation Business Analysis Support System 版本号：3.0.02010-实施2010-XX-发布中国移动通信集团公司 发布QB-Y-XXX-2010目录1.范围62.规范性引用文件63.术语、定义和缩略语64.总体说明84.1.概述84.2.系统建设目标94.3.数据质量问题域9

2、4.3.1.信息问题域104.3.2.技术问题域114.3.3.流程问题域124.3.4.管理问题域125.系统架构135.1.系统功能结构135.2.系统技术结构166.系统功能176.1.源系统变更协同管理176.1.1.管理范围186.1.2.受理接口196.1.3.任务管理226.2.数据质量监控236.2.1.数据采集236.2.1.1.数据采集范围236.2.1.2.数据采集功能要求246.2.2.源系统关键数据稽核246.2.2.1.源接口文件级及记录级检查246.2.2.2.源接口关键字段波动稽核256.2.2.3.源系统关键指标比对256.2.2.4.源接口一经校验规则计算2

3、66.2.3.源系统维表稽核276.2.3.1.维表变更监控286.2.3.2.维表映射关系稽核296.2.3.3.维表引用有效性稽核306.2.4.数据实体检查316.2.5.处理过程检查326.2.6.关键指标检查326.2.6.1.指标波动检查336.2.6.2.指标平衡性检查336.2.6.3.指标加权波动检查346.2.7.告警管理356.2.7.1.告警的分类和分级356.2.7.2.告警形式366.2.7.3.通用告警处理366.2.8.拓扑呈现386.2.8.1.拓扑呈现的分类386.2.8.2.拓扑呈现与元数据的关系396.2.8.3.拓扑呈现的功能396.2.9.规则配置4

4、06.3.数据质量问题处理416.3.1.数据质量问题要素416.3.2.模块间交互关系426.3.3.功能说明426.3.3.1.问题生成426.3.3.2.问题分析436.3.3.3.问题处理436.3.3.4.问题总结456.4.数据质量评估456.4.1.源接口基础数据质量评估466.4.1.1.评估指标466.4.1.2.评估方法476.4.1.3.评估报告476.4.1.4.评估应用476.4.2.经营分析系统指标关联性分析506.5.数据质量报告516.5.1.质量报告基本功能526.5.1.1.报告生成526.5.1.2.报告发布536.5.1.3.报告查询536.5.1.4.

5、报告归档536.5.2.报告分类546.5.2.1.源系统变更协同管理报告546.5.2.2.源系统核心数据稽核报告546.5.2.3.源系统维表稽核报告556.5.2.4.处理过程质量报告556.5.2.5.关键指标质量报告556.5.2.6.一经接口质量报告556.5.2.7.数据质量评估报告556.6.数据质量知识库566.6.1.数据质量知识的产生566.6.2.数据质量知识的应用566.6.3.内容组成与数据格式576.7.数据质量对外服务596.7.1.数据质量信息查询功能596.7.2.数据质量问题交互597.数据质量管理机制与流程607.1.数据质量管理机制607.1.1.组织

6、机构与职责607.1.2.角色与职责607.2.数据质量管理流程617.2.1.源系统变更协同管理流程617.2.1.1.流程进入条件637.2.1.2.流程产生文档637.2.2.经营分析系统需求变更控制流程637.2.2.1.流程进入条件647.2.2.2.流程产生的文档647.2.3.数据质量告警处理流程647.2.3.1.流程进入条件667.2.3.2.流程产生文档667.2.4.数据质量问题处理流程667.2.4.1.流程进入条件677.2.4.2.流程产生文档677.2.5.数据质量报告管理流程687.2.5.1.流程进入条件697.2.5.2.流程产生文档698.系统技术要求69

7、8.1.数据采集技术要求698.2.数据存储要求698.3.功能组件与对外交互要求698.4.监控检查技术要求708.5.控制台和对外服务接口技术要求708.6.数据质量监控其它实施要求709.编制历史72附录：工程实施指导75前言本标准的制订是为了构建省级经营分析系统数据质量管控体系，以及时发现、定位和解决省级经营分析系统的各类数据质量问题，确保数据质量的稳定可靠。数据质量管理子系统是经营分析系统数据管理域的重要子系统，负责对经营分析系统全流程数据质量进行监控和管理。本期规范在前期系统建设构建经营分析系统数据质量基础管理功能框架的基础上，通过源系统变更协同管理、数据质量监控与问题处理、数据质

8、量评估与报告、数据质量知识库和数据质量对外服务等功能进一步深化数据质量管控能力，构建从源系统到经营分析系统数据质量联动机制，全面提升数据质量管理子系统对数据质量管控的支撑能力。本标准主要包括以下几方面的内容总体说明、系统架构、系统功能要求、数据质量管理机制与流程和系统技术要求等。本标准由中移技2010 XX 号印发。本标准由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。本标准起草单位：中国移动通信集团公司。本标准主要起草人：段云峰、何鸿凌、付峰、汪峰、尚晶、张韬、易剑光、杨秋雁、崔洪涛、陈涛、曾成、金骏、朱伟胜、秦晓飞、赵静、徐少飞、邓青、赵洪松、李倩、谢志崇、田长江、余疆、陶涛

9、肖建明、张红星、魏春辉。V1. 范围本标准规定了中国移动省级经营分析系统数据质量管理子系统的建设内容，供中国移动内部和厂商共同使用；适用于中国移动各省（直辖市、自治区）公司省级经营分析系统数据质量管理子系统的建设。2. 规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。1QB-Y-XXX-2010中国移动省级NG2-BASS技术规范总册v3.0中国移动通信有限公司2QB-Y-X

10、XX-2010中国移动省级NG2-BASS技术规范元数据管理分册v3.0中国移动通信有限公司3. 术语、定义和缩略语下列术语、定义和缩略语适用于本标准：字母名词解释G工作流管理工作流管理是一种软件技术应用，它通过计算机语言实现工作流的定义，创建工作流实例，并按照预定义的工作流逻辑和流程规则推进工作流实例J经营分析门户经营分析门户是经营分析系统用户访问并使用经营分析系统各类应用的统一接入平台S数据采集点覆盖源系统和经营分析系统数据处理环节的，获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体S数据质量检查点又称数据质量检测点，是指行使数据质量监控检查功能的实体。该实体可以是程序实体

11、也可以是任务实体S数据质量报告数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程S数据管理域数据管理域包括数据质量管理体系和运维管理两大部分。数据管理域依托元数据管理模块，完善数据质量监控应用和数据运维管理，逐步实现企业全程数据的监管和运维管理S数据质量知识库数据质量管理子系统存储层上的存储信息库，主要包括各种检查规则和检查结果报告(包括告警)，以及数据质量问题的处理过程信息S数据质量监控自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告S数据质量采集

12、代理(Agent)是指完成数据质量数据采集功能的实体。该实体是采集服务端（Server）相对应的S数据质量管理子系统数据质量管理子系统属于经营分析系统数据管理域中的 一个子系统，其功能是对经营分析系统数据质量进行监控、评估和数据质量问题处理S数据质量监控信息库数据质量管理子系统存储层上的存储结构，用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等。S数据质量评估数据质量评估由数据质量管理人员根据需要发起，依据评估指标和评估方法，源接口基础数据或指标进行评价，得到评估结果并作为系统质量改进的参考和依据。Y元数据元数据(Meta Data)泛指描述领域概

13、念(Domain Concepts)、领域关系(Domain Roles)、领域规则(Domain Rules)的数据。领域语义(Semantics)和知识(Knowledge)也属于元数据的范畴Y源系统变更协同管理源系统变更协同管理是获取源系统变更信息，调用元数据管理模块相关分析功能对源系统变更进行影响分析，对源系统变更进行事前管理。Z组件组件是实现特定功能的程序模块下列缩略语适用于本标准：缩写英文描述中文描述BOSSBusiness Operation Support System业务运营支撑系统DSMPData Service Management Platform数据业务管理平台ETL

14、Extraction Transformation Loading抽取、转换和加载ODSOperational Data Store操作型数据存储OLAPOn-line Analysis Process在线分析处理4. 总体说明数据质量管理子系统是经营分析系统数据管理域的重要组成部分。本章从数据质量概述、本期建设目标和数据质量问题域三个方面对数据质量管理子系统进行概要描述。4.1. 概述经营分析系统数据质量管理体系包括对数据源接口、数据实体、处理过程、数据应用和业务指标等相关内容的管控机制和处理流程，也包括对数据质量管控和处理的信息总结和知识应用等辅助内容。数据质量管理子系统是经营分析系统数据

15、质量管理体系的技术支撑平台。本规范用于指导省级经营分析系统数据质量管理子系统建设。本规范描述了经营分析系统数据质量管理的范围和要求，描述了数据质量管理体系结构，规定了数据质量管理子系统的基础功能和处理流程，强调了数据源端联动机制的构建，强调了数据质量评估、数据质量管控信息总结、知识沉淀和经验重用。本规范要求形成由源系统变更协同管理、数据质量监控、数据质量评估、数据质量报告和数据质量对外服务等功能构成的数据质量管理子系统，以及基于该子系统的数据质量管控流程和技术要求。数据质量管理子系统的相关分析和数据管理将引用元数据管理模块的功能，详见中国移动省级NG2-BASS技术规范元数据管理分册v3.0。

16、4.2. 系统建设目标NG2-BASS3.0规范数据质量管理子系统以“深化数据质量管控能力，构建源系统联动机制”为建设目标，具体包括：1. 实现对源系统变更的协同管理，通过对源系统变更的获取及影响分析，在数据质量管控基础上，强化事前管理，减少由源系统变更引起的数据质量问题，构建源系统联动机制。2. 建立有效的数据质量监控机制,在经营分析系统数据处理主要阶段设置数据质量检测点，实现源系统核心数据稽核、源系统维表稽核、数据实体检查、处理过程检查和关键指标检查，实现从源系统接口层到经营分析系统应用层的全流程数据质量监控，便于数据质量问题提前发现和及时处理。同时，管理在数据质量监控中产生的告警信息，并

17、集成元数据信息，实现拓扑呈现，提供经营分析系统数据处理状态和质量状况的全局视图。3. 加强数据质量评估，根据评估指标和评估方法，实现对系统源接口基础数据质量的评价，发现数据质量潜在的问题和规律，作为经营分析系统数据质量改进的参考和依据。4. 建立数据质量报告功能，实现对数据质量子系统各种信息的汇总、梳理、统计和分析，提供全面及时的数据质量报告，预防和控制错误范围的扩大，便于数据质量管控信息总结、知识沉淀和经验重用。4.3. 数据质量问题域经营分析系统数据质量问题按照来源和具体原因，可以分为信息、技术、流程和管理四个问题域，如图 41所示。图 41 数据质量的四个问题域4.3.1. 信息问题域信

18、息类问题是由于对数据本身的描述、理解及其度量标准偏差而造成的数据质量问题，如图 42所示。图 42 信息问题域产生这类数据质量问题的原因主要有：元数据描述及理解错误、数据度量得不到保证和变化频度不恰当等。数据度量主要包括完整性、唯一性、一致性、准确性和合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。信息类问题中易引起描述及理解错误的元数据主要包括：l 业务元数据主要包括业务描述、业务规则、业务术语和业务指标口径等；l 技术元数据主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。4.3.2. 技术问题域技术类问题是指由于具体数据处理的各技术环节异常

19、而造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷，如图 43所示。图 43 技术问题域技术类数据质量问题主要产生在数据创建、数据获取、数据传递、数据装载、数据使用和数据维护等环节，具体描述如下：l 数据创建质量问题主要包括：业务系统话单延迟入库、创建数据默认值不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效和记录重复等；l 数据获取质量问题主要包括：采集点不正确、取数时间点不正确以及接口数据在获取过程中失真。如：编码转换处理错误或精度不够，导致指标统计结果不一致或数据无效等；l 数据传递质量问题主要包括：接口数据及时率低、接口数据漏传和网络传输过程不可靠，如包丢失、文

20、件传输方式错误、传输技术问题和协议使用不当导致的数据不完整等；l 数据装载质量问题主要包括：数据清洗算法、数据转换算法、数据加载算法的错误和调度机制不合理等；l 数据使用质量问题主要包括：展示工具使用错误、展示方式不合理和展示周期不合理等；l 数据维护质量问题主要包括：数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据等。4.3.3. 流程问题域流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，如图 44所示。图 44 流程问题域流程类问题主要来源于经营分析系统的数据创建流程、数据传递流程、数据装载流程、数据使用流程、数据维护流程和稽核流程等各

21、环节，具体描述如下：l 数据创建流程质量问题主要指操作员数据录入时缺乏审核流程；l 数据传递流程质量问题主要指通信流程沟通不畅；l 数据装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误；l 数据使用流程质量问题主要指数据使用流程缺乏流程管理；l 数据维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控；l 稽核流程质量问题主要指缺乏数据检查及问题反馈流程。4.3.4. 管理问题域管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题，如图 45所示。图 45 管理问

22、题域管理类问题主要包括人员的管理、培训和激励等方面的措施不当导致的管理缺失。人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划；人员管理所产生的质量问题主要指缺乏管理目标、责任人缺失或有关人员缺乏责任心和工作的优先级安排不当；人员激励所产生的质量问题主要指缺乏奖惩制度、奖惩制度的执行不到位、激励反馈渠道不畅和缺乏反馈机制。以上四类数据质量问题域中，信息问题域、技术问题域和流程问题域的问题相对集中和可控，是本规范要求的重点内容。5. 系统架构本章从功能结构和技术结构两个方面简单介绍了数据质量管理子系统的体系结构，在功能结构一节简要描述了各个层次的功能，在技术结构一节描述了各个组件的

23、实现方式以及数据质量管理子系统与经营分析系统其它模块的关系。5.1. 系统功能结构数据质量管理子系统的功能结构如图 51所示。图 51 数据质量管理子系统功能结构图数据质量管理子系统功能按层次划分为获取层、存储层、功能层和应用层。下面简要描述各层要求实现的功能：1. 获取层本层主要实现的是数据质量数据的采集功能。数据质量管理子系统采集源系统和经营分析系统所需的质量监控数据，它是数据质量功能和应用的基础。采集的数据范围有：源系统关键数据、源系统接口信息、数据处理过程信息和业务指标数据等。2. 存储层存储层中存储的数据质量信息主要包括三个部分：l 数据质量规则库：存储数据质量子系统的相关规则信息，

24、包括质量监控和质量评估涉及的相关规则和模型等；l 数据质量信息库：存储数据质量所有的告警信息、质量评估信息、问题解决方案和问题处理流程信息等；l 数据质量知识库：存储源系统变更协同管理知识、数据质量监控知识和数据质量问题及其处理方法知识，包括接口问题处理知识、ETL问题处理知识、仓库处理过程问题处理知识和指标异常及处理知识等。3. 功能层功能层包含了数据质量管理子系统的基础功能，它为数据质量管理的前端应用提供了基本的功能支撑，主要包括以下七个部分的功能：l 源系统变更协同管理：源系统变更协同管理是数据质量管理人员获取源系统变更信息，调用元数据管理模块相关分析功能对源系统变更进行影响分析，以对源

25、系统变更进行事前管理，主要包括变更受理、变更分析、变更确认、变更上线和任务管理等功能。l 数据质量监控：数据质量监控是根据配置的规则或算法，对采集数据进行数据质量监控，对发现的数据质量异常情况进行告警和拓扑呈现的过程，包括源系统关键数据稽核、源系统维表稽核、实体数据检查、处理过程检查、关键指标检查、告警管理、拓扑呈现和规则配置等功能。l 数据质量评估：数据质量评估包括源接口基础数据质量评估和经营分析系统指标关联性分析。源接口基础数据质量评估是根据评估指标和评估方法，对源接口基础数据的数据质量进行评价，经营分析系统指标关联性分析是通过对指标进行关联性检查发现潜在的数据质量问题，相关到评估结果以作

26、为系统质量改进的参考和依据。l 数据质量报告：数据质量报告是对数据质量管理各环节累积的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程，基本功能主要包括：报告生成、报告发布、报告查询和报告归档。l 数据质量问题处理：数据质量问题处理是按照问题处理流程对系统监控所发现的问题以及手工提交的问题进行处理的过程，包括问题生成、问题分析、问题处理（包括流转）和问题总结。l 数据质量知识库：数据质量知识库作为经营分析系统知识库的一部分，包括知识产生和知识应用。l 数据质量对外服务：数据质量对外服务负责数据质量管理子系统与外部系统的信息交互。功能层的详细说明与要求，详见第6章。4. 应用层在数据质量管

27、理子系统功能层的支持下，应用层为数据质量管理各环节管控和处理提供具体应用解决方案，主要包括源系统变更协同管理、源系统数据质量稽核、一经上传数据质量监控、经营分析系统应用数据质量监控、客户信息主题评估、计费账务数据主题评估、数据质量监控知识应用和问题处理知识应用等。5.2. 系统技术结构数据质量管理子系统的技术结构包括数据质量存储库、功能组件、数据质量控制台和数据质量对外服务接口等部分，如图 52所示。图 52 数据质量管理子系统技术结构图1. 功能组件数据采集组件：数据采集组件是构成系统的重要组件。外部数据源系统的数据文件通过接口机进入省级经营分析系统，并经过数据源系统接口传输、ETL处理、仓

28、库处理过程、数据集市处理、一级经营分析系统接口抽取和前端应用处理等环节。在每个数据处理环节中，均需要部署数据质量数据采集点，执行与处理环节相关的数据采集功能。采集到的数据存储在数据质量存储库中，并作为监控检查的输入。除数据采集组件外，功能组件还包括如源系统变更管理、数据质量监控、问题处理、数据质量报告、数据质量评估和知识库等组件。功能组件同时负责与外部模块的交互，包括：l 与元数据管理模块的交互：元数据管理模块记录经营分析系统的数据模型、数据转换关系、指标统计口径、数据来源、数据约束关系和数据处理过程等元数据信息，这些信息用于支持数据质量管理子系统完成数据质量监控、数据质量报告、数据质量评估和

29、管理功能；l 与工作流引擎的交互：源系统变更协同管理和数据质量问题处理等模块调用工作流引擎实现源系统变更协同任务管理和数据质量问题处理工单的流转；l 与规则引擎的交互：数据质量采集、稽核和检查、告警和评估等可以使用规则引擎进行规则管理和调度。2. 数据质量控制台数据质量控制台是管理人员操作的界面，如数据质量管理员通过控制台查看数据质量检查结果信息，对稽核规则、检查规则、告警规则、评估规则与采集代理进行管理和配置等。控制台界面可以通过Portlet/iFrame等方式嵌入到经营分析系统门户中。3. 数据质量对外服务接口对外服务接口是数据质量管理子系统提供给经营分析系统门户或其它系统使用的服务接口

30、通过接口调用可以实现数据质量信息查询以及数据质量问题交互等。对外服务接口依赖功能组件实现。4. 数据质量存储库存储数据质量的监控和评估的规则或模型，存储数据质量的告警、评估和问题处理相关信息，存储数据质量变更协同管理、监控和问题处理知识。6. 系统功能数据质量管理子系统主要功能包括：源系统变更协同管理、数据质量监控、数据质量问题处理、数据质量评估、数据质量报告、数据质量知识库和数据质量对外服务等。6.1. 源系统变更协同管理源系统的业务流程变更或库表、维度和接口等内容变更，会引起经营分析系统的数据质量问题。源系统变更协同管理调用元数据管理模块相关分析功能对源系统变更信息进行影响评估，并将变更

31、信息及时告知数据质量管理人员，避免数据源变更引起的经营分析系统数据质量问题。源系统变更协同管理包括变更受理、变更分析、变更确认和变更上线等主要操作环节，如图 61所示。其中，变更受理是通过在线录入或系统接口方式获取源系统变更信息；变更分析是数据质量管理人员和经营分析系统运维人员根据接收的变更信息，调用元数据管理模块的影响分析和血缘分析等相关分析功能，分析源系统变更对经营分析系统的影响，并通过数据质量报告模块提供的报告功能，形成变更影响分析报告；变更确认是根据变更分析结果，进行变更会签和实施工单派发；变更上线是执行变更后，经营分析系统根据变更情况实施变更备案和元数据维护。此外，当源系统变更信息到

32、来，发出变更通知时，将形成一个源系统变更协同任务，源系统变更协同管理模块将通过任务管理，调用工作流引擎实现对变更任务的管理。下面就源系统变更协同管理的管理范围、受理接口和任务管理三个方面进行说明。 图 61 源系统变更协同管理6.1.1. 管理范围源系统变更协同管理范围包括但不限于：源系统库表的新增、删除和修改等变更,源系统侧接口单元文件的新增、删除和修改等变更,维表数据新增、删除和修改等变更。具体而言，源系统变更管理包括对变更对象和变更类型两方面的管理。l 变更对象包括源系统库表、接口单元、维度和业务统计规则等内容。l 变更类型包括增加、删除和修改，也包括已存在对象状态的变更，如启用或停用等

33、6.1.2. 受理接口源系统对经营分析系统产生影响的变更应在变更实施前通知经营分析系统运维人员或数据质量管理人员。经营分析系统可通过人工录入源系统变更信息的方式或通过和BOMC等系统互通的方式获取源系统变更信息。因此，数据质量管理子系统可通过人机接口和系统接口两种方式受理源系统提交的变更信息。源系统提交的变更信息，应包括变更内容的基本信息和相关说明。源系统变更信息提交模版示例如表 61所示。表 61 源系统变更信息提交模版示例需求基本信息变更需求名称填写本次变更需求的名称，如：全球通套餐变更源系统名称填写提出变更的源系统，如：BOSS预计变更时间本次预计变更的日期时间备注填写备注说明，如：调

34、整目前全球通套餐变更内容信息1、库表结构变更：本类变更适用于源系统对数据库表的表结构进行修改的情况。变更类型变更操作的类型，如：增加字段变更对象以“Catalog.Schema.Table.Column”的格式填写字段属性提供字段的全量属性组的信息，包括：物理字段名、逻辑名称、长度、类型、含义描述备注填写备注说明2、编码变更：本类变更适用于在需要对编码表进行调整的情况。变更类型变更操作的类型，如增加编码/修改编码/删除编码变更对象以“Catalog.Schema.Table.Column”的格式，提供用于存储实现该编码的数据库字段编码属性组编码值、编码含义、编码长度引用编码对象组以“Catal

35、og.Schema.Table.Column”的格式，提供引用了该编码的实体数据表的字段对象备注填写备注说明3、其他变更：本类变更适用于源系统需要调整编码，但又未使用编码表等方式进行独立管理的情况。变更对象以“Catalog.Schema.Table.Column”的格式，提供变更对象的唯一标识变更说明以描述性语言说明变更内容，例如：SIM卡长度发生变化备注填写备注说明l 人机接口变更协同管理模块应提供人机交互界面，用户可在线编辑变更内容并提交变更清单及说明。人机接口应简洁直观、易于使用，支持对变更清单的新建、保存、修改和删除等基本操作。人机接口可在变更协同管理模块中提供，也可通过嵌入BOMC

36、或需求管理平台等第三方系统的方式，使源系统运维人员能够通过界面进行变更需求提交，人机接口需求发起界面示例如图 62所示。图 62 人机接口示例接口运维人员、经营分析系统运维人员通过界面查看需求变更任务列表，执行协同管理流程，任务列表查看之界面示例，如所图 63示。图 63 人机接口示例-任务列表l 系统接口变更内容的系统接口是以文件形式向变更协同管理模块提交变更清单及说明。系统接口可采用XML文件格式实现。源系统侧可以由BOMC或需求管理平台等第三方系统通过系统接口提交变更清单及说明。系统接口XML文件格式示例，如图 64所示。图 64 系统接口文件示例6.1.3. 任务管理当变更信息输入源系

37、统变更协同管理模块后，将生成相应的变更协同任务。任务管理应该提供如下功能：l 任务列表及条件查询列出当前系统中全部变更协同任务。任务描述应包括但不限于以下信息：任务当前所处流程环节、状态描述、任务发起源系统和发起时间等。提供对变更协同任务进行条件查询的功能，条件可包括：变更发起时间、变更对象、来源系统、评估人和任务状态等。l 变更协同任务状态变更任务状态将根据变更任务的执行情况进行变更，任务状态可包括但不限于：待评估、已评估、已上线和关闭等。l 变更协同任务分析调用元数据管理模块的影响分析和血缘分析等功能进行经营分析系统影响分析，形成变更影响分析报告。6.2. 数据质量监控数据质量监控是根据预

38、先配置的规则或算法，进行监控数据采集和规则校验，并依据稽核和检查过程中发现的数据质量异常情况进行告警和拓扑呈现的过程。数据质量监控由九个主要功能环节构成，包括数据采集、源系统关键数据稽核、源系统维表稽核、数据实体检查、处理过程检查、关键指标检查、告警管理、拓扑呈现和规则配置。数据质量监控流程如图 65所示，下面对每个功能环节分别进行说明。图 65 数据质量监控流程6.2.1. 数据采集数据质量子系统的监控数据来源于数据质量采集模块。采集模块采集到的信息作为后续数据质量检查环节的输入，是数据质量监控的基础。6.2.1.1. 数据采集范围根据数据质量子系统监控需要，在数据源系统和经营分析系统数据处

39、理的相关环节配置采集点，采集数据质量监控信息。数据源系统的质量信息包括：源系统关键业务指标、源系统维表数据等；经营分析系统数据处理环节包括：数据源系统接口传输、ETL处理、仓库处理过程、数据集市处理和一级经营分析系统接口抽取等。采集点在经营分析系统中的分布如图 66所示。图 66 经营分析系统信息采集点分布图6.2.1.2. 数据采集功能要求l 部署采集代理程序，采集数据源系统的监控数据或接口文件，实现数据采集；l 采集服务器保管采集配置数据，采集代理从服务器获取相关的采集配置信息；l 采集代理负责采集监控数据，将采集的数据转成数据质量平台的数据格式，用于监控规则的校验；l 采集服务器应可以对

40、采集代理进行集中的管理；l 数据采集需覆盖数据源系统和经营分析系统数据处理过程的所需环节；l 数据采集需满足时效性要求。如数据装载过程执行完后即采集该过程的处理状态；l 数据采集应满足负载性要求，即要求对采集对象系统的负载压力在可允许范围内。6.2.2. 源系统关键数据稽核源系统关键数据稽核是对源系统传输到经营分析系统侧的源接口文件及数据、关键表关键字段和关键指标进行数据稽核，验证数据的差异性及波动性。源系统关键数据稽核的目的是尽早发现数据是否存在异常，及早做出应对，减少对经营分析系统的影响。源系统关键数据稽核分为源接口文件级及记录级检查、源接口关键字段波动稽核、源系统关键指标比对和源接口一经

41、校验规则计算四部分内容。6.2.2.1. 源接口文件级及记录级检查源文件接口检查环节主要包括文件级检查和记录级检查。其中，文件级检查主要包括对文件传送及时率、文件传送完整率、文件记录合法率和文件加载正确率等的检查。记录级检查主要包括对经营分析系统数据接口层表加载记录数与实际接口数据文件中记录行数的一致性检查等。如果上述检查过程中，发现和配置的检查规则不一致的情况时，应向告警管理模块提交相应的告警信息，以发出告警通知并按需触发问题处理流程。6.2.2.2. 源接口关键字段波动稽核源接口关键字段波动稽核要求对经营分析系统数据层关键表中关键字段汇总值进行波动分析，可采用同比和环比等方式，校验数据波动

42、性，确认所传数据是否正确。如果在波动检查过程中，发现和配置的检查规则不一致的情况时，应向告警管理模块提交相应的告警信息，以发出告警通知并按需触发问题处理流程。经营分析系统源接口关键字段波动稽核范围示例如表 62所示。表 62 源接口关键字段波动稽核范围示例关键表类别关键表关键字段运算过程客户管理类客户客户标识计数集团客户集团客户标识大客户用户标识计费账务类综合账单应收金额求和社会渠道业务情况缴费额GSM/TD普通语音话单基本通话费普通短信话单通信费6.2.2.3. 源系统关键指标比对源系统关键指标比对要求源系统和经营分析系统分别按统一业务规则对关键业务指标进行汇总，由经营分析系统实现对两者关键

43、业务指标汇总值的比对验证，验证其结果差异性和波动性，具体要求如表 63所示。表 63 关键业务指标列表核心指标类别日接口月接口客户管理类客户到达数客户到达数新增客户数新增客户数离网客户数离网客户数计费账务类本日收入本月收入GSM/TD语音清单记录数普通短信清单记录数MMS清单记录数GSM/TD语音业务基本计费时长短信计费量彩信计费量移动数据流量关键指标比对过程中，如果发现和配置的稽核规则不一致的情况时，应向告警管理模块提交相应的告警信息，以发出告警通知并按需触发问题处理流程。由于源系统数据处理时间与经营分析系统数据处理时间不同，故允许指标比对结果存在一定误差，允许的误差范围可由根据情况由数据质

44、量管理人员确定。比对验证结果示例如表 64所示。表 64 关键指标告警比对验证结果示例BOSS-BASS当日上传指标比对验证结果月份指标描述一致性波动性告警级别源系统运维人员经营分析系统运维人员20100411客户到达数一致正常不告警无无20100411新增客户数一致异常一般告警短信通知短信通知20100411短信计费量不一致正常一般告警短信通知短信通知20100411彩信计费量不一致异常严重告警短信通知短信通知6.2.2.4. 源接口一经校验规则计算源接口一经校验规则计算指将在中国移动一级经营分析系统接口层进行校验的业务规则前移到经营分析系统数据层进行校验，以提前发现数据质量问题。要求源系统

45、侧每日通过系统接口传送给经营分析系统的数据必须满足以下一级经营分析业务逻辑规则。在校验过程中，如果发现规则不满足，应向告警管理模块提交相应的告警信息，以发出告警通知并按需触发问题处理流程。校验规则内容要求如表 65所示。表 65 一经重点指标校验规则规则类别审核公式涉及一经接口计费账务类国内漫游情况下，话单中拨打国内长途时的长途费用为零21003 GSM普通语音业务月使用21006 智能网语音业务月使用业务办理笔数缴费笔数22054 实体渠道月汇总客户管理类大客户/大用户表中成为大用户日期，应晚于用户表中该用户的入网时间02005 大客户/大用户02004 用户（集团统付账单）接口中的“集团客户标识”字段应该存在于（集团客户）接口的“集团客户标识”中01004 集团客户 03013 集团统付账单入网日期在1990年以前的