《ECIFETL总体设计说明书V01 1209.doc》由会员分享，可在线阅读，更多相关《ECIFETL总体设计说明书V01 1209.doc（25页珍藏版）》请在三一文库上搜索。
1、中国大地财产保险股份有限公司中国大地财产保险股份有限公司 企业级客户信息管理平台项目（企业级客户信息管理平台项目（ECIFECIF） ETLETL总体设计说明书总体设计说明书 文档修订记录表文档修订记录表 版本号版本号作者作者操作操作日期日期说明说明 目目 录录 第第 1 1 章章 引言引言.4 4 1.1编写目的 .4 1.2预期读者 .4 1.3定义 .4 1.4参考资料 .4 第第 2 2 章章 ETLETL 设计目标和原则设计目标和原则 .5 5 2.1系统目标 .5 2.2数据目标 .5 2.3功能目标 .5 2.4设计原则 .5 第第 3 3 章章 开发工具选择开发工具选择.6 6
2、 3.1开发工具比较 .6 3.1.1ETL Plus .6 3.1.2存储过程 .6 3.1.3Unix Shell .7 3.2开发工具选择结论 .7 第第 4 4 章章 ETLETL 开发流程设计开发流程设计 .8 8 4.1数据分析 .8 4.2开发流程 .8 4.3测试流程 .10 4.4上线流程 .11 第第 5 5 章章 ETLETL 总体设计总体设计 .1212 5.1ETL 总体逻辑架构.12 5.2ETL 关键任务设计.13 5.3ETL 调度控制设计.15 5.3.1实现目标 .16 5.3.2触发动作 .16 5.3.3检查运行环境 .16 5.3.4执行作业 .17
3、5.3.5调度配置 .17 5.3.6日志记录 .18 5.3.7系统参数 .18 5.4ETL 备份 作业类型：SqlLoad Job、SP、可执行文件等; 所属作业组：该作业所属作业组; 触发作业：说明该作业完成后触发的后续作业。 作业启动时间：设定作业的启动时间，或根据设定的触发条件刻启动该作业 5.3.65.3.6 日志记录日志记录 整个调度过程会记录每个任务执行的开始时间、结束时间、执行的状态等。同时 要求，每个任务依据情况详细记录其日志。 管理人员可通过日志监控整个 ETL 调度的执行状态。 5.3.75.3.7 系统参数系统参数 为了提高 ETL JOB 的灵活性，需要设置一些公
4、共的环境参数供 ETL JOB 在运行过程 中动态使用，这些参数在运行过程中可以由运行人员根据实际的运行情况进行调整。 以下是 JobParams.cfg 文件中的部分参数定义列表 参数名称说明 WORKDATE 当前 ETL 数据日期，格式 yyyymmdd ETLDAT EXF 文件的存放目录 DBNAME 目标库的数据库名 DBUSR 目标库用户 ID DBPWD 目标库用户密码 5.45.4 ETLETL 备份备份& &恢复设计恢复设计 5.4.15.4.1程序备份程序备份 手工定期进行程序备份、数据库存储过程备份、SqlLoad Project 备份 5.4.25.4.2数据文件备份
5、数据文件备份 源系统抽取后的数据接口文件保留前三次的接口文件备份。超过三次以前的接口 文件手工删除或手工备份到磁带。 5.4.35.4.3日志文件备份日志文件备份 手工定期进行日志文件备份 5.55.5 ETLETL 测试设计测试设计 5.5.15.5.1ETLETL 功能测试功能测试 5.5.1.15.5.1.1模块功能模块功能 功能模块功能子模块测试指标测试方法 源文件监控与 检核 文件是否正常 是否遗漏文件 记录数及文件大小是 否符合 可在较小的时间窗口内轮 询，分批放入测试文件 ETL 数据处理 数据清洗清洗是否成功 是否有干净数据被清 洗 性能是否满足要求 针对不同清洗规则，选择 若
6、干数据文件进行测试 文件监控是否有遗漏文件未监 控 作业监控能否正确捕捉作业的 执行状态，统计信息 是否正确 ETL 监控 资源监控资源是否能有效获取 数据库监控数据库信息是否能有 效获取 5.5.1.25.5.1.2调度功能调度功能 测试内容测试指标测试方法 ETL 调度是否正确执行调度任务，参数 传递是否正确，Job 是否按照 预定顺序执行，调度序列是否 正确。作业之间的依赖关系是 否正确 5.5.25.5.2数据准确性测试数据准确性测试 5.5.2.15.5.2.1准确性测试的原则准确性测试的原则 模型对数据处理的要求，体现在 Mapping 文档中，应当依据 Mapping 文档对处理
7、 的诠释，进行数据准确性测试 需制定完整的指标检核体系，应当依据这套检核指标体系进行数据准确性测试 5.5.2.25.5.2.2准确性测试的方法准确性测试的方法 数据准确性主要由用户测试进行保证，用户测试的方法请参考用户测试相关文档 5.5.35.5.3性能测试性能测试 5.5.3.15.5.3.1测试方法测试方法 统计各作业的运行时间，调整作业依赖关系及串并行关系 监控主机资源、数据库资源利用状况 5.5.3.25.5.3.2调优原则调优原则 充分利用主机资源 调整数据库参数配置 调整 SqlLoad Job 开发逻辑 调整 SP 开发逻辑 第第 6 6 章章ETLETL 开发规范开发规范
8、6.16.1 ETLETL 程序开发规范程序开发规范 为了提高 ETL 的开发质量，降低开发周期，增强代码的可重用性和易读性，使程 序便于维护，开发人员间便于交流和协作，需指定 ETL 的开发规范，在本项目中包 含 ETL Plus、Oracle PL/SQL、Shell 三种开发规范，请参看相应文档。 6.26.2 目录及权限定义规范目录及权限定义规范 开发、测试环境的目录如下： 目录目录说明说明 /ECIFETL ECIF 项目 ETL 根目录 /ECIFETL/ DAT/WORKDATE 存放 ETL 过程生成的 DAT 文件 /ECIFETL/TMP 存放 ETL 过程生成的临时文件
9、/ECIFETL/Script 存放 Script 程序 /ECIFETL/PARA 存放参数配置文件 /ECIFETL/LOG 存放日志文件 数据库用户及权限安排如下： 用户用户权限权限 ECIF_own 接口库和集市库所有者 ECIF_etl 接口库和集市库读写权限，主要供 ETL 过程使用 ECIF_dm 集市库读写权限，主要供分析过程使用 ECIF_qry 接口库和集市库只读读权限，供普通用户查询用 6.36.3 文件格式定义规范文件格式定义规范 6.3.16.3.1日志文件格式定义规范日志文件格式定义规范 日志文件应记录作业的类型，作业运行的时间，日志信息的类型（一般信息，警 告信息，错误信息）等，具体设计请参看详细设计文档。 6.3.26.3.2源数据文件格式定义规范源数据文件格式定义规范 请参考xxx.doc 。