元数据管理系统MetaCube管理员手册V0.docx

上传人:夺命阿水 文档编号:40677 上传时间:2025-07-09 格式:DOCX 页数:140 大小:6.45MB
下载 相关 举报
元数据管理系统MetaCube管理员手册V0.docx_第1页
第1页 / 共140页
元数据管理系统MetaCube管理员手册V0.docx_第2页
第2页 / 共140页
元数据管理系统MetaCube管理员手册V0.docx_第3页
第3页 / 共140页
元数据管理系统MetaCube管理员手册V0.docx_第4页
第4页 / 共140页
元数据管理系统MetaCube管理员手册V0.docx_第5页
第5页 / 共140页
点击查看更多>>
资源描述

1、元数据管理系统(MetaCube)管理员手册(V6.0)2015年目 录1简介11.1使用者11.2手册目的11.3手册范围11.4编写规范说明11.5相关术语12使用Metacube指引22.1产品概述22.2指引概述22.3元数据来源说明32.4登录MetaCube42.4.1Cookies42.4.2修改密码42.5交互界面说明42.5.1交互区域说明42.5.2首页说明72.6配置MetaCube72.7数据地图创建及调整72.8为采集个性化元数据定制模板72.9为采集已有模板数据做模板映射82.10从各类元数据源中采集元数据82.11如何采集数据库中的记录作为元数据82.12通过元数

2、据映射建立元数据之间关系82.13使用系统视图组织元数据82.14如何进行元模型管理82.15如何进行权限管理92.16如何进行系统管理93数据地图创建及调整93.1数据地图概述93.2数据地图创建93.2.1增加系统层次元数据93.2.2增加系统元数据113.2.3建立系统和数据库之间关系113.2.4MetaCube自动建立数据库和数据库以及系统和系统之间关系123.3数据地图位置调整及保存123.4数据地图的下钻134采集模板管理144.1采集模板管理概述154.2模板定制管理154.2.1定制模板154.2.2删除模板184.3模板映射管理184.3.1查看模板映射184.3.2创建模

3、板映射184.3.3修改模板映射234.3.4删除模板映射245元数据采集管理245.1元数据采集管理概述245.2适配器255.2.1适配器查询275.2.2适配器查看285.3数据源295.3.1数据源查询295.3.2数据源创建305.3.3数据源修改635.3.4数据源删除645.3.5数据源授权655.4任务配置675.4.1任务查询675.4.2增加任务685.4.3修改任务695.4.4删除任务705.4.5调整时间715.4.6任务挂起/继续795.4.7立即运行805.5手动采集805.5.1采集本地文件815.5.2采集服务器文件875.5.3操作要点905.6采集入库审核

4、 925.6.1元数据审核935.6.2审核元数据树945.6.3审核元数据关系955.6.4数据入库955.7采集日志965.7.1日志查询965.7.2日志查看975.8DB数据采集配置985.8.1增加库表映射985.8.2修改库表映射1005.8.3删除库表映射1005.9数据源映射管理1005.9.1新增数据源映射1005.9.2修改数据源映射1015.9.3删除数据源映射1016系统视图管理1026.1系统视图查询1036.2系统视图定制1046.3新增/删除视图1056.4新增/删除文件夹1066.5重命名视图1086.6重命名文件夹1096.7装入/删除结点1116.8视图授权

5、1156.9视图排序1177元模型管理1187.1元模型概念简述1187.2元模型管理使用说明1197.2.1交互区域说明1197.2.2元模型创建过程1197.3创建和编辑元模型1217.3.1包管理1217.3.2类管理1287.3.3数据类型管理1378权限管理1408.1用户管理1408.1.1用户查询1418.1.2用户维护1418.1.3分配角色1428.1.4重置密码1438.2角色管理1438.2.1角色查询1448.2.2角色维护1448.2.3分配用户1458.2.4分配菜单1468.2.5分配资源1478.3机构管理1508.3.1机构查询1508.3.2机构维护1508

6、3.3分配用户1528.3.4查看机构树1538.4菜单管理1548.4.1菜单查询1548.4.2菜单维护1548.4.3复制菜单1569系统管理1569.1系统配置1569.1.1系统首页界面选项1569.1.2系统用户认证选项1579.1.3系统功能参数设置1579.1.4服务器目录设置1579.1.5邮件服务器设置1579.1.6采集适配器配置1579.1.7系统LOGO图片选项1579.2系统参数1579.2.1参数查询1589.2.2参数维护1589.2.3维护参数明细1599.3系统日志1609.3.1功能描述1609.3.2系统日志查询1619.4在线用户1619.4.1功能

7、描述1619.4.2在线用户查询1629.5修改密码1629.5.1功能描述1629.5.2修改密码1629.6刷新内存1621 简介1.1 使用者 元数据管理系统管理员 数据管控人员1.2 手册目的本手册的目的在于向元数据管理系统(以下简称本系统)的使用者介绍,本系统提供了哪些功能,以及如何正确地、有效地来使用这些功能。1.3 手册范围本手册首先简要地介绍本系统结构以及软件环境,然后说明本系统为使用者提供的各项功能及其详细的操作步骤。1.4 编写规范说明 对于外部输入的数据,采用“”标注,如输入“测试数据” 对于MetaCube中文本框等组件抬头显示标题,采用表示,如:上下文路径信息 对于M

8、etaCube中的按钮,采用【】表示,如:【保存】 对于有需要注意的地方,采用加粗注意表示:注意 对于有相关链接的地方,采用加粗相关链接表示:相关链接1.5 相关术语 MetaCube Unified Metadata Management 元模型用于描述元数据的结构和关系的数据模型。 元数据关于数据的数据,描述数据及其环境数据。包括业务元数据、技术元数据、管理元数据。 属性 指元模型或元数据的属性。 元模型关系指元模型之间的依赖关系、组合关系。 元数据关系指元数据之间的依赖关系、组合关系。 依赖关系对于两个相对独立的元数据,当一个元数据引用了另一个元数据时,这两个元数据之间主要体现为依赖关系

9、 组合关系一种强关联关系,是整体和个体的关系,且整体和个体分属不同层,且整体的对象负责代表个体对象的生命周期。 影响分析指为向用户直观展示元数据之间的流向关系而进行的以目标为起点往后分析。 血统分析指为向用户直观展示元数据之间的流向关系而进行的以目标为起点往前分析。 全链分析 指为向用户直观展示元数据之间的流向关系而进行的以目标为起点往前后总体分析。 目标对象指在元数据关系中源元数据指向的对象。 模板用于元数据导入和采集的模板。 采集将元数据通过接口导入到元数据存储库的过程。 自动采集通过调度方式定时采集元数据的过程。 手动采集元数据操作人员通过元数据管理操作界面对元数据进行采集的过程。 适

10、配器元数据对采集是通过统一接口来导入数据的,为了能够导入不同数据源或数据载体的元数据,需要针对不同的数据源或数据载体提供数据适配,来屏蔽元数据采集存储端对不同数据源或数据载体的变化。 元数据版本管理元数据针对不同时期,会有变化,为了管理这个变化,需要建立元数据的版本管理,用于记录版本和变化轨迹。2 使用MetaCube指引2.1 产品概述MetaCube是一款基于WEB方式的元数据管理工具,采用这个工具能够整合游离于企业各环节的元数据资产,便于用户浏览及分析元数据。MetaCube有助于帮助用户了解和管理信息和加工处理过程的来源,也有助于用户理解信息与加工过程之间的关系以及它们如何被使用。Me

11、taCube支持采集多种元数据来源,包括:关系数据库、建模工具、数据集成工具、BI工具以及客户化元数据等多种元数据来源,MetaCube对采集的元数据进行统一存储到MetaCube知识库并集中管理,为上层元数据应用提供服务。MetaCube采用元数据树方式来统一展示MetaCube知识库的元数据,层级结构清晰,便于用户直观了解元数据组织结构。2.2 指引概述对于管理员,您能够在MetaCube中完成以下工作: 配置MetaCube 数据地图创建及调整 为采集个性化元数据定制模板 为采集已有模板数据做模板映射 从各类元数据源中采集元数据 如何采集数据库中的记录作为元数据 通过元数据映射建立元数据

12、直接关系 使用系统视图组织元数据 如何进行元模型管理 如何进行权限管理 如何进行系统管理2.3 元数据来源说明下表列出了MetaCube支持的元数据来源:序号元数据来源类型元数据来源1关系数据库Oracle、SQL Server、DB22建模工具ERWin、PowerDesinger3数据集成工具Datastage、PowerCenter4BI工具Cognos、BI.Office、BO5调度工具Automation6开发语言及脚本Perl(日志方式)、SP(注释方式)7客户化元数据EXCEL数据、关系数据库数据8 大数据HadoopHive、Hbase2.4 登录MetaCube在登录之前您必

13、须有一个MetaCube的用户账号,当您登录MetaCube之后,MetaCube会自动创建一个Cookie。在您登录之后您可以修改您的密码并进行其它相关操作。登录MetaCube步骤:1. 打开IE浏览器或FireFox浏览器。2. 在地址栏中输入MetaCube的登录页面URL: http:/:/dgs,其中代表部署MetaCube应用的主机名或IP以及端口号,输入回车之后出现MetaCube的登录页面3. 输入登录名和密码,如果需要全屏打开MetaCube则勾选“全屏打开”。4. 点击【确定】。2.4.1 Cookies在您登录MetaCube时,MetaCube会创建一个用于验证用户和

14、密码的Cookie。如果您在cookie过期之前访问MetaCube,MetaCube会使用cookie中自带的认证信息让您能顺利登录MetaCube。如果您选择了退出系统或在cookie过期之前没有访问MetaCube,则cookie会自动失效,则除非您重新输入登录名和密码,否则您无法登录MetaCube。2.4.2 修改密码修改密码步骤:1. 点击“高级功能”-“系统管理”- “修改密码”。出现修改密码页面。2. 输入原密码。密码最大长度不超过50字符3. 输入新密码并确认输入新密码。4. 点击【修改】。2.5 交互界面说明2.5.1 交互区域说明MetaCube交互区域说明如下:Meta

15、Cube交互区域主要包括抬头信息区域、Tab区域、主展示区域、说明区域,以下进一步说明。2.5.1.1 抬头信息区域MetaCube的抬头信息区域主要包括产品Logo、登录信息、退出系统、系统主题。在需要重新登录或离开系统时点击退出系统,MetaCube会清除系统中的Cookie信息。元数据系统主题切换功能,可通过两种方式进行:1. 用户直接从系统页面右上角自行选择主题颜色进行切换;2. 系统管理员通过系统配置选择系统主题颜色;此方式所选中的主题将设定为系统默认主题。3. 元数据系统提供七套主题,以供用户自行选择;七套主题分别是:系统默认()、清爽天空()、香远逸清()、雪后青山()、简单简约

16、姹紫嫣红()、山谷幽兰()注意:(1) 如果本产品与其它系统集成,则本区域有可能被屏蔽。(2) 产品的Logo可通过系统设置修改。2.5.1.2 Tab区域MetaCube的Tab区域主要包括浏览、查询、高级功能: 浏览:元数据树方式浏览元数据,是浏览及编辑元数据及其相关详细信息的入口,并且在元数据详细信息页面中提供版本管理及分析功能;在浏览Tab中提供的快捷方式有:新建元数据、切换视图、刷新、切换名称、定位。 查询:提供按数据范围的模糊查询功能,支持通用查询和高级查询的切换。 高级功能:在此Tab种主要提供使用元数据的功能,包括:元数据分析、视图管理、元数据变更订阅、元数据检索、元数据

17、导出等功能,并提供的快捷方式有:我的视图、元数据采集、元模型管理。注意:Tab区域和主展示区域可通过下图中红框的按钮调整区域大小:2.5.1.3 主展示区域主展示区域为MetaCube与您的主要交互区域,其中包括首页信息、元数据详细信息及相关操作展示、查询结果展示、高级功能中功能操作展示等。2.5.1.4 说明区域说明区域为说明信息。注意: 如果本产品与其它系统集成,则本区域有可能被屏蔽,可通过系统设置是否展示。2.5.2 首页说明首页主要内容包括元数据查询、元数据系统主要功能快捷链接。 元数据查询是在查询框输入查询内容,快速搜索元数据。 元数据系统主要功能快捷链接是提供快速打开某一页面的链接

18、2.6 配置MetaCube部署好MetaCube之后,为正常使用MetaCube,您可对MetaCube进行系统配置,配置的内容包括:系统首页配置、系统权限集成配置、文件目录等参数配置、邮件服务设置、采集适配器配置、系统LOGO配置等。相关链接:系统配置2.7 数据地图创建及调整为展示数据地图,您可通过两种方式创建数据地图:WEB编辑元数据方式和通过模板采集元数据方式。通过数据地图的创建及调整,您可从宏观角度展示系统以及系统之间数据流向关系,并支持从系统到数据库的下钻及相关信息的展示。相关链接:数据地图创建及调整2.8 为采集个性化元数据定制模板为采集个性化的元数据,您可通过模板定制管理功

19、能定制采集模板,手工在采集模板中填入好元数据,通过元数据采集管理采集元数据,请参见元数据采集管理。相关链接:模板定制管理2.9 为采集已有模板数据做模板映射对于已有的数据模板,您可使用模板映射管理功能定制好通过映射方式采集已有数据模板的元数据,定制好映射之后,通过元数据采集管理采集已有数据模板的元数据,请参见元数据采集管理。相关链接:模板映射管理2.10 从各类元数据源中采集元数据对于游离于企业各环节的元数据资产,您可使用元数据采集功能从多类元数据源中抽取元数据,以存储到MetaCube统一集中管理。MetaCube支持的元数据源包括:关系数据库、建模工具、数据集成工具、BI工具以及客户化元数

20、据等多种元数据来源。相关链接:元数据采集管理2.11 如何采集数据库中的记录作为元数据对于在数据库中有些表存储的数据就是元数据,您可通过DB数据采集配置直接采集数据库中的记录。相关链接: DB数据采集配置2.12 通过元数据映射建立元数据之间关系企业元数据资产存在同一元数据流经不同数据层的情况以及元数据在设计和实现不同的生命周期中有不同的存在形式情况,为建立不同数据层、不同生命周期的同一元数据的关系,引入元数据映射管理概念,其目标是通过配置目录之间的映射关系,在有映射关系的目录下如果元数据的代码相同则认为是同一元数据。相关链接: 映射管理2.13 使用系统视图组织元数据为便于操作用户对Meta

21、Cube知识库中的元数据有更好的理解和分类,您可通过系统视图对原始采集的元数据从分类角度重新组织,组织好的系统视图通过授权可提供给不同角色。相关链接:系统视图2.14 如何进行元模型管理MetaCube采用元模型来定义元数据,对于需要采集个性化的元数据,您可通过元模型管理功能对个性化元数据进行定义,包括增加包、类、属性、数据类型等要素,如果需要对建立的元模型进行调整,您也可以通过元模型管理功能对元模型的各类要素以及相关的属性进行调整。相关链接:元模型管理2.15 如何进行权限管理您可通过本模块对用户、角色、机构、菜单进行管理。相关链接:权限管理2.16 如何进行系统管理您可通过本模块对系统参数

22、系统日志、在线用户、修改密码等进行管理。相关链接:系统管理3 数据地图创建及调整通过本章您可了解到如下内容: 数据地图概述 数据地图创建 数据地图位置调整及保存3.1 数据地图概述数据地图为您从宏观角度展示系统以及系统之间数据流向关系,并支持从系统到数据库的下钻及相关信息的展示。通过WEB方式编辑元数据或通过模板方式采集元数据都可进行元数据创建;对于创建好的初始数据地图,如果您不满意数据地图的布局,可通过数据地图位置调整及保存来调整数据地图;对于数据地图中单节点的信息可通过双击节点展示数据地图节点详细信息;双击两个系统节点之间连线上的锚点可下钻到这两个节点下的数据库之间关系。3.2 数据地图

23、创建您可通过两种方式创建数据地图:WEB编辑元数据方式和通过模板采集元数据方式;以下主要介绍WEB编辑元数据方式,模板采集元数据方式需要先制定模板并通过模板映射采集元数据,请参见采集模板管理3.2.1 增加系统层次元数据如果没有系统层次元数据,您可按以下步骤增加系统层次元数据1. 在高级功能Tab中点击:系统视图-管理视图-添加2. 增加系统层次元数据,系统层次元数据元模型:应用包-系统包-系统层次3. 点击【保存】4. 在高级功能Tab中点击:系统视图-管理视图,把根元数据拖入到右侧的系统信息视图下:3.2.2 增加系统元数据1. 在浏览Tab中,数据树上的“业务生产系统”节点,进入元数据详

24、细页面:2. 展开系统层次元数据详细页面中,点击,增加系统元数据,如果有多个系统则选择在相应的系统层次元数据下添加多个系统元数据3.2.3 建立系统和数据库之间关系在创建好系统元数据以及采集好数据库元数据之后,可建立系统和数据库之间的关系,您可按以下步骤操作:1. 在浏览Tab中,点击元数据树上的系统元数据节点,进入元数据详细页面:2. 点击,建立数据库和系统的关系。3. 选择数据库,点击。4. 继续建立所有系统和数据库之间关系3.2.4 MetaCube自动建立数据库和数据库以及系统和系统之间关系对于数据库和数据库以及系统和系统之间关系,MetaCube可自动通过后台汇总程序建立。3.3 数

25、据地图位置调整及保存在您准备好数据地图相关的元数据以及元数据之间关系之后,即可在首页中浏览数据地图的初始图形,初始图形是MetaCube通过图形算法自动生成,图形的位置不一定能满足您的要求,您可重新调整数据地图位置并保存,请按以下步骤操作:1. 选中图中需要调整位置的节点:2. 拖动节点到合适位置,继续调整其余节点到合适位置3. 系统层次内部节点也可做位置调整,方法类同4. 如果需要调整节点的大小,您可通过上下两个控制点 可用来调整高度,左右两个控制点可用来调整宽度5. 右键数据地图空白处,点击菜单中的“保存设置”项6. MetaCube提示“保存成功”注意:如果右键数据地图空白处,菜单中没有

26、保存设置”项,则需要申请管理员给自己的角色赋予数据地图保存权限,请参考角色管理3.4 数据地图的下钻为进一步查看两个系统之间所属数据库之间关系,您可通过双击两个系统节点之间连线上的锚点下钻到这两个节点下的数据库之间关系,可按以下步骤操作: 1. 登录产品,在首页中显示数据地图。2. 鼠标悬到两个系统之间的连线上,系统会自动显示锚点。3. 双击锚点,产品会展示两个系统所属数据库之间的关系。4. 为进一步查看数据库节点的详细信息,您可通过双击该节点,产品会打开单独的Tab页面展示该节点详细信息。5. 鼠标悬到两个库之间的连线上,系统会自动显示锚点。6. 双击锚点会打开单独的Tab页面,显示这两个

27、库之间表级间的关系以及他们之间的ETL作业。7. 选择表间关系的源schema分类,目标schema分类,源关键字,目标关键字,并点击查询按钮,可以对记录进行过滤。8. 点击表间关系记录上的链接,可以单独打开该元数据的详细信息Tab9. 点击表间关系记录上的下钻图片上的连接,可以下钻到该源表和目标表之间的字段级关系。10. 点击字段间关系记录上的链接,可以单独打开该元数据的详细信息Tab。备注:汇总下钻分析操作1. 执行关系汇总得到schemaschema和catlogcatlog的关系,如果有新的关系,则进行一次系统汇总。2. 系统汇总得到系统系统之间的关系。在数据地图上显示。3. 执行同步

28、分析数据得到影响分析和血统分析的来源数据。4. 执行同步数据地图规则,得到关系下钻的来源数据。以上几个系统会后台定时调度。如果显示的有问题可能是系统后台正在跑数据,请稍等片刻。也可以进入页面手动调度。4 采集模板管理通过本章您可了解到如下内容: 采集模板管理概述 如何通过模板定制管理定制采集模板 如何通过模板映射管理采集已有模板元数据 如何通过DB数据采集配置采集数据库中表的数据4.1 采集模板管理概述为更好支持离线的个性化的元数据采集,MetaCube提供了对离线元数据采集。对于已有数据模板,您可通过模板映射管理方式来采集元数据;对于没有数据模板,则可通过模板定制管理重新配置生成采集模板。4

29、2 模板定制管理对于一般类型的模板,元模型中每个“类”的元数据对应一个Excel中的Sheet工作表,元数据之间的组合关系通过被组合的元数据路径体现,元数据之间的依赖关系用专门的Sheet存放,这种类型的模板适用于系统所有元数据的导入导出,系统中的所有元模型(类)都可在本模板中体现。用户均可按需要灵活定制Excel中Sheet的名字、Sheet中列与元模型的对应关系,为了便于使用,按类的属性的数据类型在Excel中增加数据有效性验证。主界面如下:4.2.1 定制模板1 点击定制模板,显示页面如下:2 选择需要定制模板的数据源,点击 【下一步】显示元模型,页面如下:选择数据源使用的元模型,点击

30、下一步】显示如下:输入模板的编号,如果需要修改SHEET名字,选择需要修改的SHEET,然后点击修改SHEET名字按钮,显示如下:按确定按钮即可。如果需要设置SHEET的属性,首先选择SHEET名,然后点击设置属性(属性是在元模型中设定的),页面如下:设置完点击【确定】按钮即可。页面显示如下:根据需要点击【保存并下载】、【仅保存】按钮。修改模板操作同定制模板。4.2.2 删除模板1 选择需要删除的模板。2 点击【删除模板】按钮,提示删除信息。4.3 模板映射管理模板映射管理可以提供对按照一定格式组合的excel里数据进行元模型和数据映射,以供元数据管理系统按照模板映射的规则采集excel里记

31、录的元数据到元数据管理系统中。4.3.1 查看模板映射模板映射列表,如下图所示4.3.2 创建模板映射点击【创建模板映射】按钮进入元模型映射配置向导之选择数据源,如下图:选择数据源并点击下一步进入上传模板excel文件页面,如下图选中excel格式的模板并完成上传,然后点击下一步进入元模型配置页面,如下图:选中左边菜单树的元模型,并点击,对元模型和模板进行映射;配置sheet页面的标题起始行,标题结束行,数据起始行,数据结束标记等信息。选择当前的sheet页,对当前sheet页配置采集的数据列与元模型的映射。配置元数据代码对应的列,元数据名称对应的列,以及元数据属性对应的列。配置元数据的组合关

32、系,当元模型存在组合关系时,为采集的元数据配置组合关系。选中组合端元模型,并且映射组合端元模型对应的标题列。配置元数据的依赖关系,当元模型存在依赖关系时,为采集元数据配置依赖关系,点击“关联列标题”下的相应单元格可配置依赖关系。当都配置完毕以后点击【下一步】按钮,查看配置信息,并点击【保存】按钮完成配置。当模板映射管理完成后它与数据源关联了起来,这时在任务配置中对该数据源进行任务调度即可引用此映射的内容。4.3.3 修改模板映射对应配置好的模板映射进行修改,选中一条模板映射记录,并点击按钮,进入修改模板映射页面,如下图:调整模板映射内容后保存即可。4.3.4 删除模板映射对应配置好的模板映射进

33、行修改,选中一条模板映射记录,并点击【删除模板映射】按钮,确认后即可删除。5 元数据采集管理通过本章您可了解到如下内容: 元数据采集管理概述 查询采集适配器 管理数据源 进行采集任务配置 运行手动采集 进行采集入库审核 查询采集日志5.1 元数据采集管理概述元数据采集是指获取数据源数据,对数据进行转换,然后将数据写入到元数据系统中的过程整体上可分客户端与服务器端,客户端包括适配器,数据源,采集任务等的配置,服务器端则负责真正的采集数据、转换数据、入库落地等操作。元数据采集管理包括适配器管理、数据源管理、任务配置、手动采集、采集入库审核、采集日志查看。元数据采集的总体流程为:1. 建立悬挂点,如

34、果有悬挂点则无需此步。2. 创建数据源,创建数据源时如果选择需要审核,则采集后的数据不会立即入库,而是进入审核库,等待审核,可通过采集入库审核功能进行审核。3. 采集任务配置,如果是自动采集则在任务配置中配置调度时间,任务配置中也支持立即运行。4. 如果是手动采集则可通过手动采集功能进行。5. 采集过程中可以随时查看采集日志。元数据来源繁多,贯穿于BI系统的各个环节,如需求、设计、编码、测试、维护和升级。元数据的来源可以大致分为如下几类: 建模工具:Erwin、PowerDesigner、UML Rose等 ETL/OLAP工具:PowerCenter、DataStage、SQL Server

35、 Integration Services、SQL Server Analysis Services、存储过程、Perl脚本等 BI/报表工具:Cognos、BI.Office、SQL Server Reporting Services、BO等 数据库:Oracle、DB2、Teradata、MS SQL Server、MySQL等 大数据文件:Hive、HBase等文件 其他来源:XML、Excel、CSV、TXT、log文件等客户化元数据元数据采集是元数据管理的基础,它负责元数据采集,统一存储到元数据知识库并集中管理,为上层元数据应用提供服务。5.2 适配器适配器是指针对不同的元数据来源,

36、采用相应的采集方式获取元数据的程序。本章节全面介绍本系统所有可用适配器,包括适配器对应的工具或产品的名称、版本,适配器工作的模式,工作参数列表等。目前,适配器信息以初始化数据的形式整合到系统中,暂不提供编辑维护页面。部分适配器对工具或产品的版本是敏感的,如Cognos报表采集适配器使用Web Service技术访问报表应用服务器的API接口,但Cognos8.1与Cognos8.3在接口方法上存在差异,因此适配器会区别处理;又如Erwin采集适配器,对于Erwin4.1.x与Erwin7.x导出的XML文件,格式上存在比较大的差异,因此采集Erwin7.x的元数据时要先导出成兼容Erwin4.

37、1.x格式的XML文件,产品后续会屏蔽或兼容该部分的差异;又如数据库数据字典采集适配器,对数据库MS SQL Server2000、2005和2008在部分系统视图上存在的差异,目前只能较好的支持后两者。表3.1.1-1列出了目前本系统所有可用适配器,以及对应工具或产品的名称、版本,工作模式,如下:序号适配器工具/产品工具版本工作模式备注1Erwin采集适配器Erwin设计工具4.x文件采集采集导出的XML2PowerDesigner采集适配器PowerDesigner设计工具12.x文件采集采集导出的XML3DB数据字典采集适配器支持JDBC连接的一切数据库无JDBC,文件采集采集数据结构及

38、相关对象4DB数据记录采集适配器数据库表内数据无JDBC采集表的数据记录5DataStage采集适配器ETL工具:DataStage7.5.x文件采集6PowerCenter采集适配器ETL工具:PowerCenter8.6JDBC接口文件的元数据7Cognos采集适配器Cognos报表10.1Web Service访问接口8BI.Office采集适配器BI.Office报表6.0Web Service访问接口9Excel采集适配器Excel文件无文件采集采集Excel文件定义的数据10Template采集适配器Excel XML文件无文件采集将Excel另存为XML文件11Perl日志采集适

39、配器Perl日志无文件采集解析Perl日志的SQL,分析数据流向12注释采集适配器SP注释、SQC注释无文件采集按既定的注释格式解析Mapping,参考文档SP、SQC接口规范V1.0.doc13JDBC驱动采集适配器支持JDBC连接的一切数据库无JDBC采集数据结构及相关对象14大数据采集适配器Hive、Hbase文件无文件采集采集导出xml的文件15BO采集适配器SAP BO 报表4.xWeb Service访问接口及采集文件16Kettle采集适配器Kettle5.X文件采集XML文件17Primeton DI采集适配器Primeton DI6.X文件采集XML文件18DB数据字典DDL

40、采集适配器DDL SQL文件无文件采集SQL、TXT、ZIP文件表3.1.1-1 适配器5.2.1 适配器查询您可以查询当前系统有哪些采集适配器,查询的主界面如下:进入查询页面后,系统默认查询所有的适配器。您也可以输入过滤条件查询符合条件的记录。 查询条件(1) 适配器名称:模糊匹配,不区分大小写。(2) 工具名称:模糊匹配,不区分大小写。5.2.2 适配器查看您可以点击选中表格中的一条适配器,然后点击工具栏的【详细】按钮,或直接双击该适配器所在行,就可以打开详细页面,查看适配的资料:适配器名称、工具/产品的名称与版本、适配器的工作模式、详细参数列表,如下图: 页面左边是“适配器工作模式”树,

41、从上至下的结点依次是适配器、工具/产品的版本、工作模式;页面右边是适配器的详细资料、工作模式对应的参数列表。您可以点击树上的不同“工作模式”叶子结点,以查看不同的工作模式所对应的工作参数,了解该适配器在这样的工作模式下需要提供哪些参数。工作模式的参数列表有几个属性,下表解释这些属性的定义和用途:序号属性名称定义用途1参数代码定义属性的唯一标识用于程序处理的标识2参数名称参数的中文名称用于使用户明白参数的含义3默认值参数的默认值填写数据源时,默认以此“默认值”预填。由于不同的采集源要求的数值不一样,该默认值有时候并不正确,用户只可用作参考,如JDBC方式采集数据库的数据字典时的“驱动类”、“数据

42、访问URL”等不能通用。4是否必填取值:true、false指示填写数据源的参数值时,参数值是否必须填提供。True-必须提供,不能为空;False-可选。5是否内置参数取值:true、false如果是内置的参数,则创建数据源时不需要用户填写,会由系统内部配置。6描述参数的详细解释对参数的详细解释:取值范围、适用情况等表3.1.1-2 工作模式的参数定义5.3 数据源配置数据源是采集元数据的基础,它需要用户选择使用什么适配器,被采集的工具或产品的版本是什么,适配器需要按什么工作模式执行采集,以及采集所需要的连接配置参数,比如说采集数据库数据字典时,需要提供例如数据库的IP地址、端口、用户、密码

43、等信息。数据源管理就是对采集配置信息的管理维护,您可通过界面来维护数据源,如新增、修改、删除、授权。5.3.1 数据源查询您可以查询当前已经创建了哪些数据源,查询的主界面如下:进入查询页面后,系统默认查询所有的数据源。您也可以输入过滤条件查询符合条件的记录,如果不输入任何信息,点击【查询】显示所有数据源信息。 查询条件(3) 数据源名称:模糊匹配,大小写敏感。5.3.2 数据源创建假如您要采集元数据,请先创建数据源。您可以点击工具栏的按钮【维护数据源】【增加】,弹出“新增数据源”页面,显示如下:1、【基本信息】页签2、【参数配置】页签填写说明:5.3.2.1 基本信息第一部分:填写数据源定义。

44、1)数据源名称:不能为空,最大长度不能超过500个字节,一个双字节字符如中文、韩文等于两个英文字母的长度。允许输入字符有数字、字母、中文、下划线等。数据源名称不能与已创建的数据源同名。(2)审核:选择“是”,则采集数据后需要审核人员审核后才能决定是否入库,见“采集入库审核”功能;选择“否”直接入库。(3)描述:可选,对该数据源的简要描述,方便其他用户理解与使用该数据源。允许输入内容长度为1000字节。第二部分:选择采集适配器。(1)适配器:必选项,下拉框选择,包含所有可用的采集适配器。请您选择正确的采集适配器,例如采集数据库的数据字典,请选择“DB数据字典采集适配器”;例如采集Erwin的XML文件,请

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 管理/人力资源 > 管理学资料

宁ICP备18001539号-1