《基于ETBDIS的海军装备试验数据管理.doc》由会员分享，可在线阅读，更多相关《基于ETBDIS的海军装备试验数据管理.doc（5页珍藏版）》请在三一文库上搜索。
1、基于ETBDIS的海军装备试验数据管理摘要：从海量的装备试验数据中，利用大数据挖掘思想建立装备大数据分析处理与智能信息服务，是开展装备数据工程建设的关键技术之一。分析了装备试验数据的特点，结合大数据处理分析思想，提出了一种装备大数据模型，以海军装备试验为例，进一步分析了模型的特点，为装备数据工程的建设提供了一种技术路线参考。0引言在装备试验工作过程中，积累了大量的历史数据资源，真实记录了装备试验、训练、演练的第一手资料数据，随着数据采集手段的不断拓展和综合试验演练类任务的深入推进，试验数据积累量将呈指数级增长。这些数据资源是反映装备性能、可靠性，评价装备体系能力水平，研究装备发展路径的重要依据
2、。但是，由于建设初期信息技术尚不发达，受网络、计算、存储及数据处理技术等因素限制，早期缺乏统一的系统规划设计，目前大量武器装备试验数据分散存储在不同试验终端，缺乏统一管理和分析应用机制，大量隐含在数据中的有价值信息没有得到有效地挖掘与开发1-2。在信息技术领域，大数据平台技术生态链取得了飞速发展，出现了Hadoop、HBase、Storm、Spark等众多的开源的大数据分布式存储、并行计算处理框架。大数据计算技术解决了海量数据的收集、存储、计算、分析的问题。大数据技术已经在医疗、金融、交通、教育、环保、舆情监管等众多民用领域取得了实际应用，驱动了相关领域的业务模式的创新发展，取得了良好的经济社
3、会效益。在军事装备领域，航天、风洞等领域试验数据得到了一定应用，但其本质还停留在传统的数据挖据领域，尚未形成对大数据技术的应用成果。本文结合装备试验数据管理需求，研究提出了一种基于装备试验大数据的装备大数据模型，该模型可以指导如何抽取利用装备试验的历史资料数据，利用大数据处理技术挖掘建立装备决策分析模型知识库，并基于知识库提供装备管理智能化决策支持服务,从而提高装备数据资源的处理分析利用率，将数据资源转化为智能化的决策分析服务。1装备试验数据的特点装备试验数据一般涵盖装备试验过程中产生的所有数据，长期以来，试验部门积累了PB级的历史试验数据资源，包括纸质报告、电子文档、胶片、电子照片、音视频数
4、据、雷测数据、遥测数据等，分散在不同的试验终端单位，缺乏统一的数据组织与管理规范平台。这些试验数据资料具有以下特点：(1)试验数据种类繁多。随着装备试验范围的拓展，试验数据包括的范围也越来越广，在试验大类方面包括：各型装备的性能试验数据，作战试验相关的装备能力效能评估数据，装备体系推演数据等；针对单项试验则包括：装备、气象、地理水文环境、人员保障、业务流程等数据。(2)资料数据的形式多样化，结构化的数据库数据，又有非结构化的文本、图像、影像资料，还有半结构化的资料数据；此外，还存在海量的未数字化文档等。(3)潜在价值高，价值相对稳定。与商业数据不同，随着时间的的推移，历史数据细节不再重要，武器
5、装备试验数据对于装备全寿命管理周期有效期很长，可以长达十几年，数据价值随时间变化不敏感。(4)数据不断增长。随着后期体系级装备试验和贴近实战的装备作战试验的深入展开，试验数据资源量将承指数级迅猛发展。将有越来越多的试验数据需要管理、分析和利用，传统的数据仓库方式的数据中心方案将很难满足未来发展的需要，需要建立分布式的基于大数据的数据中心平台。2装备试验数据的管理需求分析对装备试验数据的管理需求主要包括以下4个方面：(1)数据建模需求：当前海量的试验数据资源的价值处于沉睡状态，由于其底数不清，格式各异，尚不能对其进行较为深入地应用分析，因此对海量试验数据资源进行建模，形成有效的管理、治理手段是当
6、前需要解决的首要问题。(2)试验任务评估需求：基于试验任务的试验数据，可以评估本次试验任务的实际效果；基于同类装备的历次试验任务，可以进行装备的技术发展演化画像分析，辅助进行装备技术改进点的挖掘分析决策。(3)多装备体系化试验评估需求：通过对装备、环境、保障、任务协同等多专业类别的融合挖掘，基于试验数据形成可视化的试验进程态势，辅助进行体系效能的综合评估。(4)装备健康管理需求：基于装备试验数据建立装备的健康管理模型，基于模型可以预测装备的剩余寿命，根据装备实际状态制订精准的按需的维护保障计划。3装备试验大数据数据模型ETBDIS装备试验大数据的根本目标是为装备试验活动提供智能信息服务和管理决
7、策，并能够为后期装备使用、装备维护保障和装备技术发展提供支撑，所以装备试验大数据模型首先需要考虑数据平台的服务内容，具体包括：装备画像，装备建模，装备健康管理，装备体系化评估等。例如：如图1所示，通过装备大数据进行装备画像，可以对装备的质量、性能、适用的环境、维护保障、健康状况与剩余寿命、技术发展过程等进行定量定性的分析。本文面向装备试验数据建设的根本目标，构建设计了一个装备试验大数据模型ETBDIS(Equipment Test Big Data Intelligent Service)。3.1ETBDIS模型ETBDIS模型包括试验数据层、数据预处理层、数据资源体系层、大数据知识挖掘层、装
8、备智能服务层等（如图2所示），各层的主要功能如下。试验数据层。试验数据按照资料数据的类型主要分为文本、图像、测试测量数据等。数据预处理层。根据数据类型选择相应的数据预处理方法，比如文本类数据，可以进行实体提取、摘要提取、关键词提取等处理，提取出其中的装备、质量、性能、专业技术、事件等实体数据，以便后续进行实体关联、事件关联挖掘分析使用；测试测量数据则需要相应的专用数据处理软件，对数据进行初步的分析和预处理。数据资源体系层。对原始数据经过相应预处理后，得到经过分类、标注的结构化数据，进而构成可以处理分析利用的装备大数据资源。包括：装备的质量、性能、环境、技术等维度的数据主题，基于这些结构化的数据
9、资源可以通过大数据挖掘、机器学习等方法提取相应的装备知识库。大数据知识挖掘层。对于装备数据资源中的数据主题，可以通过相应的机器学习方法进行动力学模型建模、分类规则挖掘、模式挖掘、特征提取、多实体关系知识挖掘等处理，从数据中学习建立关于装备的各类知识库。装备智能服务层。基于数据挖掘构建的装备知识库，可以提供相应的基于装备试验大数据的智能信息服务。如：装备画像，装备健康管理决策，装备试验任务评估，不同环境体系下的装备试验仿真推演态势分析等。3.2基于ETBDIS的海军装备试验数据管理特点分析结合海军装备试验业务实际，ETBDIS模型的主要特点如下：(1)模型采用分层的架构，可以通过标准规范接口，实
10、现系统内的不同层间的数据通信；各层内是模块化结构，可以采用微服务的方式，进行灵活的层内模块集成。对于海军装备试验数据而言，首先是通过对试验文书资料、摄录像等图像资料和测量测试等数据资料完成对试验数据的统一管理，测试测量数据根据试验项目的不同可能用到不同的采集分析工具，数据解码方式也不尽相同，为此形成对试验数据的分布采集框架。(2)服务驱动。面向装备大数据智能信息服务需求。由于海军装备试验数据涉及装备门类多，在数据层基础上通过预处理形成统一的试验数据体系，形成各类型主题库，建立试验数据间的基础关系，进而达到服务于装备画像、装备试验评估、装备健康管理、不同环境体系下装备的试验评估等装备管理，既保障
11、了数据中心的根本建设目标，又较好低保障了数据采集处理的必要性。(3)开放的架构。装备试验数据涉及多个利益相关方，既包括各组织装备试验的实体部门也包括装备论证、研制、使用方，因此，各参试单位需按照数据标准、接口标准，在平台上实现各自专业领域的数据的存储，管理、服务，采用开放的基础架构，实现按专业的合理分工和统一的平台上实现大数据融合处理分析。(4)数据深度融合处理。装备试验涉及海量图片、文档等海量非结构化处理的处理。例如在海军装备试验过程中涉及各类试验相关会议文档、试验音视频等，进而建立了质量、性能、保障维护、技术发展等多维度的数据资源，从而达到可以利用机器学习、数据挖掘等知识库构构建过程，提高了数据处理深度的目的。4结论装备试验工作积累了大量的装备相关的资料数据，本文以整合各单位的试验资料数据，建立装备试验数据资源体系，提供装备数据智能信息服务为目标，研究给出了一个装备试验大数据模型。该模型具有分层开放的架构，各参试单位可以按照该模型在统一的平台上，进行试验数据的采集处理分析，实现跨部门多专业数据的融合，利用装备数据资源平台，进行相应的知识构建与智能信息服务，并以海军装备试验数据管理为例分析了模型的主要特点，进一步展示了模型的可用性。在未来研究中，将选几个典型装备进行模型平台的分步构建示范应用。