美军大数据研发与应用综述.doc

1、美军大数据研发与应用综述原创2017-04-05温永兴电科小氙电科小氙密切跟踪全球军事电子发展，及时提供军事电子行业重大政策、规划、装备、前沿技术和市场发展相关新闻与动态， 奉献专业化述评与综述， 全方位展示世界军事电子领域装备、 技术与市场发展现状、方向和思路。1美军大数据技术发展概述互联网、物联网以及云计算技术的发展，带来了海量数据的聚集，促进了大 数据的发展。大数据技术在民用领域已呈现迅猛发展之势， 其在军事领域也蕴藏 着巨大发展潜力和应用价值，已成为军事领域竞争新的制高点。大数据是信息时代信息爆炸性增长的产物，其特征可以用四个V来概括：（1）Volume，容量巨大，已从TB（太字节）级

2、别跃升至PB（拍字节）；（2） Variety，数据类型纷繁，包括结构化、半结构化和非结构化数据，无规律可循；（3）Value，价值密度低，但隐含的价值巨大；（4） Velocity，处理速度快， 在很多场合需要实时分析和处理。大数据技术就是从各种类型的数据中快速获得 有价值信息的技术。对美军而言，大数据带来的问题越来越凸显，例如，美军已积累了总价值达 数十亿美元的侦察机和战场传感器，随着这些传感器捕获数据量的激增， 传感器 数据存储、分析和融合的难度与挑战也与日俱增美国政府和军方敏锐洞察到大数据技术的重要性， 在大数据领域率先发力以 抢占先机。2012年3月29日美国政府发布了全球首个国家层

3、面的大数据战略 大数据研究与发展计划倡议，宣布将实施2亿美元的投资计划，推动 数据提取、存储、分析、发现等领域的技术创新与工具开发。除了出台支持大数 据研发的政策文件外，美国还实施了一系列计划，推动大数据在军事领域的应用。以美国防高级研究计划局（DARPA ）为主导，美军启动了一系列有关大数据的研发项目，涵盖大数据基础技术、大数据处理平台和应用等诸多方面。美军 大数据项目是美国国家项目的重要组成部分， 美军期望通过推进大数据研发，强 化数据处理能力，加速“从数据到决策”的进程，确保战场信息主导权。近年来，美军在大数据技术领域不断取得进展，目前，一些典型的军事应用已见雏形，部分项目已经投入实际使

4、用。2美军大数据研发与应用项目2.1大数据基础技术研发美国国防部在国家大数据研发框架内，积极部署了以XDATA为核心的多项 大数据研发项目，整体上构成了比较完整和全面的大数据研发布局。其中，一些基础技术涉及机器学习、数据挖掘、并行计算和可视化方面的前沿课题，虽尚未 成熟，但美军持续资助以促进这些研发不断取得进展，维持其大数据技术的领先优势。DARPA支持的XDATA项目旨在开发用于分析大量半结构化和非结构化数 据的计算技术软件工具，以便对国防应用中的大量数据进行可视化处理。该项目是美国政府大数据研发计划的重要组成，是美军推进大数据研发计划的核心项目。XDATA项目于2012年启动，是DARPA

5、在大数据处理技术研究方面重要 的基础性探索工作，此项目不针对特定情报或信息系统数据，而是面向非特定领域的数据，研究的是通用技术，并且很多研究成果将以开源的形式在互联网上共 享，以此推动相关工具的发展，加快研究速度，并进一步扩大理论研究的影响力。目前，一些XDATA项目承研机构已经在数据可视化、 基于分布式架构的机 器学习和数据分析算法等方面取得了不少基础性成果。数据可视化技术。数据可视化公司Kitware与哈佛大学、犹他大学、斯坦福大学等机构的研究小组合作开发名为 Visualizati on Design En viro nment（VDE ）的开源数据集成、查询和可视化工具包，在其 XDA

6、TAKitware 网站 上公布了 VDE在文档实体关系识别、SSCI预测数据库、Flickr元数据图等数据 集上的可视化分析效果。基于分布式架构的机器学习、数据分析算法。佐治亚理工学院在XDATA项目的支持下承担的任务主要是研究在大规模数据集上具有可扩展性的机器学 习算法，包括基于分布式计算架构的快速数据分析方法。开源计算工具。Continuum Analytics公司基于其在Python科学计算 工具上的长期积累，进一步开发了新型计算技术和开源软件工具2.2大数据平台研发美国防信息系统局（DISA）以及各军种正在大力开发基于云的大数据平台， 并取得了新进展。（1）DISA开发支持赛博态势感

7、知分析能力的大数据平台（BDP）2016年5月，DISA发布了大数据平台和赛博态势感知分析能力 报告， 提供一整套基于云的解决方案，用于收集DoDIN （国防部信息网）上的海量数据，同时提供分析与可视化处理工具以理解数据。其中，大数据平台（BDP ）是DISA开发的分布式计算环境，用于支持数拍字节数据（来自DoDIN ）的摄取、关联和可视化，而赛博态势感知分析能力（CSAAC）是部署在BDP上的一组分 析工具、摄取码和数据结构，提供整个DoDIN运行和防御性赛博空间运行（DCO） 的统一态势感知。CSAAC能提供迄今为止美国防部所能实现的最广泛、最全面的 DoDIN活 动视图，以支持决策并增强

8、美国防部网络的整体安全态势。 CSAAC能够提供以 下几种类型的功能： DoDIN运营与态势感知。以国防部企业邮件监控为例，CSAAC能够为运 营人员提供近实时态势感知能力，从而快速掌握事故、具体配置状态以及邮件网 关过滤等相关情况。防御性赛博空间运行（简称DCO）。按指标作战（简称FbI）属于CSAAC 之内的赛博空间运行能力之一。FbI能够帮助企业计算机网络分析人员利用自动 化工作流审查网络威胁报告，提取潜在指标，面向未来进程提供警报并在必要时 自动执行国防部对策流程。异常检测。异常检测套件属于 CSAAC功能之一，专门负责检测可能对敏 感性国防部数据的完整性、机密性或者可用性造成威胁的已

9、验证用户。这项服务 还允许分析人员在检测到潜在内部威胁后向有关部门发出警告。CSAAC中的功能套件由大数据平台（BDP）负责实现。BDP是支持CSAAC 的基础体系结构，作为一种开源解决方案，能够支持数据采集、关联以及虚拟化 基础设施。BDP通用架构能够在数小时内被安装至数百台服务器。2016年8月，DISA发布了大数据平台（BDP）升级版。新版BDP将为操 作人员提供在现行解决方案内找出聚焦任务的数据集以及针对特定数据运行定 制聚集任务的分析工具的能力；将大幅提升为 CSAAC快速开发、部署和使用分 析工具的能力。（2）美海军开发的大数据云生态系统（“ BIG DATA ECOSYSTEM

10、美国海军舰载传感器、飞机和其他平台产生大量的数据，但是这些数据没有 被有效利用。为解决此问题，美国海军研究办公室欲采用突破性的分析工具建立 海军大数据生态系统。2013年以来，美国海军组织开发了名为“海军战术云参 考实施” （NTCRI）的大数据云生态系统平台，由数据分析组件和可视化界面提 供相关作战环境和情况的所有数据的实时视图。这个平台系统融合了大数据、云计算和其他交叉学科技术，并且实现了多种分布式文件系统（Hadoop等）和作战系统。该系统主要包含以下功能：通用数据基础表征。海军作战大数据是完全多源异构的。“多源”指来源广泛，如IT系统、机载或舰载传感器等；“异构”指数据类型多样，如

11、双方 作战目标、战术意图、气象水文、网络舆情等，该部分功能旨在建立科学、通用 的海军作战数据基础体系架构，用于不同机构间多源异构大数据的表征和共享。分布式数据存储与索引。主要目的是存储作战数据，建立索引以便快速查询，通过海军的云环境利用大量的数据集。数据作战分析。这部分是海军大数据生态系统的核心，目前美国海军主要通过开发先进的分析工具支持反潜作战和一体化防空反导作战， 提升大数据对 海军作战的效果和能力，探寻利用大数据增强威胁评估预警、 作战识别、一体化 作战和任务计划以及执行能力的途径。系统抗毁性防御组件。任何系统都要具备抵抗攻击的能力，由于数据在采集、整理、存储、传输、分析的过程中都可能遭

12、到攻击甚至篡改，因而，抗毁 性防御组件是贯穿整个大数据生态系统的。组件主要通过利用云计算的安全性和 完整性，增强海军大数据生态系统各模块的防御能力。2.3典型应用项目在大数据时代，数据将会成为影响和决定军事行动的重要力量源泉。因此，数据搜集、分析和处理能力，以及基于数据作出的决策将会是未来战场上的制胜 关键。大数据应用，尤其在联合作战中，可以极大地提高信息掌控优势，从而提升军事情报侦察预警能力；在指挥控制领域，还将显著增强数据的智能处理和指 挥控制能力，从而有效提高体系对抗水平。近年来，美军已将大数据技术应用到 诸多领域，包括ISR、作战指挥、后勤、赛博领域等。（1） ISR领域现代战争中不仅

13、要及时收集、分发战场数据，针对强对抗环境，还需要将海 量实时数据进行预处理，挖掘出有价值的信息，并通过信息融合形成情报，从而 及时判断出敌方的作战企图和兵力部署，拨开“战争迷雾”，真正做到“知己知 彼”。美军通过多年的发展，已拥有全球最先进的情报侦察系统， 对海量情报数据 的分析，一直是美军情报侦察能力的短板，而大数据正好能够帮助美军突破这一 瓶颈。基于大数据分析的情报搜集技术在管理海量数据并使分析人员专注重要工 作方面具有极大潜力。基于大数据应用的情报搜集系统如图1所示。在此领域的 典型项目包括DARPA的“洞察” （In sight ）项目、美空军的“大数据集处理 利用与分析” （PEAL

14、DS）项目等。图1基于大数据应用的情报搜集系统1)DARPA 的 In sight 项目此项目旨在开发一个集情报、监视和侦察于一体的系统，该系统将能使分析 人员有目的地把互不相干的“烟囱式”信息源整合成一个统一的战场图（如图2所示）。图2 In sight项目开发的系统可将“烟囱式”信息源整合成统一的战场图该项目的第1阶段创建了基线系统，最初重点关注反恐行动。第1阶段的承包商是BAE系统公司电子解决方案部和科学应用国际公司（SAIC ）。在第1阶段中，BAE系统公司和SAIC公司启动了下一代ISR数据采集和资 源管理系统（E&RM ）的设计，该系统有助于美军情报专家们探测网络威胁、非 常规性战

15、争和恐怖主义行动。BAE系统公司和SAIC公司建立了基于模型的行为相关性分析工具、 建模工 具、预测和威胁网络分析工具，自动把来自多种不同信息源的情报信息综合起来， 提高了多源情报传感器的工作效率。 他们已开发出联合数据管理和处理环境， 将 新型情报传感器数据和软件算法综合起来。该项目的第2阶段于2013年8月启动，总价值为8000万美元。第2阶段 的目标包括：使第1阶段开发的能力更加成熟，提高数据采集和资源管理系统（E&RM ）系统的适用性，扩展任务空间；探测识别敌方网络，汇集所有可能的 来源信息，包括军事情报资料库、人员报告以及海陆空天传感器。In sight项目开发的系统采用基于标准的开

16、放式即插即用体系结构，支持当前和未来ISR技术的快速集成。目前，该项目已供美陆军和空军使用。2）美空军开发的PEALDS项目目前美国国防部和大型企业面临的主要挑战是数据集成以及掌握从多个传 感器收集数据并将数据输入一个单独的管理系统中进行分析和提取的方法。基于此，2013年Logos技术公司与美空军研究实验室信息部共同开展了大数据集处 理利用与分析（PEALDS）项目。PEALDS的目标是使观察者能快速对 TB的传 感器数据进行筛查，为战场士兵提供可行动的信息。美空军可利用大数据工具 PEALDS创建战场态势图或关注区域的态势图， 并对其进行实时监控、存储和回放。通过将传感器数据流与数据标签和

17、趋势探测 软件相结合，分析专家和战场士兵可进行观察、跟踪并根据所观察到的行为预测 敌方部队的行动。在PEALDS项目中，Logo公司运用了大型图像存储技术提供 三维建模和广域数据绘图的算法和软件。（2 ）作战指挥指挥信息系统的信息处理速度、目标态势获取时间、决策周期以及快速响应 时间决定着军事行动的成败。大数据在作战指挥领域的广泛运用，开启了 “从数据到决策”的指挥新模式。美国防部大数据应用重点项目一一“从数据到决策”项目旨在通过构建快 速准确分析数据的算法模型，将海量数据进行实时、自主关联和整合、认知，挖 掘出有关目标威胁、航迹跟踪、火力打击等重要的情报信息，并提供面向任务可 理解的决策，使

18、军队中情报分析人员和指挥官能够以极高的速度理解和掌握战场 态势。(3 )后勤领域大数据技术在后勤领域的应用有助于提高后勤保障效率，降低费用。美国国防后勤局正在推行大数据战略，利用相关技术构建本局范围内的权威机构数据源， 形成灵活、自助式的报告和分析能力。美国国防后勤局通过推行大数据战略， 期 望大幅提高数据实时融合效率，让后勤分析师在更短的时间内通过各种渠道搜集 数据，再对汇总的数据进行分析，最后确定有效的后勤保障方案。为帮助美军解决后勤行动中出现的难题，美国许多公司推出了各种大数据技 术解决方案。如天睿公司为军方提供了名为“联合数据架构”系统的综合性大数 据技术解决方案，该系统具有预测性分析

19、功能，可预判武器装备中哪些零部件何 时出故障需要修理，就在零部件出故障前向维修技师预警，告知技师将其拆除， 而且拆下的位置非常方便技师修理和更换零部件，这样就能确保库存零部件得到 最合理的使用。(4 )赛博领域美军最重要的赛博空间项目之一一一X计划亦称“基础赛博战”，旨在对网 电作战的本质特性进行创新研究，支持主导网电战场空间所需的基础性战略的发 展。X计划将创建一个确保军方能够在实时、大规模和动态网络环境中理解、规 划、管理网电作战的端对端系统。X计划开展5个技术领域的研究以构建一个能够实时创建、模拟、评估和控 制网电战场空间的原型系统，这 5个技术领域包括:系统结构。建设X计划系统基础设施

20、重点包括：网电战场绘图引擎的 设计和应用以及端对端X计划系统基础设施的设计和集成。网电战场空间分析。开发自动分析技术，协助人员理解网电战场空间， 支持网电作战战略计划的制定；提供作战场景应用程序，衡量并模拟战场毁伤评 估，以优化计划。任务构建。开发自动化技术，允许计划人员借助图形方式生成任务计划， 并将计划自动同步到可执行任务脚本中。任务执行。研究并开发任务脚本运行环境和保障平台。直观界面。为指挥官、计划人员和作战人员提供一种包括工作流、直观 视图、动作分析和集成视觉应用程序的全面综合视觉用户体验，以此管理网电作战活动。2016年6月，X计划走出实验室首次交付作战人员，并参与年度“赛博卫 士

21、与“赛博旗帜”联合演习。X计划进入实战应用阶段意味着美军已拉开赛博 空间可视化作战序幕，能够从技术上完成对战场赛博空间的基础建构。X计划是大数据技术在赛博领域的典型应用。 大数据技术为集中管理海量信 息资源提供高效的分析、融合方法和手段。没有大数据技术的支撑，要实时测量 和可视化总结数据巨大、结构复杂的赛博空间是不可能完成的任务。3发展重点和趋向分析（1）拓展大数据技术在ISR、作战指挥、赛博等各领域的应用，促进从“以 网络为中心”向“以数据为中心”的作战转变现代战场敌情复杂，战机稍纵即逝，“发现即摧毁”成为美军的作战理念。 当美军提出“发现即摧毁”时，有价值的信息逐渐成其为作战的优先关注点

22、和中 心环节。通过大数据技术在各领域的广泛应用，美军将会在数据获取、存储、管 理、分析和分发等方面得到质的飞跃，进而提升美军战场态势感知、情报分析、 智能决策以及安全防护能力，大大缩短决策循环（OODA ）周期，大大缩短从传 感器到射手的时间，最终实现“发现即摧毁”的效果。大数据的发展将促使“物理网络服务”到“网络应用服务”的转型，促进从“以网络为中心”向“以数据为中心”的作战转变。（2）在关键技术领域研发方面，重点关注数据分析技术、可视化技术等。美军研发大数据技术最看重的就是提升对海量、异构数据的分析处理能力， 从获取信息向分析利用信息转变。除此之外，美军的研发重点还包括可视用户界 面技术等

23、等。美军在关键技术领域，一是强调数据分析技术的核心地位。 大数据分析工具 可将大数据转化为有价值的情报决策数据， 为用户提供可理解的信息，提高战场 态势感知能力。这对作战十分重要。美国国防部遴选的10个大数据项目中，有9个项目与数据分析技术直接相关，如 XDATA项目、影像检索与分析工具项目 等，由此可说明美军对数据分析技术的重视。 二是大力发展数据可视化技术。用 数据可视化技术来分析大数据，对作战指挥决策十分重要。XDATA项目的研发 团队开发了一种新型的动态可视化系统，用于对大型复杂数据集的交互可视化搜 索。（3 ）未来投资保持持续增长，优先投资重点应用领域2017年1月31日，美国防部长

24、Mattis发布了关于“重建美国陆海空三军” 总统备忘录的实施指南。这份新的指南表明了未来将增长大数据技术领域的国防 投资。此外，据德尔泰克软件公司（Deltek）预计，美国防部将致力于大数据技术 以提升作战能力和增大武器系统的致命性。例如，美空军和海军计划增大无人系 统和航行器的使用，这就需要增加对此领域的数据分析的投资。此外，随着管理 部门重点关注防范赛博攻击，在整个国防系统的企业范围大数据分析的应用将会 优先考虑。美国防信息系统局需要依赖大数据工具监控和防护国防部信息网（DoDIN ），在这一领域的投资也将会获得支持。考虑到这些优先性投资，Deltek给出了未来几年（2018至2021年）美国防部在大数据技术领域的投资预测 （见加旧财年即加财年2021财年