深度基于大数据的军事情报分析与服务系统架构研究

2018-01-22 17:11:28

来源:

摘 要:针对大数据时代带来的变革与挑战,开展面向军事领域的情报分析与服务系统架构研究和设计。提出了基于大数据的军事领域情报分析与服务系统的通用体系架构和运行模式设计,并对系统架构的关键技术进行了探索分析。应用大数据技术,对于提高信息化军事情报处理和决策支持能力具有重要意义。

引 言

随着人类社会发展步入信息化时代的浪潮,数据已经成为推动经济社会发展、科技进步和新军事变革的重要战略资源。大数据已经渗透到人类社会生活的各个领域,也给军事情报的分析研究工作带来前所未有的变革和挑战。

一方面随着军事信息化的高速发展,可以轻而易举地获取大量情报数据,出现了数据超载现象;另一方面获取的数据包罗万象,内容繁杂,虚实混杂,真伪难辨,出现了有效情报信息短缺现象。如何从这些超载数据中挖掘和提炼出准确、高价值的情报信息,成为了迫切需要解决的问题。

当前随着新军事革命进一步深化,世界各国都在寻求占领大数据时代的军事制高点。2012年,美国政府将“大数据”提升为最高国策,将对数据的占有和控制作为陆权、海权、空权、天权之外的另一种国家核心能力。2013年的“棱镜门”事件,也展现了美国情报部门在大数据采集、处理、分析和应用技术上远远领先于世界其他各国。此外,英国、法国、日本、澳大利亚等国家也在开始积极投身于推动大数据技术在现代军事战争中的应用。

本文针对大数据时代对军事情报处理工作带来的变革与挑战,开展了新一代军事情报分析与服务系统架构的研究和设计,提出了面向大数据的军事领域情报分析与服务系统的通用体系架构和运行模式设计,并对系统架构涉及的关键技术进行了深入分析。

1研究背景

1.1 大数据概念

大数据(Big Data),或称巨量数据,是具有规模庞大、类型多样、处理时效紧、数据来源可靠性低等综合属性的数据集合。研究机构Gartner指出,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产[2]。大数据通常具有如下四个“V”的特性[3 -5 ]:

(1) 数据规模庞大(Volume)。数据量级已经从TB发展至PB乃至ZB,所需收集、存储、分发的数据规模远超传统信息管理技术的管理能力。

(2) 数据类型多样化(Variety)。所处理的对象类型繁多,既包括数字、表格等结构化数据,也包括网页、图片、视频、图像与位置等半结构化数据和非结构化数据,数据的关联度一般较低。

(3) 数据处理要求响应速度快(Velocity)。即各类数据流、信息流往往高速产生,需要快速、持续的实时传输和处理,大数据处理工具亦在快速演进。

(4) 数据价值密度低(Value)。大数据往往意味着极高的价值,但由于规模巨大和类型多样导致数据的价值密度很低,因此也增加了价值挖掘的难度。

目前,大数据处理相关技术和工具取得了长足的发展,形成了比较完善的大数据处理生态体系,包括大规模分布式计算技术、内存计算技术、流处理技术等,相应的软件产品如大数据批处理计算框架Hadoop、快速分析框架Spark、流处理框架Storm等,如图1所示。

?图1 大数据处理相关技术

与传统的关系数据库和集中式数据处理技术相比,Hadoop、Spark和Storm框架能够有效满足针对大数据的存储、管理、分析和处理需求,在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势。

1.2 军事情报分析系统研究

军事情报分析是指军事情报机构和人员对搜集和侦察得到的情报材料进行整理、鉴别、综合和研判的过程,目的是最大限度地揭示情报的价值[6],为战略决策和作战指挥提供准确可靠的信息保障。军事情报分析系统旨在实现情报分析处理过程的自动化操作,为情报机构和人员提供按照作战需求对各种来源和类型的情报数据进行整编、分析和综合、挖掘和提炼高价值情报信息的工具和手段。与传统依赖人工实现军事情报分析不同,现代情报分析系统能够极大地提高情报分析处理的效率,满足作战决策的高时效性要求。情报分析处理过程如图2所示。

图2 战场概念图与情报分析处理过程

在信息化战场环境中,情报数据来源不仅包括各类传感器搜集和侦察获取的预警侦察信息,也包括基础战场环境信息,以及公开来源的开源情报信息等,涵盖电文、图像、视频、地理地形等数据类型,经过数据筛选、转换、识别等预处理后得到支撑战场指挥决策和态势感知的情报信息,在根据作战任务对情报信息进行综合、分析和研判等处理后,针对作战情报保障需求生成目标情报、动向情报和专题情报等类型产品,并根据订阅关系分发给情报用户[7]。

随着军事信息化的进一步发展,现代高技术战争的复杂性和实时性,使得军事情报分析处理面临一系列新的挑战:

(1)情报数据更加多元化。在情报大数据时代,情报来源不仅包括技侦、航侦、谍报等手段获取的侦察情报信息,也包括实时预警探测获取的战场目标和环境信息,同时还包括互联网、媒体等公开的开源情报信息;情报内容不仅包括传统军事情报内容,也包括政治、外交、安全、科技等诸多方面;情报类型既包括结构化数据,也更多地表现为图形图像、视频音频、位置等半结构化和非结构化数据。

(2)情报价值获取更加困难。一方面,情报量大大增加,现代战争要求在短时间内对大量情报数据进行有效分析,对分析处理的时效性要求更强,远远超过现有技术能力的限度。另一方面,由于敌方大量采用反侦察措施,使情报数据虚实混杂、真伪难辨,有效性和可信性大为降低,极大地增加了情报分析的困难[6]。

(3)传统情报处理和应用模式无法满足应用需求。随着战场空间范围和维度的不断扩展,传感器、作战目标类型层出不穷,情报信息在来源、时间、空间和内容维度上都呈现出广域分布式的特点。在情报处理模式上,传统的集中式“处理-分发”模式无法满足海量数据实时处理和灵敏作战、快速打击的需要;在情报应用模式上,传统“烟囱式”系统间的点对点通信无法满足网络信息体系下随遇接入、按需获取的服务化应用需求。

综上所述,现代军事情报数据完全符合大数据的特点,使得传统情报分析已经无法满足现代军事作战的需求。因此,如何充分利用大数据处理、网络通信和服务化技术,开展军事情报分析与服务系统架构的研究和设计工作,为情报机构和情报人员解决广域分布式环境下情报数据的搜集、处理和应用难题,已成为当前军事情报分析工作的迫切需求,也是现代军事变革的一个重要方面。

2基于大数据的情报分析与服务系统架构设计

本节从系统总体架构和系统运行模式方面,对基于大数据的军事情报分析与服务系统架构展开详细描述。2.1 系统总体架构设计

系统总体架构设计首先需要面向海量异构军事情报数据的分析应用需求,采用大数据处理技术,提供面向军事情报数据的搜集、整编分析、综合处理、情报服务等业务应用,为战略决策、作战指挥提供情报数据和服务支撑;其次为解决情报体系多节点之间的资源共享与协同应用问题,应充分考虑系统架构的开放性和灵活性,实现数据与平台、平台与应用之间的松散耦合;最后需要充分遵循或参考相关的军事系统标准和技术规范,以实现与现有情报系统的无缝连接,提高现有装备的利用效率。

基于大数据的军事情报分析与服务系统总体架构可以划分为六个方面,包括资源层、支撑层、服务层、应用层以及安全保密体系和技术标准规范,如图3所示。

图3 基于大数据的军事情报分析与服务系统总体架构

资源层是整体架构的最底层,提供系统运行的物理支撑环境,包括基础设施和数据资源两部分。基础设施部分为系统构建和运行提供所需的计算、存储、网络等基础硬件资源以及操作系统、应用软件等基础软件资源,并提供资源调度管理、配置管理和状态监控等功能;数据资源部分集系统中各类数据资源为一体,提供统一的数据资源搜集、整合和逻辑描述能力,主要由军事情报元数据和各类业务情报数据组成。

支撑层是整体架构的基础层,提供情报大数据分析处理和服务化应用的平台和业务支撑环境,包括平台支撑和应用支撑两部分。平台支撑部分为系统构建和运行提供平台环境,包括面向服务支撑环境、SQL/NoSQL数据存储、Hadoop分布式基础架构、Spark集群计算环境和Storm流处理环境。面向服务支撑环境支持以面向服务的体系架构进行系统开发,SQL/NoSQL数据存储模块用于支撑海量情报数据资源的存储和管理,Hadoop、Spark和Storm大数据处理框架提供了海量大数据的分布式并行处理环境[8]。应用支撑部分为系统的构建和运行提供基础业务支撑,为服务层和应用层提供共性功能模块支持,包括数据预处理、图像分析、报文分析、音频分析、视频分析、电磁分析、关联挖掘、时序分析、语义分析、知识推理等基础服务。

服务层依托支撑层提供的信息共享与协同环境,在实现特定业务处理功能的同时,提供各业务领域的信息服务。服务层包括电磁情报处理、图像情报处理、文字情报处理、音频情报处理、信息采集、情报目录、情报检索、情报关联分析、情报发布/订阅、情报质量评估、情报集成共享以及情报归档备份等服务,为各项军事情报分析业务应用提供共用服务支撑。

应用层以服务层运行的相关业务服务为基础,是面向具体业务应用的实现层,主要用于为人机交互操作提供支持。应用层包括综合情报应用、专题情报应用、作战情报应用、情报态势应用、情报服务门户等软件模块。

安全保密体系和技术标准规范贯穿情报分析与服务系统的整体架构设计。安全保密体系从技术和机制的角度确保系统的安全和保密运行,主要包括安全审计、容灾备份、加密解密、访问控制等。技术标准规范提供了系统中各阶段数据和使用技术的参考标准,主要包括基础设施标准、数据标准规范、信息服务标准和通信接口规范等。

系统总体架构设计采用分层和面向服务思想,通过提供标准化的服务接口、服务组件和服务访问方式,保证系统架构的开放性和灵活性,实现服务组件在各类业务应用中的重用;采用成熟的大数据处理技术框架构建分布式平台支撑,采用自然语言理解、图形图像分析、数据挖掘等技术构建业务支撑环境,满足各类军事情报分析业务的需求;通过实现各类情报分析业务的流程化和组件化,遵循相关的系统接口规范,充分保证与现有装备的集成能力。

2.2 运行模式

基于大数据的情报分析与服务系统的运行模式如图4所示。根据作战需要,系统动态引接多种源头和多种类型的情报数据,包括预警雷达、侦察卫星和航空侦察等多种来源,也包括报文、图形图像、视频、电磁等多种载体类型。根据情报保障需求,系统分析得到的情报产品按照用户制定订阅/分发关系,自动推送给联合指挥所、区域指挥所、部队情报用户、单兵情报用户以及其他授权用户等。

按照分布式组织管理、资源统一共享的原则,系统采用分布式运行管理技术,对情报分析任务、计算能力、数据资源进行统一管控,依据情报保障需求实现协同调度,共同完成情报分析任务。采用面向服务体系架构,系统对核心情报分析功能软件进行服务化封装,包括图像情报分析服务、报文情报分析服务、电磁情报分析服务、开源情报分析服务以及情报数据服务等,并依托服务注册机制进行统一分类管理,形成软件服务资源目录,实现情报分析功能在系统内各节点之间的共享。

图4 基于大数据的分布式军事情报分析与服务系统运行模式

3关键技术分析

基于大数据的军事情报分析与服务系统实现的关键技术主要包括情报大数据计算分析框架、多源异构情报数据综合处理、分布式广域情报应用服务等。

(1)情报大数据计算分析框架技术。面向海量异构情报大数据的存储、管理和分析需求,提供易于开发和使用的海量数据处理平台,为情报大数据的实时、动态、精准的分析和处理提供支撑。通过采用分布式网络化架构,实现计算节点之间的负载均衡和抗毁接替,保障情报分析任务的动态调配和资源动态管理。Hadoop+Spark+Storm提供了面向情报大数据分析处理的典型框架,利用大规模廉价机器构建HDFS分布式文件系统提供高吞吐量的情报数据存储和访问,利用MapReduce并行编程模型提供大规模情报数据的并行运算处理,基于Spark与Storm大数据处理引擎实现实时情报数据流的快速交互式处理,共同支撑战场情报高实时、大容量的处理要求。

(2)多源异构情报数据综合处理技术。由于情报数据资源存在来源众多、类型差异较大、内容良莠不齐等现象,情报分析存在很大的不确定性。如何从情报大数据中去粗取精、去伪存真,是情报大数据分析面临的关键挑战。多源异构情报信息综合处理根据情报来源和格式不同开展图像、文本、视频、音频、电磁等多元情报分析,提取情报大数据的时间、空间、目标和主题要素,进而通过要素分布特征将不同来源的情报信息相互关联、印证,形成多层次、全方位的统一情报态势,保障情报分析结果的精准性和有效性。在情报处理模式上,采用云计算的分层服务模式理念,对系统中各节点计算和存储资源、各类通用情报分析处理服务进行统一运行管理,通过网络将松散耦合的情报服务组件进行分布式部署、组合和使用,提高情报处理的实时性。

(3)分布式广域情报应用服务技术。面向广域分布式的战场空间和多样化的传感器和作战目标类型,针对不同作战任务的情报保障需求,采用面向服务技术灵活定义情报分析处理流程,组织调度部署于各节点的情报分析服务协同工作,提供情报数据管理和服务应用的统一接口,实现体系化的情报分析能力共享,保证整体处理能力最大化,推动情报处理和服务模式实现由传统的“任务、处理、利用和分发”(TPED)模式向现代“任务、发布、处理和利用”(TPPU)模式的转变,为广域分布的各类传感器和打击武器提供随遇接入、按需共享的情报应用服务,满足海量数据实时处理和灵敏作战、快速打击的作战需求。

结 语

大数据时代的到来,改变了传统军事情报分析的面貌。基于先进大数据处理技术和工具,构建现代军事情报分析与服务系统成为了一种新的解决思路。本文对基于大数据的军事情报分析与服务系统架构进行了初步研究和设计,并对其中部分关键技术展开了分析。在探索新军事变革的今天,立足于大数据处理技术解决现代军事情报分析面临的四“V”特性,对于提高信息化战争情报分析和作战指挥决策具有重要意义,也是当前军事情报变革的发展方向。

【参考文献】

[1] 惠朝阳, 蓝军. 基于图式的军事情报分析[J]. 现代情报, 2009, 29(11):43-45.

[2] 中国企业评价协会. 中国电子商务企业发展报告(2013)[M]. 中国发展出版社, 2013.

[3] 张春磊, 杨小牛. 大数据分析(BDA)及其在情报领域的应用[J]. 中国电子科学研究院学报, 2013, 8(1):18-22.

[4] 刘智慧, 张泉灵. 大数据技术研究综述[J]. 浙江大学学报(工学版), 2014, 48(6):957-972.

[5] 杨小牛, 杨志邦, 赖兰剑. 下一代信号情报侦察体系架构:大数据概念的应用[J]. 中国电子科学研究院学报, 2013, 8(1):1-7.

[6] 李永波. 基于数据挖掘的军事情报分析系统研究[D]. 重庆大学, 2005.

[7] 蒋盘林. 大数据通用处理平台及其在ISR领域的潜在军事应用[J]. 通信对抗, 2013, 32(3):1-5.

[8] 李毅, 刘兴川, 孙亭. 基于大数据的公安情报分析系统研究[C]// 2014中国指挥控制大会. 2014.

作者为中国电子科学研究院专家郭继光, 黄胜。本篇节选自论文《基于大数据的军事情报分析与服务系统架构研究》,发表于《中国电子科学研究院学报》第12卷第4期。

<