一种沉浸式平行训练系统的制作方法

本发明属于军事演练技术领域，尤其涉及一种沉浸式平行训练系统。

背景技术：

1.美军步兵虚拟训练

2011年，美国陆军历时5年、花费5700万美元研发出dsts(dismountedsoldiertrainingsystem，步兵训练系统)。随后根据vr技术发展，逐步对该系统进行更新升级。利用vr眼镜、枪械模拟器和领先的cryengine游戏引擎，该系统可以营造具有人机互动效果的全浸入式虚拟环境，可以让士兵在投入实战前进行真实的作战模拟，通过该系统，美陆军的指挥员、士兵及作战分队可在近乎真实的虚拟环境中策划和演练单独或集体军事行动，并重复使用某个训练场景，从而实现训练目标并最大限度地利用训练时间。

dsts具有一定的局限性：一是必须在布设了众多信息采集设备的固定场所中使用；二是最多只能支持9人参加训练；三是受训者只能在10英尺*10英尺(3.048m*3.048m)的范围内活动；四是vr训练模式缺少实景。

2.纽约警察局虚拟射击训练系统

2019年4月，美国纽约警察局数百名警察测试了v-armed公司和路易斯安那州立大学共同开发的vr虚拟射击训练系统，系统允许多名受训者在一个巨大的空旷空间中移动，并通过头显、身体传感器、武器道具来体验各种逼真场景。尽管该技术目前正在与纽约警察局进行试验，但它有可能成为全国执法部门使用的通用培训系统。

系统依托商用三维渲染引擎提供逼真的vr视觉画面、声音效果及其他感官体验，并旨在带来与真实情形相同的精神与肉体挑战，甚至令受训者感到肾上腺素的激增。与现实世界一样，受训者可以互相喊叫或通过手势交流。指挥人员可以随时从任何角度查看训练，并在之后重播画面以进行复盘。

该系统与dsts相比取得了一些进步，如突破了同时受训人数的限制和受训者活动范围的限制，受训者可以在固定场所内自由移动；但仍存在着在固定场所内使用、vr训练模式缺少实景的不足。

技术实现要素：

本发提供一种沉浸式平行训练系统，用以解决现有技术中步兵班组作战训练面临着场景复杂过程多变且难以记录和复现、受制于场地和人员难以扩大训练规模、无法对概念阶段的装备进行验证、训练成本和危险性高等技术问题。

根据本发明的一个方面，提供一种沉浸式平行训练系统，所述沉浸式平行训练系统包括：传感装置以及构建系统，其特征在于，所述构建系统包括：三维场景实时构建单元，用于基于各个实体士兵的位置和头部姿态构建训练的三维场景；导演控制台单元，用于对训练前的所述三维场景进行编辑，以及对训练时的过程进行监控及干预；综合显示及指挥单元，用于显示战场态势信息以及对各个实体士兵下达指令；态势数据同步单元，用于将多名实体士兵的位置、动作、语音、操作指令同步，并将态势数据和指控数据进行交互传输。

在一些实施例中，所述构建系统还包括：数据记录单元，用于将训练过程的态势、动作及指令信息保存在数据库中。

在一些实施例中，所述构建系统还包括：过程回放及效能评估软件单元，所述过程回放及效能评估软件单元包括：过程回放模块，用于基于读取数据库中的数据内容，对训练过程进行回放；效能评估模块，用于对训练结果进行效能评估和分析。

在一些实施例中，所述态势数据同步单元包括：同步模块，用于将多名实体士兵的位置、动作、语音、操作指令同步；接收模块，用于接收态势数据和指控数据；发送模块，用于发送态势数据和指控数据。

在一些实施例中，所述传感装置包括背包计算机、动作捕捉传感器、头盔显示器以及枪型控制器；所述背包计算机用于与所述构建系统进行交互传输信息；所述动作捕捉传感器用于实时采集士兵的动作，以使实时更新所述三维场景中与实体士兵对应的士兵模型；所述头盔显示器用于向实体士兵展示沉浸式三维场景；所述枪型控制器用于向所述背包计算机传输瞄准、射击指令以及控制器位置信息。

在一些实施例中，所述枪型控制器为电子设备。

在一些实施例中，所述动作捕捉传感器由若干个惯性传感器构成。

在一些实施例中，所述传感装置还包括体感服，用于响应被枪击的事件，并通过振动反馈给实体士兵。

在一些实施例中，所述传感装置还包括气味模拟器，用于根据训练中的事件进行模拟多种气味。

本申请的沉浸式平行训练系统通过突破视觉辅助惯性的户外高精度定位技术、视频穿透式混合现实技术、全三维战场态势虚实融合展示及全数据驱动等关键技术，实现“实景+虚景、实兵+虚兵、实装+虚装”的“基于现实却超越现实”的平行训练系统，满足步兵班组复杂的训练需求，达到“练兵、练装、练战法”的目的。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种沉浸式平行训练系统的一实施方式的示意图；

图2为本发明中构建系统的一实施方式的示意图；

图3为本发明中过程回放及效能评估软件单元的一实施方式的示意图；

图4为本发明中态势数据同步单元的一实施方式的示意图；

图5为本发明中传感装置的一实施方式的示意图；

图6为本发明的一具体实施例中传感装置的示意图；

图7为本发明的一具体实施例的工作流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图7，本申请针对步兵班组作战训练面临着场景复杂过程多变且难以记录和复现、受制于场地和人员难以扩大训练规模、无法对概念阶段的装备进行验证、训练成本和危险性高等技术问题，提出一种沉浸式平行训练系统，通过突破视觉辅助惯性的户外高精度定位技术、视频穿透式混合现实技术、全三维战场态势虚实融合展示及全数据驱动等关键技术，实现“实景+虚景、实兵+虚兵、实装+虚装”的“基于现实却超越现实”的平行训练系统，满足步兵班组复杂的训练需求，达到“练兵、练装、练战法”的目的。

其中，实景+虚景：在视觉、听觉、触觉等方面，受训者感知到的是现实与虚拟实时混合的场景。视觉上可以看到现实物体和虚拟物体共存，听觉上可以同时听到现实世界中队友的口令和虚拟场景中的爆炸声，触觉上可以体验到被枪击中的感觉。按照“实景毛坯化、虚景定制精装化”的原则，可以将常规、简单的实景通过叠加虚景来模拟复杂多变的训练场景。

实兵+虚兵：在真实士兵参加的训练中，为了向实兵提供更多的敌军或友军，借助ai技术在训练场景中加入虚拟士兵(简称“虚兵”)。虚兵具有自主运动和作战能力，包括路径规划、躲避、瞄准和射击等，可以与实兵协同配合或对抗，以此扩大训练规模。

实装+虚装：虚装是指利用ai技术模拟各种有人或无人装备，例如无人机、装甲车等，与虚兵类似可以实现扩大训练规模的目的。同时，针对概念阶段的装备(如无人车)，可以通过建立其对应的虚装使其提前参与作战训练，进行类实战化验证。

此外，parts还支持受训者在户外公里级大空间或室内空间的自由移动，采用开放式架构支持新的实装或虚装的接入，采用大量体感设备提高沉浸感；支持训练过程记录与回放，便于事后复盘和总结提高。

项目研究成果可有效降低训练成本、拓展训练场景、提高训练效率和效果，达到“练兵、练装、练战法”的目的。研究意义主要包括：

经济、安全：避免使用“真枪实弹”产生的资源消耗，节约了成本；使受训者既能够感受“真实”的战场环境，又不会发生实质性伤害。

高频、高效：可全天候、不动用实装的情况下开展训练，极大地提升士兵的训练频率和效率，增强作战力。

练兵：可以模拟多种战场环境以及成千上万种战场突发状况，让士兵体验不同的作战效果，进而像参加实战一样，锻炼和提高反应能力和心理承受力，培养“身经百战”的士兵。

练装：支持各种单兵装备、指挥装备、无人装备以实物或算法的形式接入训练系统，验证装备的可用性及与体系的匹配性。

练战法：通过训练过程回放和自动化效能评估，对指挥协同、战术配合和综合保障能力等进行总结评价，通过反复训练和总结达到持续完善战法的目的。

请参阅图1和图2，本发明的沉浸式平行训练系统包括：传感装置以及构建系统。构建系统包括：

三维场景实时构建单元，用于基于各个实体士兵的位置和头部姿态构建训练的三维场景；

导演控制台单元，用于对训练前的三维场景进行编辑，以及对训练时的过程进行监控及干预；

综合显示及指挥单元，用于显示战场态势信息以及对各个实体士兵下达指令；

态势数据同步单元，用于将多名实体士兵的位置、动作、语音、操作指令同步，并将态势数据和指控数据进行交互传输。

本实施方式中，三维场景实时构建单元负责根据每个实体士兵的位置和头部姿态为其构建相应的三维场景，并在战场态势信息、指控信息和ai虚拟角色计算模块的驱动下进行场景更新，利用三维视图结合ar技术进行逼真的场景渲染显示，并能够对电磁、目标指示、辅助决策等非可视信息进行可视化，增强士兵训练时的信息供给能力；借助立体声场技术实现立体声渲染，增强士兵训练时的沉浸感；

导演控制台单元(导演端)用于：一是训练前的三维场景编辑，二是训练时的过程监控及干预，三维场景编辑指可基于战场环境素材库进行三维场景布设、战场事件添加及编辑、虚拟兵力部署。训练过程监控及干预指在训练过程中，导演端可实时监控红蓝双方战况(实兵动作将根据动捕信息在导演端重现)，并可实时添加动态事件到战场干预训练进程；

综合显示及指挥单元(指挥端)由指挥官使用，分为红白蓝三种模式，红方、蓝方模式下可以显示己方已知的战场态势信息，指挥官可以利用该单元为士兵下达语音和图像指令，白方模式可以观看整个战场的态势；

态势数据同步单元对外负责接收和发送态势数据和指控数据，对内负责多名士兵位置、动作、语音、操作指令同步等，软件与三维场景实时构建软件连接并驱动后者更新，支持udp传输协议，具有较强的实时性，与数据记录软件连接，将态势、动作和指令数据发送至后者供其记录保存；

数据记录单元负责将训练过程的态势、动作及指令信息保存在数据库中，根据这些数据可以完整地复盘整个训练过程；

过程回放及效能评估单元通过读取数据库能够对训练过程进行回放，支持暂定、变倍速回放等功能；同时可对训练结果进行效能评估和分析。

请参阅图3，上述实施例中的过程回放及效能评估单元包括：过程回放模块，用于基于读取数据库中的数据内容，对训练过程进行回放；效能评估模块，用于对训练结果进行效能评估和分析。

请参阅图4，上述任一实施例中的态势数据同步单元包括：同步模块，用于将多名实体士兵的位置、动作、语音、操作指令同步；接收模块，用于接收态势数据和指控数据；发送模块，用于发送态势数据和指控数据。

请参阅图5和图6，在上述任一实施方式的基础上，传感装置包括：

背包计算机，用于与构建系统进行交互传输信息；

动作捕捉传感器，用于实时采集士兵的动作，以使实时更新三维场景中与实体士兵对应的士兵模型；

头盔显示器，用于向实体士兵展示沉浸式三维场景；

枪型控制器，用于向背包计算机传输瞄准、射击指令以及控制器位置信息；

体感服，用于响应被枪击的事件，并通过振动反馈给实体士兵；

气味模拟器，用于根据训练中的事件进行模拟多种气味。

本实施例中，背包计算机由参训士兵背负，可接入无线局域网，负责接收动捕信息、头盔显示器提供的位置信息，通过运行相关软件向头盔显示器提供实时三维场景、指控信息(图像、文字、声音)等；

动作捕捉传感器由若干惯性传感器构成，通过将传感器佩戴在参训士兵的手臂(前臂、上臂)、腿部(大腿、小腿)等位置，可以实时采集士兵的动作，用来实时更新三维场景中对应的士兵三维模型；

头盔显示器除带有两块显示屏外还集成了耳机和麦克，主要具有两方面功能：一是展示沉浸式三维场景(含声音)，二是采集士兵位置信息和语音信息；

枪型控制器为电子设备，具有枪支的形状，通过蓝牙或无线与背包计算机相连，并向计算机传递瞄准、射击指令和控制器位置信息；

体感服通过振动响应被枪击的事件；

气味模拟器可根据训练中的事件模拟火药等多种气味。

在一些实施例中，枪型控制器为电子设备。

在一些实施例中，动作捕捉传感器由若干个惯性传感器构成。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除