本文的提出背景的国防部要在战斗机组中实现高比率的自动驾驶车辆，以减少战斗部队在危险条件下的危险暴露、预先侦察和消除威胁。而自主系统需要进行测试，这样其任务能力和鲁棒性才能被预测，其中主要挑战是自主系统的测试策略。本文的目标是开发一个高效的智能测试流程，使战场上能快速引入自主系统。目前的国防部测试和评估能力和方法虽然足够用于紧密连接的人在环系统，但不足以用于在非确定性环境下运行的复杂自主系统的任务确认。为此，提出了一种新的基于战争博弈仿真的多目标进化测试框架，该框架使用进化算法来识别任务失败模式，从任务满意度的角度来有效地识别故障场景。

本文的主要贡献是提出了进化测试框架，基于有限规模战争博弈的初步实验结果，以及将此工作发展为可部署任务测试评估框架的思路。

解决的问题：

1）缺乏对在非确定性环境下运行的复杂自主系统进行任务确认的测试和评估方法。

2）缺乏针对这些未来自治系统的可扩展测试策略集。

实验方法：

基于进化任务的测试和评估框架基于多目标进化算法（NSGA-II）和MAK虚拟现实部队（MAK VR-Forces），这是一个用于生成和执行战场场景的仿真工具包。在这个模拟环境中，可以创建各种类型的蓝色（友军）和红色（敌军）部队组合，并允许它们按照高级方向交战。交战实体（如坦克、步兵、无人机等）具有可配置的行为，在战场场景中表现为分布式自治代理。对于给定的任务，多目标进化算法智能生成一系列测试用例，这些测试用例将使任务失败，由此来识别一个自动化系统的故障模式。

进化算法生成的每个测试用例都会改变蓝方和红方部队的资源分布、初始条件、敌对部队能力、地形和交战区域，从而构成一个配置。在每次配置执行结束时，观察系统状态和结果，以生成对进化算法的度量反馈。仿真的执行和结果受动态障碍物和反作用力行为等因素的影响。每次执行结束时计算的利益指标是损失交换率（LER）和健康敌军百分比（PHEF）。进化算法寻求最小化这两个指标。LER度量的最小化奖励友军损失，而PHEF度量的最小化奖励敌方损失。这两个指标相互对立，并确定了一个最佳的权衡边界。这样一个权衡边界允许决策者从任务不满意的角度评估与每个最优权衡方案相关的条件和结果。

实验结果：

实验模拟了2000米x 2000米的地形，在该地形布局中，蓝色和红色的军队可能来自四个角中的一个，但一会来自同一个角。每支敌对部队的任务是在蓝红色部队交战区内到达并攻占一个目标点。多目标进化算法改变了以下参数：蓝方军队规模大小为红方军队规模大小的50%到200%，固定在10个T80坦克上；蓝红力交战区内目标点的X-Y坐标；蓝红军队在蓝红军队不可满足的约束下的起始位置。从同一个地方开始。我们使用20个种群，总共30代，总共600个模拟。每个模拟执行3分钟，总共执行30小时。进化算法执行结束时的最佳权衡边界如图1所示。

总结：

本文开发并提出了一个针对自主系统智能车和评估的基础框架，该框架基于自动化系统仿真工具和多目标进化算法的使用。其中，进化算法通过智能搜索并从任务满意度的角度来识别故障模式。进化算法生成测试用例构成配置进行实验，实验基于一个由M1A1蓝色坦克和T80红色坦克组成的有限规模战争博弈，通过不同配置最终确定最佳权衡边界，给出了初步的实验结果，为决策者提供评估最有权衡方案相关的条件和结果。实验结果显示，该框架能够在随机开放环境下对自主系统进行测试和评估，并通过进化算法生成测试用例的配置可以进行扩展。

未来工作：

本文提出，为了最终在作战战斗机机群中实现高比例的任务认证自主车辆，需要实现以下几个目标：第一个目标是试验更复杂的战场场景，包括部队混合（坦克、步兵、飞机等）和地形。第二个目标是通过高性能硬件加速整个仿真执行时间。第三个目标是利用分配计算和协同进化计算框架，以便在大规模战场场景中实现可扩展的网络高效搜索。长期的愿景是让一个决策者有能力用一个快速的虚拟系统来测试复杂的自治系统，这样这些自治系统就可以被强大的任务认证为被广泛接受和无缝地独立运行或作为人在环系统的一部分。

图1 进化算法执行结束时确定的最佳折衷边界