原创最新应用 | 强化学习惊人仿真动力学，生成最恶劣RDE工况

 2022-10-18 15:11  1949 12 4 分类: 汽车电子

背景：“国六”——新的标准和挑战为进一步强化机动车污染防治，控制实际行驶过程中的排放，环境保护部、国家质检总局出台了国六法规，规定所有汽车均应按照法规要求进行RDE试验。

国六，即“国家第六环节机动车辆空气污染物环保标准”，被分成“国六a”和“国六b”两个阶段，国六b将于2023年7月1日在全国各地统一执行。法规对一氧化碳、非甲乙烷、氮氧化合物及其PM可吸入颗粒物的排放标准益发严苛。

国六b比国六a更严

‍RDE：Real Driving Emission，实际道路排放，是指车辆在实际道路上行驶时的污染物排放。通过使用车载便携式排放设备PEMS(Portable Emission Measurement System)对所有车辆在实际道路行驶条件下进行排放测试。

RDE 实际道路排放试验“国六b”法规规定所有汽车均应按照法规附录测试要求进行RDE试验，试验结果市区行程和总行程污染物排放，均不得超过I型试验排放限值与规定的符合性因子（Conformity Factor，CF）的乘积，计算过程中不得采用四舍五入。
RDE试验带来的挑战：1. 驾驶员行为（驾驶风格等）差异大；2. 外部环境（温度、海拔等）不可控因素多；3. 依靠人工经验难以覆盖各种变型配置项目；4. 转毂测试条件较为单一，很难进行完整的验证与标定；5. 试验占用资源多，费用昂贵、周期长、难度大。

解决方案‍面对这些挑战，在确定了委托方需求之后，不依赖于已知的某种物理方程的专家模型，而是通过机器学习方法，应用自主研发数据驱动强化学习算法工具包「仙启」Revive，来构建与现实排放和动力学表现相符的虚拟模型。这个方案旨在避免大量实车道路测试，充分利用有限的资源，迅速适应不同车型（动力总成）的开发需求，快速找到最恶劣的RDE排放工况，来证明车型是否可以满足RDE法规要求
相较传统方法，这个方案能够：
1. 更为完整地覆盖法规定义的RDE工况域，避免大规模重复进行RDE试验；2. 可进行较长时间、可交互的整车动力学、气体排放等动态虚拟仿真；‍3. 与实车的动力性能高度匹配，工况表现能够在实际道路试验中成功复现；4. 大大降低整车在排放标定开发阶段的经济成本、时间成本以及人力成本。此外，它还提供了法规约束边界库，可以按照法规要求的更新对约束条件进行调整。同时，还可以根据最新数据，对策略进行及时更新，以适应不断变化的真实业务场景。
案例和成果：2022年，某汽车研发中心希望南栖仙策帮助缩短某款车型的研发周期，该方案大大降低了真实道路环境下的需要进行的测试次数，提高了动力系统的开发和验证效率。在本案例中，我们导入的是RDE 5600 秒采数据：

‍ 秒采数据示意图

经过在「仙启」Revive中建模和训练，我们可以看到，Revive算法呈现的虚拟仿真模型与真实环境的拟合的效果良好。我们还与传统监督学习的行为克隆方式做了比较，通过对比，能够更直观的看出，强化学习构建的虚拟模型与真实动力学和道路排放的结果有多惊人：‍
‍动力学模型：

车速模拟与真实数据对比（训练集）

发动机转速模拟与真实数据对比（训练集）

发动机扭矩模拟与真实数据对比（训练集）

车速模拟与真实数据对比（验证集）

发动机转速模拟与真实数据对比（验证集）

发动机扭矩模拟与真实数据对比（验证集）排放模型：

CO排放模拟与真实数据对比

CO2排放模拟与真实数据对比

NOX排放模拟与真实数据对比

PN排放模拟与真实数据对比‍通过虚拟环境的构建和验证，我们可以看到，Revive基于强化学习的核心算法仿真的准确性，相比于行为克隆（一种基础监督学习技术），预测误差显著降低。这得益于南栖仙策在基础模型理论和因果泛化理论上的学术突破，使得Revive可以进行更长时间步的序列推演，从而使虚拟仿真结果覆盖面更广，也更精确。

在完成验证之后，接下来我们就可以在仿真环境中进行策略训练和优化，找到最恶劣的RDE排放工况，检查是否符合法规标准。

这是我们在本例中通过模型找到的最恶劣排放工况，可以看到，即便在如此恶劣的驾驶工况条件下，这款车型的动力和排放系统也可以满足法规要求。