搭载自动驾驶功能的智能网联汽车因可在其设计运行条件内承担全部动态驾驶任务，面临安全验证与评估挑战。基于场景的智能网联汽车安全测试评估方法已成为广泛的行业共识，模拟仿真测试是其重要手段之一。从第三方视角，针对自动驾驶安全性、高场景覆盖度、逻辑完备性等测试验证目标，搭建基于软件在环的模拟仿真测试环境框架，在此基础上研究基于设计运行条件覆盖的测试场景集构建方法，探索形成一套高可信智能网联汽车模拟仿真测试评估方法，并在特定应用场景进行初步实践。研究成果为模拟仿真测试在智能网联汽车安全测试与评估中的落地应用提供了参考。
随着自动驾驶技术的快速发展，智能网联汽车在改善出行的同时，预期功能安全等新的安全风险也日益凸显。为实现“与人类驾驶安全性能相比具有正向风险平衡”的目标[1]，智能网联汽车面临海量场景测试挑战[2]。与实车测试方法相比，模拟仿真测试以其高效率、低成本、高安全、高覆盖度等优势，成为测试验证系统安全的重要支柱之一[3-4]，在智能网联汽车综合安全评估中发挥着至关重要的作用。
国内外学者、机构在模拟仿真测试方法、测试场景、仿真建模、工具链可信度等方面已开展大量基础研究工作[5-8]。针对产品的不同阶段，不同类型的模拟仿真测试方法不仅应用于智能网联汽车开发过程，在产品验证、确认和评估中也逐步扮演重要角色。联合国在针对L3自动驾驶功能自动车道保持系统（Automated Lane Keeping Systems，ALKS）的型式批准法规中提出可以采用模拟仿真测试的手段进行测试验证，并对仿真工具、模型等提出相关要求[9-10]，日本在其型式批准实施中明确引入软件在环（Software-in-the-loop，SIL）和硬件在环（Hardware-in-the-loop，HIL）测试[11]。联合国自动驾驶验证方法非正式工作组（VMAD IWG）提出的新测试评估方法（NATM）中要求使用经验证的仿真工具链，进行模拟仿真测试来评估自动驾驶系统（Automated Driving System，ADS）安全性，并提出SIL测试适用于驾驶安全及关键安全场景评估[12]。欧盟在关于自动驾驶系统型式批准要求的法规草案中明确可以采用模拟仿真、封闭场地和实际道路等测试方法，并引入联合国关于模拟仿真测试可信度研究的成果[13]。ISO制定的车辆动力学仿真模型及测试方法等相关标准，为车辆动力学仿真测试验证提供基础[14-15]。Schöner[16]等研究提出SIL测试是解决复杂和困难场景下控制算法验证、行为和规则合规性验证的有效手段。国内相关机构从第方视角研究提出一套智能网联汽车安全测试评估方法，并明确将模拟仿真测试用于评估智能网联汽车在多样化场景和复杂条件下的功能及性能验证[17]。以上研究表明，随着技术的成熟，模拟仿真测试能为智能网联汽车安全测试评估提供重要支撑，其中，SIL测试以其低成本、低风险、高效率和高覆盖度等优势，成为验证智能网联汽车安全性，尤其功能不足和算法缺陷等问题的重要手段。
本文在国内外模拟仿真测试技术研究以及相关实践应用的基础上，结合我国智能网联汽车安全管理需求，站在第三方视角，聚焦搭载自动驾驶功能的智能网联汽车产品安全，提出一套基于SIL的模拟仿真测试评估方法，重点从模拟仿真测试环境框架、基于设计运行条件（Operational Design Condition，ODC）覆盖的测试场景集生成方法、测试环境可信度验证与评估等方面进行分析。此外，对模拟仿真测试验证评估流程进行研究梳理，并针对自动驾驶系统特定场景应用开展初步的测评实践。
1 模拟仿真测试方法研究
1.1模拟仿真测试总体框架
模拟仿真测试方法以自动驾驶功能定义、ODC、安全要求等测试输入为基础，从测试环境搭建、覆盖ODC的测试场景集构建以及可信度验证与评估三个方面开展具体研究，总体研究框架如图1所示。
图1 基于场景的智能网联汽车模拟仿真测试总体研究框架
1.2模拟仿真测试输入
模拟仿真测试输入包括被测算法及仿真模型、自动驾驶功能定义及ODC、安全要求及接受准则、企业模拟仿真自测数据等。
（1）被测算法及仿真模型：提供待测试验证的自动驾驶算法，以及搭载自动驾驶功能车型的车辆动力学模型及参数，自动驾驶系统相关的传感器配置、模型及参数，并提供车辆动力学模型和传感器模型的可信度验证和评估证明。
（2）自动驾驶功能定义及ODC[18-19]。
（3）安全要求及接受准则[4]。安全要求包括对动态驾驶任务执行、系统后援、危险情况、系统失效等的要求。同时根据安全要求，制定合理的风险接受准则。
（4）企业模拟仿真自测数据：提供企业模拟仿真自测关键数据，包括仿真测试场景集、测试工具链、仿真模型、仿真测试结果等。
1.3 模拟仿真测试环境搭建
模拟仿真测试以测试场景集为基础，通过对环境、传感器、车辆动力学等模拟，搭建自动驾驶系统测试所需的测试环境，实现自动驾驶系统在模拟交通场景中的高效率、高覆盖度测试。本文基于政策、法规、标准、工具等研究基础，结合行业探索实践[20]，以自动驾驶算法为测试对象，构建模拟仿真测试环境搭建的通用框架，如图2所示。
图2 模拟仿真测试环境框架
模拟仿真测试以基于ODC覆盖的方法建立的测试场景集为输入，导入传感器模型（如需）和车辆动力学模型，在场景覆盖度分析、场景泛化策略分析等测试策略指导下，融合交通流模型（如需）提供的模拟交通流，通过场景解析、地图解析、仿真运算、模型耦合、时间同步等运算处理实现对测试场景的模拟，建立自动驾驶算法测试所需的测试环境。
在具体测试过程中，传感器模型（如需）通过测试场景获取道路、交通流、环境等信息，并将原始数据或目标级数据输入给自动驾驶算法，自动驾驶算法将经过感知、规划、决策、控制等模块计算得到的车控指令输入给车辆动力学模型，以验证自动驾驶算法功能的实现情况。模拟仿真测试还可以通过联合仿真、并行仿真、自动化测试等方式提高测试精度和效率。
完成具体测试后，仿真引擎将测试结果输出至评价模块，评价模块基于指标体系的量化指标，进行通过性分析，形成自动驾驶算法模拟仿真测试评估结果。此外，通过对测试结果进行分析，识别模拟仿真测试过程中的危险场景和边缘场景，为封闭场地测试场景选择和实际道路测试道路的测试场景选择提供依据。
1.4 模拟仿真测试场景集构建
国内外针对自动驾驶系统安全性测试的场景集已开展广泛研究与建设，如美国Mcity[21]、日本SAKURA[22]、英国MUSSIC[23]、智能网联汽车场景数据服务平台[24]等。
为满足场景覆盖度要求，测试场景集应涵盖ODC内及边界的各类场景，测试场景应包括ODC涉及的各类场景要素，如道路、交通、天气、车辆状态等。首先基于自然驾驶、法规、标准、交通事故等多种数据来源，构建由多源数据驱动的基准场景库；然后对被测车辆自动驾驶功能定义、ODC、安全要求等进行分析，筛选测试逻辑场景，并确定相关参数取值区间和概率分布，形成测试场景集；最后通过对取值区间和概率区间进行分层采样，对逻辑场景进行泛化，提取具体测试场景集，具体流程如图3所示。
图3 覆盖ODC的测试场景集构建
图4所示为针对高速公路/快速路应用场景下有条件自动驾驶系统交互场景测试场景集的部分示例，其中，图5所示为No.4（直道-主车道行驶-无前车-目标车切入）场景示例。
图4 测试场景集部分示例
图5 测试场景示例
1.5 测试可信度验证与评估
模拟仿真测试可信度用于验证仿真工具链、仿真模型以及测试环境等对实际测试过程中准确性、可靠性等要求的满足情况[25]。联合国、欧盟、日本等相关技术法规允许将模拟仿真测试用于型式批准测试，同时明确对仿真工具链、仿真模型等的可信度要求[9-13, 26]。
1.5.1 测试工具链置信度要求
测试工具链包含场景管理模块、仿真引擎、评价模块等。测试工具链的置信度要求取决于测试工具的预期使用目的、工具失效相关的风险、相关项或要素的汽车安全完整性等级（ASIL）等[27]。
模拟仿真工具链中的核心模块应通过置信度确认，以保障在仿真运算过程中，不会出现因仿真软件本身引发的计算错误、算法逻辑变更、超预期的信号时序变更、同步状态改变等问题，或者在错误发生时能够及时发现。
工具链需要从设计开发到测试验证进行全流程的安全评估保障，包括软件安全需求、代码架构、代码优化、合规性检测、数据流、控制流、单元设计、单元测试、集成测试等。
通过使用中积累置信度、工具开发流程评估、软件工具确认、按照安全标准开发等方法，以得出工具的潜在错误和使用限制要求，应按以下准则进行仿真工具链的确认：（1）应提供仿真工具链符合分级中指定用途的特定要求的证据。（2）应对确认中发生的仿真工具链功能异常及其相应错误输出、其可能的后果信息、及避免或探测它们的措施进行分析。（3）应检查仿真工具链对异常运行条件的响应。例如，可预见的误用、不完整的输入数据、使用被禁止的配置设置组合等。
1.5.2 模型可信度
模型可信度是指在基于场景的测试中，仿真测试与实车测试结果之间的统计不确定性或误差[28]。模型可信度有三层概念：（1）所有的实车测试轨迹在模拟仿真中都是可能的，并有相同的行为决策；（2）每个模拟仿真测试轨迹至少有一个实车测试轨迹对应；（3）仿真测试轨迹和实车测试轨迹的可能性是相同的。基于概念（3），假设两者发生概率相同，则表明模型是可信的。剩下的误差是统计上的不确定性，可通过模型标定，来降低模型参数后验分布的不确定性。
由于传感器模型和动力学模型误差，在对比过程中应分别观察实车和仿真运动曲线的趋势是否一致。选取合理的观察点，重点分析曲线拐点是否有状态判断、对自动驾驶算法的状态跳转的判定是否正确等，而非重点关注曲线具体数值。
1.5.3 测试环境可信度验证
测试环境可信度验证需要在相关测试场景集的较小但具有足够代表性子集上执行[12, 29-30]，具体流程如下：（1）选择用于可信度验证的场景和参数：从测试场景集中，选择用于可信度验证的子集，以及影响仿真结果的性能特征参数。（2）实车标定实验：在进行验证测试之前，执行实车标定试验，以测量需要在模拟工具中输入或调整的参数。（3）输入和调整仿真工具和环境的设置：根据要在模拟中使用的目标车辆的参数（如整备质量）和从“实车标定实验”中获得的数据输入和调整设置（如制动性能）。（4）确认可信度的实车测试：从可信度验证场景集中选择场景进行实车测试，如封闭场地测试。（5）确认可信度的仿真测试：从可信度验证场景集中选择场景进行模拟仿真测试。（6）确认测试环境的可信度：对比实车测试和模拟仿真测试结果，确认仿真环境的可信度。
2 模拟仿真测试与评估
基于搭建的高可信度测试环境，结合具体测试场景集，对自动驾驶算法开展大规模场景下的模拟仿真测试，以验证其在ODC内及边界的安全性[12,31]。具体测试与评估流程如图6所示，主要包括测试需求分析、测试资源配置和接口定义、测试用例生成、测试执行、测试结果评估等。
图6 模拟仿真测试与评估流程
（1）测试需求分析：测试前，应根据自动驾驶功能定义、ODC、安全要求、接受准则等识别模拟仿真测试场景集并制定测试方案。
（2）测试资源配置及接口定义：对仿真环境进行参数设置，如车辆动力学模型、传感器模型等；对自动驾驶算法和测试工具链间接口进行匹配和定义，包括数据格式接口、通信接口等。
（3）测试用例集生成：依据测试场景集泛化生成具体测试场景集。根据自动驾驶系统的安全要求和接受准则进行敏感性分析，实现降低参数空间维度，得到覆盖被测自动驾驶系统功能和ODC的充分合理的模拟仿真安全测试用例集。
（4）测试执行：在具体测试过程中，被测系统算法可进行单一场景和/或路网连续里程仿真测试。若某场景试验结果为不通过，则该场景的仿真测试失败[32]。当完成所有仿真测试用例的测试后，模拟仿真测试结束。
（5）测试结果评估：基于自动驾驶系统的安全要求和测试结果，对系统进行安全评估，并与评价标准进行比较，判断整体风险水平是否可接受和测试场景通过性。
3 模拟仿真测试与评估实践
以图4中No.2跟随前车行驶场景为例，在自动驾驶功能开启状态下主车跟随前方目标车辆行驶，在主车车道内目标车加速或减速运动，如图7所示。
图7 跟随前车行驶场景示意图
测试准备和执行部分，仅列出在验证测试环境可信度的四个典型场景下，模拟仿真和封闭场地测试的结果对比作为示例。
3.1 测试准备
3.1.1测试对象及测试工具链
本次测试实践中，根据不同自动驾驶功能设计特征，选用两款车型分别进行低速和高速自动驾驶功能测试，选取中国第一汽车集团有限公司的红旗E-HS9车型进行低速工况下的功能测试，广州汽车集团股份有限公司的AION LX车型进行高速工况下的功能测试。模拟仿真测试工具链基于北京赛目科技有限公司的Sim Pro 1.8.0版本[33]，与仿真测试对比的实车测试分别在一汽及广汽试验场实施。
3.1.2 测试条件选择
为排除环境因素对实车传感器探测性能的干扰，选择在空旷、车道线清晰、无其他干扰车的封闭场地内，对目标车加速、减速两个场景进行仿真和实车对比测试。
3.1.3 主车与目标车参数定义
3.1.4 道路参数设置
道路参数具体设置如表1所示。
表1 道路参数设置
3.1.5 通过准则
针对跟车场景，在跟车行驶过程中保持跟车时距，根据前方目标车情况控制主车加减速行驶并不得与前车发生碰撞，跟车时距不小于系统设定的最小跟车时距，TTC不小于系统设定的安全阈值（阈值随车速变化）。
针对上述方案，分别对加速、减速两个场景下的跟车距离、速度、加速度三个指标进行观察，分析其运动学曲线，关注数据拐点符合度和运动趋势，进行综合结果判定。
3.2测试执行
3.2.1 低速工况
（a）动态跟车距离
（b）主车与目标车速度
（c）主车加速度
图8 目标车加速场景
（2）目标车减速场景
（a）动态跟车距离
（b）主车与目标车速度
（c）主车加速度
图9 目标车减速场景
3.2.2 高速工况
（1）目标车加速场景
（a）动态跟车距离
（b）主车与目标车速度
（c）主车加速度
图10 目标车加速场景
（2）目标车减速场景
（a）动态跟车距离
（b）主车与目标车速度
（c）主车加速度
图11 目标车减速场景
3.3测试评估
3.3.1 测试可信度评估
在3.2中四个试验场景的测试结果对比中，针对跟车距离、速度、加速度时间曲线，通过观察分析运动趋势、拐点、数据震荡趋势等数据观察点（同色圆圈标记处），分析表明：仿真和实车测试数据趋势表现一致，由此可判定，仿真测试在功能逻辑测试方面的测试结果具备较高可信度。
由于测试过程中，受实车动力总成响应慢于仿真模型、动力学模型标定差异、加减速时模型的表现差异等因素影响，观察时应充分考虑实车与仿真的表现差异，对数据进行平移、拉伸等处理后再进行对比观察。
3.3.2 模拟仿真测试评估
图12 目标车减速场景
其中，测试结果显示，在车速58km/h时发生了碰撞。经分析发现，发生该碰撞的原因是，在紧急制动模块（最大刹停速度为60km/h）的速度边界时，由紧急制动模块的减速作用切换至单车道自动驾驶模块减速，紧急制动模块的减速请求退出过早，而单车道自动驾驶模块减速请求尚未介入，进而导致了碰撞。
4 结语
本文从第三方角度出发，基于智能网联汽车“三支柱”安全测试评估方法研究，提出一套基于场景的模拟仿真测试评估方法，分别从模拟仿真测试环境框架、测试场景集构建、测试可信度验证与评估等方面进行研究，梳理形成了模拟仿真测试与评估流程，并在特定应用场景下开展初步实践。随着自动驾驶技术的迭代更新，以及模拟仿真测试技术的持续改进，针对智能网联汽车的模拟仿真测试评估方法也需要不断更新完善，以更好地适应产业发展和行业管理需要。
参考文献
[1] Ethics Commission. Automated and Connected Driving [R]. Germany：Ethics Commission，2017.
[2] RAND. Autonomous Vehicle Technology: A Guide for Policymakers [R]. United States：RAND，2014.
[3] OICA. Future Certification of Automated/Autonomous Driving Systems [R]. French：OICA，2019.
[4] 刘法旺, 曹建永, 张志强等. 基于场景的智能网联汽车“三支柱”安全测试评估方法研究 [J]. 汽车工程学报，2022，12（5）.
LIU Fawang, CAO Jianyong, ZHANG Zhiqiang, et al. A Scenario-Based “Three-Pillar” Safety Testing and Assessment Method for Intelligent and Connected Vehicles [J]. Chinese Journal of Automotive Engineering，2022，12（5）.（in Chinese）
[5] 朱冰, 张培兴, 赵健等. 基于场景的自动驾驶汽车虚拟测试研究进展 [J]. 中国公路学报，2019，32（6）.
ZHU Bing, ZHANG Peixing, ZHAO Jian, et al. Review of Scenario-based Virtual Validation Methods for Automated Vehicles [J]. China Journal of Highway and Transport，2019，32（6）. （in Chinese）
[6] KIROVSKII O. Determination of Validation Testing Scenarios for an ADAS Functionality: Case Study [J]. SAE Paper，2019.
[7] DAVISION A J, REID I D, MOLTON N D, et al. MonoSLAM: Real-time Single Camera SLAM [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（6）.
[8] GUO J, DENG W W, ZHANG S M, et al. A Novel Method of Radar Modeling for Vehicle Intelligence [J]. SAE Paper，2016.
[9] Economic Commission for Europe. Uniform provisions concerning the approval of vehicles with regard to Automated Lane Keeping Systems [Z]. United Nations：Economic Commission for Europe，2021.
[10] Economic Commission for Europe. Proposal for the 01 series of amendments to UN Regulation No. 157 (Automated Lane Keeping Systems) [Z]. United Nations：Economic Commission for Europe，2022.
[11] 国土交通省. TRIAS 48-R157-01自動車線維持システム試験（協定規則第157号）[Z]. 日本：国土交通省，2020.
Ministry of Land and Communications. TRIAS 48-R157-01 Automated Lane Keeping Systems Test (Agreement No.157) [Z]. Japan：Ministry of Land and Communications，2020.（in Japanese）
[12] Economic Commission for Europe. New Assessment/Test Method for Automated Driving (NATM) Guidelines for Validating Automated Driving (ADS) Safety [Z]. United Nations：Economic Commission for Europe，2022.
[13] European Commission. Draft Commission Implementing Regulation：Laying Down Rules for the Application of Regulation (EU) 2019/2144 of the European Parliament and of the Council as Regards Uniform Procedures and Technical Specifications for the Type-Approval of Motor Vehicles with Regard to their Automated Driving System (ADS) (G/TBT/N/EU/884) [Z]. Europe：European Commission，2022.
[14] ISO 11010-1: 2022. Passenger cars — Simulation model classification — Part 1: Vehicle dynamics [S]. Switzerland：International Organization for Standardization，2021.
[15] ISO 22140: 2021. Passenger cars — Validation of vehicle dynamics simulation — Lateral transient response test methods [S]. Switzerland：International Organization for Standardization，2021.
[16] SCHÖNER H P. Simulation in Development and Testing of Autonomous Vehicles [J]. Germany：18th Internationales Stuttgarter Symposium，2018.
[17] 刘法旺, 徐晓庆, 陈贞等. 搭载自动驾驶功能的智能网联汽车安全测试与评估方法研究 [J]. 汽车工程学报，2022，12（3）.
LIU Fawang, XU Xiaoqing, CHEN Zhen, et al. Research on Safety Test and Assessment Method of Intelligent and Connected Vehicle with Autonomous Driving Function [J]. Chinese Journal of Automotive Engineering，2022，12（3）.（in Chinese）
[18] National Highway Traffic Safety Administration. A Framework for Automated Driving System Testable Cases and Scenarios [R]. United States：National Highway Traffic Safety Administration，2018.
[19] BSI PAS 1883: 2020. Operational Design Domain (ODD) taxonomy for an automated driving system (ADS) – Specification. United Kingdom：The British Standards Institution，2020.
[20] WEISSENSTEINER P, STETTINGER G, RUMETSHOFER J, et al. Virtual Validation of an Automated Lane-Keeping System with an Extended Operational Design Domain. Electronics [J]. Electronics，2022，11（1）.
[21] Mcity. Driving Progress: 2019 Annual Report [R]. United States：Mcity，2019.
[22] SAKURA. Towards the Harmonization of Safety Assessment Methods of Automated Driving [R]. Japan：SAKURA，2021.
[23] Department for Transport. Automated Vehicles in the UK [R]. United Kingdom：Department for Transport，2019.
[24] 陈贞. 智能网联汽车场景数据服务平台 [R]. 北京：世界智能网联汽车大会，2021.
CHEN Zhen. Intelligent and Connected Vehicle Scenario Data Service Platform [R]. Beijing：World Intelligent Connected Vehicles Conference，2021. （in Chinese）
[25] International Alliance for Mobility Testing and Standardization. International Alliance for Mobility Testing and StandardizationTM Best Practice: A Comprehensive Approach for the Validation of Virtual Testing Toolchains [Z]. United States：International Alliance for Mobility Testing and Standardization，2021.
[26] DONÀ R, CIUFFO B. Virtual Testing of Automated Driving Systems. A Survey on Validation Methods [J]. IEEE Access，2022（10）.
[27] GB 34590—2017. 道路车辆 功能安全 [S]. 北京：全国汽车标准化技术委员会，2017.
GB 34590—2017. Road Vehicles—Functional safety [S]. Beijing：National Technical Committee of Auto Standardization，2017.（in Chinese）
[28] RIEDMAIER S, DANQUAH B, SCHICK B, et al. Unified Framework and Survey for Model Verification, Validation and Uncertainty Quantification [J]. Archives of Computational Methods in Engineering，2021（1）.
[29] Japan Automobile Manufacturers Association, Inc. Automated Driving Safety Evaluation Framework Ver. 2.0-Guidelines for Safety Evaluation of Automated Driving Technology [Z]. Japan：Japan Automobile Manufacturers Association, Inc. ，2021.
[30] RIEDMAIER S, SCHNEIDER D, WATZENIG D, et al. Model Validation and Scenario Selection for Virtual-Based Homologation of Automated Vehicles [J]. Applied Sciences，2021：11（1）.
[31] European Commission. Guidelines on the Exemption Procedure for the EU Approval of Automated Vehicles [Z]. European：European Commission，2019.
[32] MYERS R, SAIGOL Z. Pass-Fail Criteria for Scenario-Based Testing of Automated Driving Systems [J]. ArXiv：Robotics，2020.
[33] SGS-TÜV Saar GmbH. Beijing Saimo Technology Co.,Ltd. Sim Pro Simulation Tool Chain (Certificate No. FS/71/220/21/0692) [Z]. Germany：SGS-TÜV Saar GmbH，2022.
发表回复