摘要 ：随着人工智能和泛在传感技术的迅猛发展,以多模态数据融合处理为基础的智能辅助驾驶系统逐渐走入千家万户。智能驾驶技术的核心是依赖于先进的人工智能和泛在传感器技术,以增强或替代驾驶人的感知、决策和执行能力。其中,对道路环境实时、精准、稳健的感知是汽车智能化的重要一环。本文介绍了一种集成多源传感器的多模态数据采集车辆平台,通过构建高精度点云地图,为辅助智能驾驶提供基础点云数据服务。不同于“后融合”的多源数据融合策略,本文采取经时空同步多源数据进行“前融合”的策略,在完成多源传感器数据同步与校准的基础上,为智能驾驶车辆提供时间空间一致的感知数据。在地图构建层面上,通过与IMU和固态激光雷达的耦合,实现了对环境点云地图的高精度重建,为辅助智能驾驶的实现和进一步发展提供了重要技术支持。
正文
随着人工智能和自动化技术的迅猛发展，智能驾驶已成为汽车行业的重要趋势。作为先进辅助驾驶技术的主要方向之一，智能驾驶有望提升驾驶安全性、效率和舒适性，从而降低交通事故率、减少交通拥堵[1]。因此，智能驾驶已成为全球技术发展的焦点。其中，传感器系统扮演着至关重要的角色，为车辆提供必要的感知能力，使车辆能够感知周围环境并作出相应决[2]。为实现这一目标，智能汽车通过配置多种模态的传感器，对道路交通中各类目标的类别、位置、运动状态、轨迹等进行精准检测，从而为智能汽车提供一双可以掌控全局的眼睛[3-5]。车辆驾驶场景对车辆感知能力提出了很高要求，传统的单一传感器和后融合的数据处理模式难以满足当下实际需求，因此构建多模态数据采集平台和前处理策略以提高车辆感知能力势在必行。
本文拟设计并实现一种多模态数据采集平台。该平台集成激光雷达、相机、毫米波雷达及惯性测量单元等多种传感器，确保数据采集的多样性和准确性；采取“前融合”的数据处理策略，通过时间同步与空间一致标定，实现多源数据的高效整合，克服传统“后融合”策略中存在的激光点云数据与图像数据帧率差异和空间匹配困难的问题；为构建高精度点云地图，利用惯性测量单元数据与固态激光雷达数据的结合，实现位姿的精确校正更新与高精度点云地图的构建，并通过试验验证该方法的有效性和实用性。
1 多模态数据采集平台设计与实现
智能驾驶车辆环境感知系统通过多种传感器收集信息，利用多个计算设备和软件框架处理周围环境数据，完成全方位感知信息的获取，为后续决策提供基础。
1.1 传感器特点与选型
在现代自动驾驶汽车中，传感器的选择至关重要，因为它们直接影响到车辆的感知和决策能力。同时，高度复杂、强不确定性、动态复杂、雨雾遮挡的行车环境场景特性，对智能驾驶的感知层提出了更高的要求[5]。在紧急避让、点对点泊车、车路协同等复杂场景下，深入挖掘其场景特征，提升感知能力，可避免误检、漏检、移动目标感知低效、动态响应不及时乃至交通事故的发生[6]。因此，复杂场景下智能驾驶的场景感知能力急需提升。现代自动驾驶汽车配备摄像头、激光雷达、毫米波雷达等多种传感器[7]。
相机具有低成本、高分辨率的特点，可捕获丰富的细节信息，适用于车道线检测并提供目标的语义信息。然而，相机的覆盖范围有限、弱光条件下稳健性较差、分辨率较低，无法提供足够的纹理和颜色信息，因此无法满足对车道线和交通标识检测的要求。激光雷达能够实现高精度的距离测量，用于目标识别、定位和建图；但易受雨雪雾等恶劣天气的影响，且成本较高。毫米波雷达具有广泛的适用性，在恶劣天气条件下仍能提供可靠的测距信息，并具有较强的实时性，能够快速监测目标的位置和运动状态；然而毫米波雷达的分辨率较低，导致点云稀疏，对目标的横向位移和速度敏感度较低，即点云具有数量低、质量高的特性。
综上所述，单一传感器存在诸多限制，而车辆感知对于稳健性的要求十分严苛，因此需要通过多传感器融合的方式，综合利用各种传感器的优势，以弥补各自的局限性。本文在构建数据采集平台的过程中，采用激光雷达、相机、毫米波雷达融合的方式，实现多模态数据采集与高精度点云地图的稳定构建。
1.2 数据采集平台搭建与集成
综合考量上述3类硬件设备，分别选用图达通固态激光雷达、华域毫米波雷达、森云相机感知模组，具体参数见表 1。表 1 传感器参数
通过比较，采用的车载传感器布置方案为5R1L1V，即5个毫米波雷达、1个激光雷达和1个前向摄像头，前向安装1个长距离毫米波雷达、1个固态激光雷达和1个单目摄像头，4个角上各安装1个中距离毫米波雷达，可同时完成前向车道线和本车周向目标的探测。车载传感器的具体布置方案如图 1所示。
图 1 车载传感器布置方案
2 多模态数据融合与处理
2.1 数据融合算法与策略
在智能驾驶系统中，通常会使用多种传感器以弥补各自的局限性和性能约束，确保全面的环境检测和数据采集。然而，若将每个传感器收集的信息单独、隔离处理，将会增加信息处理的负担，且破坏传感器数据之间的内在联系，可能导致相关环境特征的丧失，进而引发信息资源的滥用和潜在的决策误判。因此，基于多个传感器数据的融合和决策不可或缺。
在多传感器融合技术中，后融合算法[8-9]是一种传统方法，其特点是每个传感器独立处理生成目标数据。在所有传感器完成目标数据的生成后，主处理器进行数据融合。然而，融合后阶段面临着几个主要挑战：激光点云和图像数据之间的感知速率不一致；激光点云和图像数据之间的空间不一致；低置信度信息在融合过程中的意外丢失。相反，前融合算法采用单一感知算法对融合后的多维综合数据进行识别。前融合算法在基础层将所有数据融合在一起，形成类似于超级传感器的综合数据进行识别，如图 2所示。前融合方法能够在数据处理的早期阶段融合不同传感器的信息，以最大限度地保持数据的一致性和相关性，提高系统对环境的理解能力。
图 2 前融合流程
多传感器融合可以增强系统的冗余性和容错能力，从而保证决策的速度和准确性，这是自动驾驶的关键要素[10]。其基本原理在于优化多个传感器资源，并根据指定标准在空间或时间上集成其冗余或互补信息。通过这种传感器资源和观测信息的系统编排，可以对测试对象进行连贯解释或描述，从而提高系统决策的精度[11-12]。
2.2 多源传感器数据同步与校准
多源传感目标信息融合前，必须确保传感器在时间和空间上同步[13]。时空同步是指将不同传感器对同一目标的异步测量结果统一到相同的时间和空间上，以便于融合。通常的做法是选择一个基准传感器作为时间标准，然后将其他传感器的测量结果推算到该基准时间。常见的方法包括内插和外推，以实现不同传感器在时间域上的同步。空间同步则是将各传感器坐标系下的探测目标结果统一到一个基准坐标系下。在环视场景拼接时，不同传感器对测量信息的处理周期可能不同，因此需要对齐时间线，确保在同一时刻处理来自各传感器的探测结果。本文使用5R1L1V的多源传感器信息融合，传感器采用LAN通信方式，同时数据监视系统会为每一个数据帧标记时间戳。选定基准传感器后，利用这些时间戳通过插值进行时间同步，如图 3所示。
图 3 3种传感器的时间同步传感器标定是确保激光雷达、相机和毫米波雷达之间的数据可以准确对齐和融合的关键[14]。多传感器标定通常涉及对传感器的内部参数(如焦距、畸变等)和外部参数(如位置、姿态等)的估计和校准。本文平台所搭建的传感器坐标系如图 4所示。
图 4 车载传感器坐标系
首先通过相机内参标定与畸变参数计算，实现相机的畸变消除[15]，效果如图 5所示；然后计算相机和激光雷达之间的转换矩阵，实现点云重投影，效果如图 6所示。由于毫米波点云的稀疏性，使用金属角反射器捕获高反射点，实现毫米波雷达与相机之间的标定，重投影效果如图 7所示。
图 5 相机内参标定与畸变消除
图 6 相机与激光雷达标定效果
图 7 相机与毫米波雷达标定效果
3 高精度点云地图构建
在高速条件下的车载建图系统，里程计的输入频次较高，大量的待优化变量会给系统带来很大压力，系统的实时性无法得到保证。同时，有限的视场角也使其无法捕捉到所有必要的地标或特征点，尤其在车辆快速移动或复杂环境下表现更为明显，剧烈转向和连续平缓转向都会导致关联特征减少和丢失，这是由于未被覆盖的区域无法准确地融入地图构建过程，从而影响位姿和轨迹的精确性[16]。因此，本文采用多传感器融合策略，将固态激光雷达内部自带的惯性测量单元数据与激光雷达数据相结合，以实现位姿的纠正和更新。这种整合允许移动测量系统更好地跟踪运动的车辆，提高位姿估计的准确性和稳健性。
3.1 试验区域
为验证本文平台的点云地图重建能力，选择在同济大学嘉定校区进行地图构建试验，如图 8所示。所选区域属于典型的社区场景，树木和高楼都可作为构建点云地图的挑战。
图 8 试验区域
3.2 数据预处理
陀螺仪长时间运行会引起角速度测量的误差积累，为了提高IMU数据的准确性，试验进行了陀螺仪漂移校正。首先，将IMU传感器固定并保持静止状态，进行静止IMU数据的采集，理想状态下的陀螺仪输出接近零；然后，对静止数据进行积分计算陀螺仪的漂移估计，从而反映陀螺仪输出数据中的漂移误差；最后，在陀螺仪数据输出部分进行漂移纠正，矫正角速度测量，从而提高后续试验中车辆姿态估计的准确性。为获得更可靠的姿态和运动信息，试验中使用卡尔曼滤波算法减小IMU数据中的噪声和震动。通过对卡尔曼滤波器中时间常数和测量噪声误差的参数优化，减小误差并保持数据的平滑性。将IMU传感器的加速度和角速度输入卡尔曼滤波器，获得滤波后的输出数据，实现后续数据融合和分析。以上工作都封装于负责处理IMU数据的ROS节点，具体流程如图 9所示。
图 9 IMU数据预处理流程采用统计滤波、高斯滤波和体素滤波等算法对激光雷达扫描得到的点云进行处理。通过去除离群点和噪声，滤波算法有效提高了后续数据处理的精确性。图 10展示了从原始点云到经过统计滤波、高斯滤波及体素滤波的处理结果，突显了不同滤波算法对点云数据的影响。
图 10 激光雷达点云滤波结果比较
3.3 试验结果
为定量评估点云地图的全局一致性，采用徕卡RTC360三维激光扫描仪获取试验区域的地面高精度点云模型，如图 11所示。为了量化点云地图的准确性，计算点云中各点到由模型点云拟合出的局部最小二乘平面的距离，并将其作为精度的统计数据，如图 12所示。可以看出, 本文所采集的环境点云地图具有良好的精度。通过对模型进行威布尔分布拟合，并结合表 2的均方根误差(RMSE)结果可知，试验区域A、B的均方根误差均低于0.2，本文的环境点云地图采集平台可以获得高质量的环境点云。
图 11 采用徕卡RTC360进行实际标准的点云数据采集
图 12 试验区域的点云图评估表 2 威布尔分布参数与均方根误差
4 结语
本文提出了一种前融合策略下辅助智能驾驶的多模态数据采集与高精度点云地图采集平台，通过前融合的多源数据策略，经时间同步与空间一致标定后解决了数据“后融合”策略所面临的激光点云数据与图像数据帧率差异和空间上难以匹配等问题。使固态激光雷达内部自带的惯性测量单元数据与激光雷达数据相结合，实现了位姿的纠正和更新。这种整合允许移动测量系统更好地跟踪运动的车辆，并实现对环境点云的真实重建。试验结果显示，本文的多模态数据与环境地图采集平台可以实现对多源数据的时空一致性采集与对环境地图的高精度重建。
作者简介作者简介：刘春(1973—),男,博士,教授,主要研究方向为低空生态感知与多维建模、室内外场景感知与建模。E-mail:liuchun@tongji.edu.cn
发表回复