原文链接：https://mp.weixin.qq.com/s/ALLBLScjTlS4hmSqzJE-LA
- 论文标题：InvRGB+L Inverse Rendering of Complex Scenes with Unified Color and LiDAR Reflectance Modeling
- 论文链接：https://arxiv.org/abs/2507.17613
1 简介
本文提出了InvRGB+L，一种新颖的逆渲染（inverse rendering）模型，首次将LiDAR强度应用于逆渲染，可以从单一的RGB+LiDAR序列中重建大规模、可重光照的动态场景。传统的逆渲染方法主要依赖RGB输入，将LiDAR仅用于几何信息的重建，而图像输入常常由于可见光干扰导致材质估计不理想。我们发现，LiDAR的强度值在不同光谱范围下通过主动照明采集，为在变化光照条件下进行稳健的材质估计提供了互补信息。受到这一发现的启发，InvRGB+L通过两个关键创新利用LiDAR intensity提升复杂场景的逆渲染结果：(1) 一种新颖的基于物理的LiDAR着色模型；(2) RGB–LiDAR材质一致性损失。该模型可以生成城市和室内场景的新视角RGB和LiDAR渲染结果，并支持重光照、夜景模拟和动态物体插入，在城市级逆渲染和LiDAR模拟任务中取得了超过当前最先进方法的表现。
核心挑战：
- RGB图像对光照高度敏感，在不同照明条件下（如阴影、夜晚、车灯）材质估计易受干扰，导致逆渲染结果不准确。
- 传统方法忽视LiDAR强度信息，仅将LiDAR用于几何建模，未充分利用其在材质估计中的物理潜力。
- RGB与LiDAR来自不同模态，直接融合存在表征不一致的问题，难以协同估计材质。
解决方案：
- 基于物理的LiDAR着色模型（LiDAR Shading Model）：精确建模激光强度的生成过程（包括反射率、入射角、距离衰减等），使模型能够从LiDAR强度反推出物体表面属性。
- RGB–LiDAR材质一致性损失（Consistency Loss）：在训练中引入RGB和LiDAR反射之间的监督一致性，提升跨模态材质估计的稳定性和精度。
2 基于物理的 LiDAR 反射模型
为了准确建模LiDAR 强度值（intensity）与场景表面的材质属性（如反射率、粗糙度等）的关系，本文提出了一个新的LiDAR反射模型。LiDAR 遵循经典的渲染方程，在假设无介质散射的前提下，其反射辐射度可以表示为：
3 逆渲染框架
4 实验结果
定量结果
这张表格展示了InvRGB+L与UrbanIR在waymo数据集上重打光任务中的定量结果，结果表明InvRGB+L显著优于UrbanIR。此外，加入一致性损失进一步提升了性能，主要是由于更准确的材质估计。
为了验证InvRGB+L的LiDAR强度公式的有效性，本文在Waymo数据集上评估了LiDAR强度的新视图合成。下表展示了定量结果，结果表明InvRGB+L能够有效地捕捉底层物理现象，从而实现更准确的LiDAR强度建模。
定性结果
下图是逆渲染的定性比较结果。InvRGB+L通过利用反射率有效地将阴影与反照率分离，从而获得了更平滑的反照率估计，相比之下，UrbanIR和FEGR都难以将照明杆投射的阴影与车辆下方的阴影从反照率中分离，导致在第一场景的光照重建结果中汽车旁边出现不真实的阴影。
下图展示了场景编辑的结果，展示了InvRGB+L在光照重建和物体插入方面的多样性。第一行展示了将街灯和车头灯光照应用于输入的白天场景进行夜间模拟的结果。第二行展示了不对插入节点进行重打光的结果：插入的汽车与场景不匹配。相比之下，经过光照重建后，汽车与环境无缝融合。第三行展示了同时对场景和插入物体进行光照重建的结果。
5 结论
这项工作将 LiDAR 融入逆向渲染，提出了InvRGB+L，一种能够从 RGB+LiDAR 序列中重建大规模、可重光照且动态变化场景的逆渲染模型。通过利用 LiDAR 与 RGB 反照率之间的一致性，InvRGB+L提升了材质估计的准确性，并支持包括重光照、物体插入和夜间模拟在内的多种场景编辑应用。然而，仍存在一些局限性。首先，InvRGB+L采用基于 BVH 的光线追踪器对三维高斯体元进行光线投射，但由于高斯体元的不透明性质，可能导致阴影渲染不够准确。此外，光照模型仅考虑了天空光和太阳光，对于夜间等复杂环境下的逆向渲染仍显不足，这部分将在未来工作中予以改进。
发表回复