原文链接：https://mp.weixin.qq.com/s/KAQ_3nMpa7l0npjY7AgePg
- 论文链接：https://arxiv.org/pdf/2503.13952
- 项目链接：https://github.com/Li-Zn-H/SimWorld
摘要
本文介绍了SimWorld：通过世界模型实现仿真器条件场景生成的统一基准。随着自动驾驶技术的快速发展，缺乏数据已经成为提高感知模型准确性的主要障碍。研究者目前正在探索使用世界模型进行可控的数据生成以使数据集多样化。然而，先前的工作仅限于研究在特定公开数据集上的图像生成质量，而相对很少有工作研究为现实世界应用场景构建数据生成引擎，以实现为具有挑战性的场景生成大规模数据。本文提出了一种基于世界模型的仿真器条件场景生成引擎。通过构建与现实世界场景一致的仿真系统，可以采集任何场景的仿真数据和标签，这些数据和标签是世界模型中数据生成的条件。它是一种新的数据生成流程，将仿真引擎的强大场景仿真能力与世界模型的鲁棒数据生成能力相结合。此外，本文还提供了一个按比例构建的虚拟和现实数据基准，用于探索世界模型在现实世界场景中的能力。定量结果表明，这些生成的图像显著提高了下游感知模型的性能。最后，本文探索了世界模型在城市自动驾驶场景中的生成性能。
主要贡献
本文的主要贡献总结如下：
1）本文提出了一种新的仿真器条件场景生成流程，它结合了仿真引擎的场景仿真能力与世界模型的鲁棒数据生成能力；
2）本文引入了首个用于现实世界条件下仿真器条件场景生成的统一基准，所有数据和代码即将开源；
3）定量实验证实了生成图像的质量和多样性，展现了其对下游感知任务的增强。此外，Cityscapes还用于进一步验证所提出方法的有效性。
论文图片和表格
总结
本文引入了SimWorld，这是一种新的仿真器条件场景生成流程，它结合了仿真引擎和世界模型来创建逼真、多样化的自动驾驶场景。它解决了边界情况的数据稀缺问题，弥补了合成数据和现实世界数据之间的视觉差距。本文的统一基准既可行又具有前景，为复杂的现实世界自动驾驶环境中的大规模数据生成提供了新的机会。
发表回复