总览

3D 汽车通常用于自动驾驶系统、虚拟/增强现实和游戏中。然而，现有的 3D 汽车数据集要么是合成的，要么是低质量的，与高质量的真实世界 3D 汽车数据集存在很大差距，限制了它们在实际场景中的应用。

在本文中，我们提出了首个大规模 3D 真实汽车数据集，即 3DRealCar 数据集，该数据集具有三个显著特点：

1. 高数量：通过 3D 扫描仪对 2500 辆汽车进行细致扫描，获得具有真实世界尺寸的汽车图像和点云；

2. 高质量：每辆汽车平均有 200 个密集的、高分辨率的 360 度 RGB-D 视图，可实现高保真 3D 重建；

3. 高多样性：数据集包含 100 多个品牌的各种汽车，在三种不同的照明条件下采集，包括反光、标准和暗光。此外，我们还为每个实例提供了详细的汽车解析图，以促进汽车解析任务的研究。

可支持的任务

由于我们的数据集提供了 RGB-D 图像、点云、汽车解析图和详细标注，因此我们可以在其中执行各种二维和 3D 任务。具体来说，我们提供了汽车解析分割标注，这表明我们的数据集可用于汽车检测、分割和解析任务。此外，我们捕获的 RGB-D 图像还支持深度估计任务。由于我们收集的汽车类型多种多样，研究人员可以利用我们的数据集对不同类型的汽车进行领域迁移学习。

至于 3D 任务，我们捕获的密集视图和点云可用于 3D 重建、3D 生成、新视图合成、车辆点云补全和车辆点云解析。有了重建的 3D 汽车，我们就可以用它们来模拟特殊场景，以训练强大的自动驾驶感知系统。

3D汽车解析

我们的数据集是首个提供 3D 汽车解析注释的数据集，用于解析 3D 空间中的汽车部件。

由于我们为 3DRealCar 数据集中的每个实例提供了二维汽车解析图，因此我们可以将二维解析图提升到 3D，并为点云和网格分割每个组件。这些 3D 汽车解析图的主要目的是对汽车结构进行精确而全面的分析，这对于自动驾驶、汽车设计、汽车编辑和虚拟现实模拟等应用至关重要。

通过使用这些详细的 3D 解析图，开发人员和研究人员可以改进物体识别算法，增强碰撞检测系统。此外，该数据集还有助于训练机器学习模型，以便更好地理解汽车部件的空间关系和物理属性，从而开发出更先进、更可靠的汽车技术。

重建结果

我们在数据集中展示了最近最先进的 3D 重建方法——3DGS 的可视化效果。在标准照明条件下，3DGS 能够从我们的数据集中重建出相对高质量的 3D 汽车。需要注意的是，这种水平的重建质量足以被下游任务所利用和渲染。然而，反光和黑暗条件下的结果并不乐观。因此，我们的 3DRealCar 的这两个部分给最新的 3D 方法带来了两个挑战。