aurora

外观

数据集构建需求

约 3165 字大约 11 分钟

2025-04-22

1. 基本结构

文件结构

  • nuscenes

    • maps

      • *.png

    • samples

      • CAM_BACK

        • n008-2018-08-01-15-16-36-0400__CAM_BACK__1533151603537558.jpg

    • lidarseg

      • v1.0-mini

        • 0ab9ec2730894df2b48df70d0d2e84a9_lidarseg.bin

    • panoptic

      • v1.0-mini

        • *_panoptic.npz

    • V1.0-mini

      • attribute.json
      • calibrated_sensor.json
      • category.json
      • Instance.json
      • lidarseg.json
      • log.json
      • map.json
      • sample_annotation.json
      • sample_data.json
      • sample.json
      • scene.json
      • sensor.json
      • visibility.json

1.1 nuScenes devkit

教程示例

获取 scene 中的 sample

bbox

外参

ego pose

点云带语义信息

1.2 nuScenes lidarseg

2020年8月，我们发布了nuScenes-lidarseg。在nuScenes-lidarseg中，对于属于nuScenes数据集中关键帧的激光雷达点云中的每个点，我们用32个可能的语义标签之一注释它。因此，nuScenes-lidarseg在34,000个点云和850个场景（700个场景用于火车，150个场景）中包含11亿个注释点。我们还提供了一个测试集（150个场景中的6008个点云），用于挑战，不附带激光雷达语义分割标签。

lidarseg.json

nuScenes-lidarseg注释和sample_data之间的映射，对应于与关键帧相关的lidar点云。

slidarseg {
   "token":                   <str> -- 唯一的标识符.
   "filename":                <str> -- 包含nuScenes-lidarseg标签的.bin文件的名称。这些是使用numpy以二进制格式存储的uint8的numpy数组
   "sample_data_token":       <str> -- 外键。Sample_data对应于带注释的激光雷达pointcloud，带有is_key_frame=True。
}

提示

data/nuscenes/lidarseg/v1.0-mini/0ab9ec2730894df2b48df70d0d2e84a9_lidarseg.bin

shape 为 (N,)

lidarseg_labels_filename = os.path.join(nusc.dataroot,
                                        nusc.get('lidarseg', 
                                        lidar_token)['filename'])
points_label = np.fromfile(lidarseg_labels_filename, 
                           dtype=np.uint8).reshape([-1, 1])

提示

nuscenes lidarseg 类别：23 + 9

对于 nuScenes-lidarseg，我们为激光雷达点云中的每个点标注了语义标签。除了 nuScenes 中的 23 个前景类别（事物）外，我们还增加了 9 个背景类别（背景）。有关每个类别的详细定义和示例图像，请参阅 nuScenes 和 nuScenes-lidarseg 的标注人员指导说明。

我们提供了以下类别的标注（不包括测试集）：

2. 标注需求（暂）

基本需求

注意

  • 传感器外参： sensor -> ego
  • 相机内参：camera_intrinsic
  • 自车位姿：egopose

sensor

特定的传感器类型。

sensor
sensor {
   "token":                   <str> -- 唯一的标识符.
   "channel":                 <str> -- 传感器通道名称
   "modality":                <str> {camera, lidar, radar} -- 传感器形态。支持括号内的类别
}

calibrated_sensor

定义在特定车辆上校准的特定传感器(激光雷达/雷达/摄像机)。所有外部参数都是关于自我车体框架给出的。所有相机图像都没有失真和校正。

calibrated_sensor
calibrated_sensor {
   "token":                   <str> -- 唯一的标识符
   "sensor_token":            <str> -- 指向传感器类型的外键。
   "translation":             <float> [3] -- 以米为单位的坐标系原点: x, y, z.
   "rotation":                <float> [4] -- 坐标系方向为四元数: w, x, y, z.
   "camera_intrinsic":        <float> [3, 3] -- 内置相机校准。对于非相机的传感器为空。
}

ego_pose

自车具在特定时间戳的姿势。给出了全局坐标系。ego_pose是我们论文中描述的基于激光雷达地图的定位算法的输出。定位在x-y平面上，是二维的。

ego_pose
ego_pose {
   "token":                   <str> -- 唯一的标识符.
   "translation":             <float> [3] -- 坐标系原点以米为单位:x, y, z。注意z总是0
   "rotation":                <float> [4] -- 坐标系方向为四元数:w x y z。
   "timestamp":               <int> -- 唯一的表示符.
}

scene

场景是从日志中提取的20秒长的连续帧序列。同一个日志可以产生多个场景。注意，对象标识(实例token)不会跨场景保存。

scene
scene {
   "token":                   <str> -- 唯一的标识符.
   "name":                    <str> -- 短字符串标识符。
   "description":             <str> -- 更长的场景描述。
   "log_token":               <str> -- 外键。提取数据的位置记录日志的点。
   "nbr_samples":             <int> -- 这个场景中的样本数量
   "first_sample_token":      <str> -- 外键。指向场景中的第一个样本。
   "last_sample_token":       <str> -- 外键。指向场景中的最后一个样本。
}

sample

一个sample是一个带注释的2hz关键帧。数据收集在(大约)相同的时间戳作为单个LIDAR扫描的一部分。

sample
sample {
   "token":                   <str> -- 唯一的标识符.
   "timestamp":               <int> -- Unix时间戳
   "scene_token":             <str> -- 指向scene的外键
   "next":                    <str> -- 外键。在时间上跟随这个样本。空如果场景结束。
   "prev":                    <str> -- 外键。在时间上早于此的样本。如果场景开始为空。
}

sample_data

传感器数据，如图像、点云或雷达返回。对于带有is_key_frame=True的sample_data，时间戳应该非常接近它所指向的样本。对于非关键帧，sample_data指向时间最接近的样本。

sample_data
sample_data {
   "token":                   <str> -- 唯一的标识符.
   "sample_token":            <str> -- 外键。与此sample_data相关联。
   "ego_pose_token":          <str> -- 外键.
   "calibrated_sensor_token": <str> -- 外键
   "filename":                <str> -- 磁盘上data-blob的相对路径.
   "fileformat":              <str> -- 数据文件格式.
   "width":                   <int> -- 如果样本数据是一张图像，则这是图像宽度(以像素为单位)
   "height":                  <int> -- 如果样本数据是一张图像，则这是图像高度(以像素为单位)。
   "timestamp":               <int> -- Unix时间戳。
   "is_key_frame":            <bool> -- 如果sample_data是key_frame的一部分，则为True，否则为False。
   "next":                    <str> -- 外键。来自同一传感器的样本数据，在时间上跟随。空如果场景结束。
   "prev":                    <str> -- 外键。从同一传感器采样数据，在此时间之前。如果场景开始为空。
}

2.1 点云目标检测

2.1.1 标注格式

sample_annotation

定义样本中物体位置的边界框。

提示

所有位置数据都是在全局坐标系下给出的。

sample_annotation {
   "token":                   <str> -- 唯一的标识符
   "sample_token":            <str> -- 外键。注意:这指向一个样本而不是一个sample_data，因为注释是在样本级别上完成的，考虑了所有相关的sample_data。
   "instance_token":          <str> -- 外键。这个注释是哪个对象实例。随着时间的推移，一个实例可以有多个注释。
   "attribute_tokens":        <str> [n] -- 外键。此注释的属性列表。属性会随着时间而改变，所以它们属于这里，而不是实例表中。
   "visibility_token":        <str> -- 外键。能见度也可能随着时间的推移而改变。如果没有标注可见性，则token为空字符串。
   "translation":             <float> [3] -- 边界框的位置，以米为单位，如center_x, center_y, center_z
   "size":                    <float> [3] -- 边框大小以米为单位，如宽、长、高。
   "rotation":                <float> [4] -- 边框方向为四元数:w, x, y, z
   "num_lidar_pts":           <int> -- 这个检测框里的激光雷达点的数量。在此样本识别的激光雷达扫描过程中计算点。
   "num_radar_pts":           <int> -- 这个盒子里雷达点的数目。在此样本识别的雷达扫描过程中计算点。这个数字是所有雷达传感器的总和，没有任何无效的点滤波
   "next":                    <str> -- 外键。来自后面同一对象实例的示例注释。如果这是该对象的最后一个注释，则为空。
   "prev":                    <str> -- 外键。来自时间上位于此之前的同一对象实例的示例注释。如果这是该对象的第一个注释，则为空。
}

  1. 提取自车位置和传感器外参

    calib_data = nusc.get('calibrated_sensor', lidar_data['calibrated_sensor_token'])
ego_data = nusc.get('ego_pose', lidar_data['ego_pose_token'])

  2. 从标注中取 bbox 的位置和方向

    ann = nusc.get('sample_annotation', 'bc3180b07f8e4a728f504ded654df56f')
center = np.array(ann['translation'])
orientation = np.array(ann['rotation'])

  3. 求逆，将 bbox 从世界系转到自车坐标系

    # global to ego
quaternion = Quaternion(ego_data['rotation']).inverse
center -= np.array(ego_data['translation'])
center = np.dot(quaternion.rotation_matrix, center)
orientation = quaternion * orientation

  4. 求逆，将 bbox 从自车坐标系转到 lidar 系

    # ego to sensor
quaternion = Quaternion(calib_data['rotation']).inverse
center -= np.array(calib_data['translation'])
center = np.dot(quaternion.rotation_matrix, center)
orientation = quaternion * orientation

2.1.2 目标类别

nuscenes 类别

nuScenes数据集附带23个类的注释（细节）。其中一些只有少数几个样本。因此，我们合并了相似的类，并删除了罕见的类。

10个class。

2.2 点云语义分割

2.2.1 标注格式

注意

点云分割的mask，（N，）

对于一份点云数据中的N个点，mask 存储每个类别的index

2.2.2 语义类别

nuscenes lidarseg 类别

nuscenes 雷达分割挑战将原来的32个类合并为16个类

3. nuScenes 数据转换到 Occupancy 数据

3.1 方法

Occupancy Ground Truth Generation Pipeline

3.2 转换脚本

将 nuscenes 数据转换为 occ 预测数据

SurroundOcc: generate_occupancy_nuscenes.py

  1. 遍历所有帧，分别拼接动态物体和静态场景的多帧激光雷达点云
  2. 然后将它们合并为一个完整的场景。
  3. 随后，采用泊松重建（Poisson Reconstruction）来增加点云的密度，并将生成的网格体素化，以获得密集的三维占用。
  4. 最后，使用最近邻（Nearest Neighbor, NN）算法为密集体素分配语义标签。

将 occ 预测 数据转换为 occ 全景分割数据

SparseOcc: gen_info.py

wenwei@2025