“自动驾驶AI增强丨CVPR开源”

萧箫 发自 凹非寺 量子位 | 公众号 QbitAI

只需“100K大小的外挂”,就能让自动驾驶AI识别 “物体运动状态” 的能力大幅上升!

这是一项来自香港大学计算机视觉与机器智能实验室 (CVMI Lab) 和TCL AI Lab的新研究,目前论文已被CVPR 2023收录。


(资料图)

研究提出了一种叫做 MarS3D 的轻量级模型,给原本只能识别物体“是什么”的 语义分割 模型用上后,就能让它们进一步学会识别这些物体“是否在动”。

而且是任意主流模型 即插即用 ,几乎不需要额外的计算量 (推理时间只增加不到秒) ,目前已 开源

要知道,对于靠激光雷达来判断周围环境的自动驾驶系统而言,其感知能力,很大程度上依赖于3D点云语义分割模型的准确率和效率。

如果想提升模型识别“运动物体”的能力,往往需要将繁重的室外多帧点云数据分别进行特征提取和处理,但这种方法不仅要增加大量计算,识别性能也没提升多少,属实是事倍功半。

相比之下,MarS3D参数量只有约100K大小,却能将主流点云分割模型的性能提升 近5%

这究竟是怎么做到的?

首先要了解一下3D点云的两种语义分割任务,单扫描 (single-scan) 和多扫描 (multi-scan) 。

这两种方法的核心差异,在于能否区分物体的 运动状态

单扫描 任务只需要根据单帧点云,把场景中汽车、行人、道路等语义信息分割并标注出来。像下图,不同的颜色代表不同的物体,如蓝色的点云代表车:

多扫描 任务,则需要根据时序上的多帧点云,同时分割语义信息和运动状态。

换言之,不仅要学会区分汽车、行人、道路,还得识别这些物体 是否在运动 。如汽车标签扩展成“运动的车”和“不动的车”,以及行人扩展成“运动的行人”和“不动的行人”:

目前,自动驾驶做激光雷达点云数据的处理,主要还是通过单扫描语义分割方法。

虽然能通过扩展标签、融合点云数据,直接将单扫描模型训练成多扫描模型,从而让AI掌握识别物体运动状态的能力,但存在两个问题:

一个是性能收效一般;另一个是融合点云数据量大,导致这种模型复杂、计算时间长,而这正是“争分夺秒”的自动驾驶系统无法接受的。

为了解决这两个问题,让语义分割模型又快又好地掌握识别“运动物体”的方法,MarS3D横空出世。

即使之前模型只能做单扫描语义分割,给它加个MarS3D后,不仅能大幅提升多扫描语义分割能力,区分物体“是否在运动”,效果还比其他多扫描方法更好。

所以,MarS3D的核心思路是什么?

具体来说,模型设计了一个基于2D CNN网络的分支 BEV Branch ,这个模型能提取点云数据转换的BEV (Bird’s Eye View) 表征,即自上而下的鸟瞰视角。

之所以选用BEV,主要有两个原因。

一方面,目前的运动物体基本都是在地上跑 (即使在空中飞,也几乎不存在垂直上升的情况) ,也就是说,几乎所有的运动都在水平面上有位移,因此它能很好地反映物体在绝大部分场景中的运动状态;

另一方面,BEV相比点云数据量更小,还能通过参考帧和特征图相减,降低点云稀疏性带来表征不稳定的问题,即同样静态区域的表征近似,含有动态物体区域的表征距离更远。此外,多尺寸卷积对表征抽取特征图,以保证模型对不同运动速度的物体都有很强感知力。

随后,将这个分支提取的运动状态信息特征、和其他被时序嵌入向量增强的单扫描任务模型分支 3D Branch 提取的语义信息特征结合起来,进行特征融合,最终实现语义分割。

那么,这样实现的3D点云语义分割,效果究竟怎么样?

相比和其他输入如RGB图像进行结合,论文重点测试了模型针对纯点云输入的分割效果。

从下表可见,对于SemanticKITTI数据集,在目前主流的单扫描点云分割模型如SPVCNN、SparseConv和MinkUNet上,MarS3D在只给模型增加的情况下 (参数量增加不到%) ,将性能 (mIoU) 分别提升了%、%和%。

同时,计算时间 (延迟) 只增加了19ms、14ms和28ms。

5%对于模型分割性能提升有多显著?下图是在两个扫描场景中,模型增加MarS3D前和增加后的效果对比,其中左图是增加前,中间是增加后,右边是真实值:

显然,增加MarS3D后模型识别物体的效果要更好。

直接将分割效果和真实值对比,可见增加MarS3D后的“错误值”,比增加前要低不少:

整个推理过程,只需要一块英伟达GeForce RTX 3090 GPU就能搞定。

对MarS3D感兴趣的小伙伴们,可以去试试了~

项目地址: /CVMI-Lab/MarS3D

论文地址: /abs/

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

关键词: