自动驾驶之BEV概述

1、为什么需要BEV？

自动驾驶需要目标在3D空间的位置信息，传统检测为2D图像上检测目标然后IPM投影到3D。所以无论如何3D结果才是我们最终想要的。 对于单个传感器：通过单目3D、深度估计等手段好像能解决这个问题，但是往往精度不高。 对于自动驾驶，往往需要360度的多个摄像头协同工作。将多个摄像头的结果进行融合也是一大问题。所以把图象特征转到BEV空间下直接进行3D位置预测，一则可以解决2D到3D的投影问题，二则预测结果可以直接用于下游的决策，省去多个传感器的融合。

2、什么是BEV的核心？ 我们知道3D空间投影2D图象是一对一的，而2D图象投影3D空间则是一对多的射线上。所以如何把多个图象的2D特征表达到对应3D的BEV空间特征，进行视图转换，则是BEV的核心工作。 当前主要有代表性的两种方法： 1、基于深度分布估计的：代表方法为BEVDet 2、基于交叉注意力的：代表方法为BEVFormer

在BEV的基础上，往往加入时序融合，多任务学习，多模态监督等手段，由此发展出各种BEV的变形。

3、BEV特点 输入：来自不同角度相机的多张图像，覆盖360°视野范围。

输出：BEV视图下的各种感知结果，比如物体，道路，车道线，语义栅格等。

算法：图像到BEV视图转换，包括稠密和稀疏两种方式。 稠密有BEVDet和BEVFormer。有的方法则是针对具体的任务，比如3D物体检测，直接生成稀疏的BEV视图下的感知结果，比如DETR3D和PETR

4、测试数据集 对于BEV感知来说，目前比较常用的数据集是nuScenes。 nuScenes数据库发布了多个测试任务，包括物体检测和跟踪，运动轨迹预测，点云全景分割以及路径规划 3D目标检测任务的性能指标主要有两个：mAP和NDS。

mAP（mean Average Precision）是目标检测中常用的性能指标，它对Precision-Recall（P-R）曲线进行采样，计算每个类别出平均的Precision。在计算P-R曲线时，需要匹配算法预测的物体框和标注的真值物体框。nuScenes中采用BEV视图下物体框的2D中心点距离来进行匹配，而不是传统的Intersection-of-Union（IoU），这样可以提高小物体的匹配率。

NDS（nuScenes Detection Score）在mAP的基础上，增加了物体框预测质量的指标。这些指标包括物体框的位置，大小，朝向，速度以及其它属性。与mAP相比，NDS可以更全面的评价3D目标检测算法的优劣。

对于BEV的发展历程，以及各种BEV的方法介绍，参考以下综述：BEV感知综述