快速了解一个网络：Radar-Camera Pixel Depth Association for Depth Completion

以下内容偏向于记录个人学习过程及思考，非常规教学内容

背景

基于radar-camera fusion生成pixel级别的深度估计。

核心思想

二阶段算法。

第一阶段，将radar点与附近的image pixels进行关联

第二阶段，基于关联后的radar-camera进行完整的深度估计

使用lidar点云作为深度监督真值。

Pipeline

亿些细节

Radar-Camera Pixel Depth Association: RC-PDA Model

主要是为了解决：哪些image pixels与radar点关联。

对于radar点附近的一个patch，如果其中lidar点的深度和radar点深度差别小于一定阈值，或相对深度差别（归一化）小于一定阈值，则对应位置pixel的label为1，否则为0。

用weighted binary cross entropy loss来计算预测值和label的差，其中weight为

• 当绝对深度和相对深度均小于阈值时，weight为1；
• 否则weight为0

Multi-Channel Enhanced Radar (MER)

RC-PDA Model会针对每个radar pixel预测附近image pixel的深度。如果同一个image pixel被多个radar pixel关联，则取RC-PDA Model置信度最高的预测。

通过设定不同的阈值，我们可以获得多种不同阈值下的depth map，组成多个channel

进一步了解

无

原文和代码

https://arxiv.org/abs/2106.02778

参考资料

无